Як DevOps-спеціалісти, ми знаємо, що моніторинг є одним із найважливіших аспектів управління системами, додатками та сервісами. Elasticsearch та Kibana — це дві важливі технології, які можуть використовуватися для забезпечення моніторингу, аналізу журналів та даних. У цій статті ми розглянемо, як налаштувати систему моніторингу Elasticsearch та Kibana на Ubuntu.
Встановлення Elasticsearch та Kibana на Ubuntu
Перед тим як розпочати роботу з Elasticsearch та Kibana, необхідно встановити ці дві технології на сервер Ubuntu. Для цього існує кілька способів, проте ми розглянемо найпростіший — використання пакетного менеджера apt.
Для встановлення Elasticsearch необхідно виконати наступні команди:
sudo apt-get update sudo apt-get install elasticsearch
Для встановлення Kibana необхідно виконати наступні команди:
sudo apt-get update sudo apt-get install kibana
Налаштування Elasticsearch
Після встановлення Elasticsearch необхідно налаштувати його для роботи з нашою системою моніторингу. Для цього ми будемо використовувати файл конфігурації Elasticsearch.
Перейдіть у каталог /etc/elasticsearch/ та відредагуйте файл elasticsearch.yml. Нижче наведено приклад файлу конфігурації, який ми будемо використовувати:
cluster.name: my-monitoring-cluster node.name: node-1 path.data: /var/lib/elasticsearch path.logs: /var/log/elasticsearch network.host: 0.0.0.0 http.port: 9200
Зверніть увагу на наступні параметри:
- cluster.name — це ім’я кластера, яке буде використовуватися для ідентифікації нашої системи моніторингу.
- node.name — це ім’я вузла Elasticsearch.
- path.data — це шлях до каталогу, в якому будуть зберігатися дані Elasticsearch.
- path.logs — це шлях до каталогу, в якому будуть зберігатися журнали Elasticsearch.
- network.host — це адреса, на якій буде слухати Elasticsearch.
- http.port — це порт, на якому буде доступний Elasticsearch.
Після того як ви відредагували файл elasticsearch.yml, збережіть його та перезапустіть Elasticsearch за допомогою наступної команди:
sudo systemctl restart elasticsearch
Налаштування Kibana
Після встановлення та налаштування Elasticsearch, необхідно налаштувати Kibana для роботи з нашою системою моніторингу. Для цього ми будемо використовувати файл конфігурації Kibana.
Перейдіть у каталог /etc/kibana/ та відредагуйте файл kibana.yml.
Нижче наведено приклад файлу конфігурації, який ми будемо використовувати:
server.port: 5601 server.host: "0.0.0.0" elasticsearch.hosts: ["http://localhost:9200"]
Зверніть увагу на наступні параметри:
- server.port — це порт, на якому буде доступна Kibana.
- server.host — це адреса, на якій буде слухати Kibana.
- elasticsearch.hosts — це адреса Elasticsearch, з яким буде працювати Kibana.
Після того як ви відредагували файл kibana.yml, збережіть його та перезапустіть Kibana за допомогою наступної команди:
sudo systemctl restart kibana
Налаштування моніторингу
Тепер ми готові налаштувати моніторинг за допомогою Elasticsearch та Kibana. Для цього ми будемо використовувати Logstash, який є плагіном для збору та фільтрації даних.
Для початку встановимо Logstash:
sudo apt-get update sudo apt-get install logstash
Після встановлення Logstash необхідно створити конфігураційний файл для збору даних. Створіть новий файл з ім’ям logstash.conf у каталозі /etc/logstash/conf.d/:
input {
file {
path => "/var/log/syslog"
type => "syslog"
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
index => "logstash-%{+YYYY.MM.dd}"
}
}
Зверніть увагу на наступні параметри:
- input.file.path — це шлях до файлу журналу, який ми хочемо зібрати.
- input.file.type — це тип даних, який ми збираємо (у даному випадку це syslog).
- output.elasticsearch.hosts — це адреса Elasticsearch, з яким буде працювати Logstash.
- output.elasticsearch.index — це індекс, у який будуть записуватися дані.
Після того як ви створили файл logstash.conf, збережіть його та перезапустіть Logstash за допомогою наступної команди:
sudo systemctl restart logstash
Аналіз даних у Kibana
Тепер ми готові розпочати аналізувати дані у Kibana. Перейдіть за адресою http://<адреса сервера>:5601 у веб-браузері. Ви побачите сторінку авторизації Kibana. Введіть облікові дані, які були вказані при встановленні Kibana.
Після того як ви увійшли в Kibana, виберіть вкладку “Discover”. Ви побачите список індексів, які доступні для аналізу. Виберіть індекс “logstash-*” та натисніть кнопку “Create index pattern”. Потім дотримуйтесь інструкцій на екрані для створення шаблону індексу.
Після того як ви створили шаблон індексу, ви зможете розпочати аналізувати дані у Kibana. На вкладці “Discover” ви можете переглядати та фільтрувати дані з журналу. На вкладці “Visualize” ви можете створювати візуальні звіти на основі даних.
Наприклад, ви можете створити візуальний звіт, що показує кількість записів у журналі за типом повідомлення. Для цього на вкладці “Visualize” виберіть тип графіка “Vertical bar chart”, виберіть індекс “logstash-*” та додайте агрегацію за типом повідомлення. Потім натисніть кнопку “Save” та дайте звіту назву.
Ви також можете створювати дашборди, що об’єднують кілька візуальних звітів. На вкладці “Dashboard” ви можете створювати нові дашборди, додавати на них візуальні звіти та керувати їх розташуванням і розміром.
Висновок
У цій статті ми розглянули, як налаштувати систему моніторингу Elasticsearch та Kibana на Ubuntu для аналізу журналів та даних. Ми встановили Elasticsearch, Kibana та Logstash, налаштували їх та розпочали аналіз даних у Kibana.
Elasticsearch та Kibana — це потужні інструменти для аналізу даних та моніторингу додатків. Вони можуть допомогти вам швидко виявляти проблеми у вашому додатку та запобігати їх виникненню у майбутньому. Якщо ви ще не використовували Elasticsearch та Kibana для моніторингу своїх додатків, радимо спробувати їх прямо зараз!
