Как DevOps-специалисты мы знаем, что мониторинг является одним из наиболее важных аспектов управления системами, приложениями и сервисами. Elasticsearch и Kibana – это две важные технологии, которые могут использоваться для обеспечения мониторинга, анализа журналов и данных. В этой статье мы рассмотрим, как настроить систему мониторинга Elasticsearch и Kibana на Ubuntu.
Установка Elasticsearch и Kibana на Ubuntu
Перед тем как начать работу с Elasticsearch и Kibana, необходимо установить эти две технологии на сервер Ubuntu. Для этого существует несколько способов, однако мы рассмотрим самый простой – использование пакетного менеджера apt.
Для установки Elasticsearch необходимо выполнить следующие команды:
sudo apt-get update sudo apt-get install elasticsearch
Для установки Kibana необходимо выполнить следующие команды:
sudo apt-get update sudo apt-get install kibana
Настройка Elasticsearch
После установки Elasticsearch необходимо настроить его для работы с нашей системой мониторинга. Для этого мы будем использовать файл конфигурации Elasticsearch.
Перейдите в каталог /etc/elasticsearch/ и отредактируйте файл elasticsearch.yml. Ниже приведен пример файла конфигурации, который мы будем использовать:
cluster.name: my-monitoring-cluster node.name: node-1 path.data: /var/lib/elasticsearch path.logs: /var/log/elasticsearch network.host: 0.0.0.0 http.port: 9200
Обратите внимание на следующие параметры:
- cluster.name – это имя кластера, которое будет использоваться для идентификации нашей системы мониторинга.
- node.name – это имя узла Elasticsearch.
- path.data – это путь к каталогу, в котором будут храниться данные Elasticsearch.
- path.logs – это путь к каталогу, в котором будут храниться журналы Elasticsearch.
- network.host – это адрес, на котором будет слушать Elasticsearch.
- http.port – это порт, на котором будет доступен Elasticsearch.
После того как вы отредактировали файл elasticsearch.yml, сохраните его и перезапустите Elasticsearch с помощью следующей команды:
sudo systemctl restart elasticsearch
Настройка Kibana
После установки и настройки Elasticsearch, необходимо настроить Kibana для работы с нашей системой мониторинга. Для этого мы будем использовать файл конфигурации Kibana.
Перейдите в каталог /etc/kibana/ и отредактируйте файл kibana.yml.
Ниже приведен пример файла конфигурации, который мы будем использовать:
server.port: 5601 server.host: "0.0.0.0" elasticsearch.hosts: ["http://localhost:9200"]
Обратите внимание на следующие параметры:
- server.port – это порт, на котором будет доступен Kibana.
- server.host – это адрес, на котором будет слушать Kibana.
- elasticsearch.hosts – это адрес Elasticsearch, с которым будет работать Kibana.
После того как вы отредактировали файл kibana.yml, сохраните его и перезапустите Kibana с помощью следующей команды:
sudo systemctl restart kibana
Настройка мониторинга
Теперь мы готовы настроить мониторинг с помощью Elasticsearch и Kibana. Для этого мы будем использовать Logstash, который является плагином для сбора и фильтрации данных.
Для начала установим Logstash:
sudo apt-get update sudo apt-get install logstash
После установки Logstash необходимо создать конфигурационный файл для сбора данных. Создайте новый файл с именем logstash.conf в каталоге /etc/logstash/conf.d/:
input {
file {
path => "/var/log/syslog"
type => "syslog"
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
index => "logstash-%{+YYYY.MM.dd}"
}
}
Обратите внимание на следующие параметры:
- input.file.path – это путь к файлу журнала, который мы хотим собрать.
- input.file.type – это тип данных, который мы собираем (в данном случае это syslog).
- output.elasticsearch.hosts – это адрес Elasticsearch, с которым будет работать Logstash.
- output.elasticsearch.index – это индекс, в который будут записываться данные.
После того как вы создали файл logstash.conf, сохраните его и перезапустите Logstash с помощью следующей команды:
sudo systemctl restart logstash
Анализ данных в Kibana
Теперь мы готовы начать анализировать данные в Kibana. Перейдите по адресу http://<адрес сервера>:5601 в веб-браузере. Вы увидите страницу авторизации Kibana. Введите учетные данные, которые были указаны при установке Kibana.
После того как вы вошли в Kibana, выберите вкладку “Discover”. Вы увидите список индексов, которые доступны для анализа. Выберите индекс “logstash-*” и нажмите кнопку “Create index pattern”. Затем следуйте инструкциям на экране для создания шаблона индекса.
После того как вы создали шаблон индекса, вы сможете начать анализировать данные в Kibana. На вкладке “Discover” вы можете просматривать и фильтровать данные из журнала. На вкладке “Visualize” вы можете создавать визуальные отчеты на основе данных.
Например, вы можете создать визуальный отчет, показывающий количество записей в журнале по типу сообщения. Для этого на вкладке “Visualize” выберите тип графика “Vertical bar chart”, выберите индекс “logstash-*” и добавьте агрегацию по типу сообщения. Затем нажмите кнопку “Save” и дайте отчету название.
Вы также можете создавать дашборды, объединяющие несколько визуальных отчетов. На вкладке “Dashboard” вы можете создавать новые дашборды, добавлять на них визуальные отчеты и управлять их расположением и размером.
Заключение
В этой статье мы рассмотрели, как настроить систему мониторинга Elasticsearch и Kibana на Ubuntu для анализа журналов и данных. Мы установили Elasticsearch, Kibana и Logstash, настроили их и начали анализировать данные в Kibana.
Elasticsearch и Kibana – это мощные инструменты для анализа данных и мониторинга приложений. Они могут помочь вам быстро находить проблемы в вашем приложении и предотвращать их возникновение в будущем. Если вы еще не использовали Elasticsearch и Kibana для мониторинга своих приложений, то рекомендуем попробовать их прямо сейчас!
