Коли додаток генерує журнали, важливо їх збирати, обробляти та аналізувати. У DevOps для цього часто використовується ELK стек (Elasticsearch, Logstash, Kibana) разом із Filebeat. Filebeat зчитує журнали з вашого сервера, Logstash обробляє та фільтрує дані, а Elasticsearch зберігає їх для подальшого аналізу.

Ви дізнаєтеся, як налаштувати Filebeat і Logstash для роботи з нашим додатком Flask, щоб усі події користувачів були коректно зібрані та надіслані до ELK стеку.

Як це працює

Filebeat діє як агент на сервері, де працює ваш додаток. Він відстежує файли журналів і надсилає нові записи до Logstash. Logstash отримує журнали, обробляє їх — наприклад, розбирає JSON-структури — і потім пересилає їх до Elasticsearch. Elasticsearch зберігає та організовує дані, щоб ви могли легко їх шукати, аналізувати та візуалізувати у Kibana.

У нашому прикладі Filebeat буде відстежувати файл app.log, який генерується додатком Flask. Logstash оброблятиме ці журнали та надсилатиме їх до Elasticsearch. Elasticsearch створює окремий індекс для кожного дня з назвою flask-logs-YYYY.MM.DD. Такі щоденні індекси допомагають організувати журнали за датою, що спрощує пошук подій, аналіз тенденцій або усунення проблем за певний день без необхідності переглядати всі журнали одразу.

Налаштування Filebeat

Спочатку створіть конфігураційний файл для Filebeat. Переконайтеся, що ви знаходитеся у папці elk-demo, яку створили раніше. Потім виконайте наступну команду, щоб створити та відкрити конфігураційний файл Filebeat:

Це відкриє редактор, у який можна вставити конфігурацію Filebeat.

У редакторі вставте наступну конфігурацію:

Ця конфігурація вказує Filebeat відстежувати файл /logs/app.log. Кожен новий запис журналу надсилається до Logstash, який прослуховує порт 5044. Це гарантує, що всі події з додатку автоматично надсилаються для обробки та індексації.

Налаштування Logstash

Далі створіть конфігураційний файл для Logstash. Переконайтеся, що ви знаходитеся у папці elk-demo, яку ви створили раніше. Потім виконайте наступну команду для створення та відкриття конфігураційного файлу Logstash:

Це відкриє редактор, у який можна вставити конфігурацію Logstash. Вставте наступну конфігурацію у файл:

З цими конфігураціями Filebeat та Logstash готові працювати разом. Filebeat буде відстежувати журнали додатків, Logstash — фільтрувати та обробляти їх, а Elasticsearch — зберігати й індексувати дані, забезпечуючи їхню готовність до аналізу та візуалізації у Kibana.