Quando un'applicazione genera log, è importante raccoglierli, elaborarli e analizzarli. In DevOps, lo stack ELK (Elasticsearch, Logstash, Kibana) insieme a Filebeat viene spesso utilizzato a questo scopo. Filebeat legge i log dal server, Logstash elabora e filtra i dati, ed Elasticsearch li memorizza per ulteriori analisi.

Imparerai come configurare Filebeat e Logstash per lavorare con la nostra applicazione Flask in modo che tutti gli eventi utente vengano correttamente raccolti e inviati allo stack ELK.

Come Funziona

Filebeat agisce come agente sul server che esegue l'applicazione. Monitora i file di log e invia le nuove voci a Logstash. Logstash riceve i log, li elabora — ad esempio analizzando le strutture JSON — e poi li inoltra a Elasticsearch. Elasticsearch memorizza e organizza i dati così da poterli cercare, analizzare e visualizzare facilmente in Kibana.

Nel nostro esempio, Filebeat monitorerà il file app.log generato dall'applicazione Flask. Logstash elaborerà questi log e li invierà a Elasticsearch. Elasticsearch crea un indice separato per ogni giorno, denominato flask-logs-YYYY.MM.DD. Questi indici giornalieri aiutano a organizzare i log per data, facilitando la ricerca degli eventi, l'analisi delle tendenze o la risoluzione dei problemi di uno specifico giorno senza dover esaminare tutti i log contemporaneamente.

Configurazione di Filebeat

Per prima cosa, crea un file di configurazione per Filebeat. Assicurati di trovarti nella cartella elk-demo che hai creato in precedenza. Poi esegui il seguente comando per creare e aprire il file di configurazione di Filebeat:

Questo aprirà l'editor dove puoi incollare la configurazione di Filebeat.

Nell'editor, inserisci la seguente configurazione:

Questa configurazione indica a Filebeat di monitorare il file /logs/app.log. Ogni nuova voce di log viene inviata a Logstash, che ascolta sulla porta 5044. Questo garantisce che tutti gli eventi dell'applicazione vengano automaticamente inviati per l'elaborazione e l'indicizzazione.

Configurazione di Logstash

Successivamente, creare un file di configurazione per Logstash. Assicurarsi di trovarsi nella cartella elk-demo creata in precedenza. Eseguire quindi il seguente comando per creare e aprire il file di configurazione di Logstash:

Questo aprirà l'editor dove puoi incollare la configurazione di Logstash. Incolla la seguente configurazione nel file:

Con queste configurazioni, Filebeat e Logstash sono pronti a lavorare insieme. Filebeat monitorerà i log dell'applicazione, Logstash li filtrerà e li elaborerà, ed Elasticsearch archivierà e indicizzerà i dati, rendendoli pronti per l'analisi e la visualizzazione in Kibana.