Who Am I

SysAdmin / Ingénieur DevOps

Objectifs de la présentation

  • Comprendre pourquoi les logs sont critiques
  • Comprendre comment le suivi des logs a évolué
  • Comprendre les briques et l'architecture d'une stack Elastic (ELK)
  • Avoir une démo live rejouable
  • Connaître quelques outils annexes à ELK

Plan

  • Pourquoi les logs sont critiques
  • Comment on faisait pour suivre les logs
  • Rsyslog :: l'évolution en centralisant
  • Elastic :: le game changer
  • Demo
  • Outils pratiques pour ELK

Pourquoi les logs sont critiques ?

Use Case

Quand il y a un problème cela peut venir de plusieurs points

Le front a un souci ?


La DB a un souci ?


L'application a un souci ?


Autre chose ?

Comment faire pour suivre les logs ?

Use Case

Rsyslog :: l'évolution en centralisant

Rsyslog

  • rocket-fast system for log processing
  • soft lancé en 2004 par Rainer Gerhards
  • sous licence GNU GPLv3

Rsyslog

  • permet de centraliser les logs sur un (ou plusieurs) serveurs
  • système tampon et de reprise sur erreur
  • over TCP (ou possibilité d'utiliser RELP)
  • gère la rotation des logs

Use Case

Points positifs :

  • tout est aggrégé et centralisé sur une seule machine
  • on peut utiliser les commandes classiques (sed, grep, awk, wc) pour chercher l'info
  • mais aussi des outils tiers comme tailon

Point négatifs :

  • problème de scaling: disque, IO limitation, connexions TCP, manipulation de gros fichiers
  • potentiellement compliqué de croiser l'information entre plusieurs logs (pas naturel)
  • le serveur rsyslog est potentiellement un SPOF
  • potentiellement besoin d'accès au serveur rsyslog

Elastic :: le game changer

Use Case

Qu'est ce que la stack Elastic (ELK) ?

La combinaison de 3 outils

ElasticSearch

Logstash

Kibana

ElasticSearch

  • moteur d'indexation et de recherche distribué
  • première release en 2010 par Shay Banon
  • sous licence Apache 2.0

Logstash

 

  • Extract Transform Load software conçu initialement pour les logs
  • première release en 2009 par Pete Fritchman
  • sous licence Apache 2.0
  • écrit en Java
  • dernière version stable v2.4.0

Kibana

  • interface de visualisation de données stockées dans ES
  • sous licence Apache 2.0
  • historiquement juste du JS mais aujourd'hui en Node
  • dernière version stable v4.6.1

Points positifs :

  • tout est aggrégé et centralisé sur une seule interface...
  • ... accessible via browser
  • on cherche parmi l'ensemble des données indexées...
  • ... qu'on requête via un moteur Lucène
  • croisement de données facilité
  • haute disponibilité et scaling par design

Point négatifs :

  • pas magique... pour être efficace il faut définir une norme pour les logs
  • travail en amont pour créer les dashboards et les requêtes

Outils pratiques pour ELK

Kopf

  • une interface web pour administrer facilement des clusters ElasticSearch
  • intéragit directement avec l'API Rest du cluster

Shield

  • permet de limiter les accès à un cluster ElasticSearch
  • limitations par password, IP, roles, etc...
  • plugin Kibana pour gérer des sessions

Marvel

  • console web de monitoring de l'état d'un cluster ElasticSearch
  • stats sur les performances du cluster

Elasticsearch-dump

  • script permettant d'importer et d'exporter des index ElasticSearch

Conclusion

Create a presentation like this one
Share it on social medias
Share it on your own
Share it on social medias
Share it on your own

How to export your presentation

Please use Google Chrome to obtain the best export results.


How to export your presentation

Suivre son activité avec une stack Elastic (ELK)

by labynocle

54 views

Public - 10/13/16, 8:44 AM