Comment forcer Logstash à analyser un fichier?

J'ai installé Logstash pour analyser les fichiers Apache. Il m'a fallu pas mal de temps pour obtenir les bons paramètres et j'ai toujours essayé de vrais journaux. J'ai remarqué (comme le dit la documentation) que logstash "se souvient" où il se trouvait dans un fichier. Maintenant, mes réglages sont corrects et j'aimerais que Logstash «oublie». Cela semble plus difficile que moi. J'ai déjà fait ce qui suit:

• utilisé: start_position => "beginning"

• a supprimé le dossier "data" complet d'elastissearch (et l'a arrêté en premier)

• regardé quels fichiers ont été ouverts par logstash avec lsof -p PIDet supprimé tout ce qui était prometteur (dans mon cas /tmp/jffi*.tmp)

Pourtant, Logstash n'oublie pas et analyse uniquement les fichiers "frais" dans le dossier où se trouvent les journaux

Des idées?

Par défaut, logstash écrit la dernière position sur un fichier journal qui réside généralement dans $HOME/.sincedb. Logstash peut être dupé en pensant qu'il n'a jamais analysé le fichier journal en spécifiant /dev/nullcomme sincedb_path.

Voici la partie de la documentation Fichier d'entrée .

Où écrire la base de données depuis (assure le suivi de la position actuelle des fichiers journaux surveillés). La valeur par défaut est la valeur de la variable d'environnement "$ SINCEDB_PATH" ou "$ HOME / .sincedb".

Exemple de configuration

input {
    file {
        path => "/tmp/logfile_to_analyse"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}

L'historique de stockage du fichier du plugin de "tailing" dans le fichier sincedb, par défaut: sous $ HOME / .sincedb *, voir http://logstash.net/docs/1.3.3/inputs/file#sincedb_path

Le fichier since db contient une ligne ressemblant à:

[inode] [major device number] [minor device number] [byte offset]

Donc, si vous souhaitez analyser à nouveau un fichier complet, vous devez:

• supprimer les fichiers sindedb
• OU supprimez uniquement la ligne correspondante dans le fichier sincedb, vérifiez le numéro d'inode avant de votre fichier ( ls -i yourFile | awk '{print $1}')
• Et redémarrez Logstash

Avec la clé start_position => "beginning", Logstash analysera tout le fichier.

Exemple de fichier sincedb:

• name:: .sincedb_7a7413a84171aa550d5318c17fd756e9le nom contient sincedb_ et un MD5 (Digest :: MD5.hexdigest) de tous les répertoires dans le chemin clé ( http://logstash.net/docs/1.3.3/inputs/file#path ). Voir le code du fichier du plugin: https://github.com/logstash/logstash/blob/master/lib/logstash/inputs/file.rb#L105

Logstash conservera l'enregistrement au format $HOME/.sincedb_*. Vous pouvez supprimer tous les .sincedbet redémarrer logstash, Logstash analysera le fichier.

En combinant toutes les réponses, devinez que c'est la meilleure façon d'analyser les fichiers. J'ai fait la même chose pour mes tests.

input {
  file {
    path => "/tmp/access_log"
    start_position => beginning
    sincedb_path => "/dev/null"
    ignore_older => 0
  }
}

Pour un test rapide, au lieu de ignore_older, vous pouvez également touch /tmp/access_logmodifier l'horodatage du fichier.

Si vous utilisez logstash-forwarder, recherchez .logstash-forwarderplutôt un fichier dans votre maison :

{
  "/var/log/messages": {
    "source": "/var/log/messages",
    "offset": 43715,
    "inode": 12967,
    "device": 51776
  }
}

Après la suppression, $HOME/.sincedb_*il n'intégrait toujours pas de données pour moi.

Après avoir essayé un tas de choses, j'ai supprimé tout sauf le .conffichier principal /etc/logstash/conf.det redémarré Logstash, et tout a fonctionné. Je ne peux que supposer qu'il y avait quelque chose dans l'un des .conffichiers sur lequel logstash s'accrochait silencieusement.

En fait, la réparation à chaque fois est très coûteuse si le fichier contient des données volumineuses. Vous devez donc faire attention avant de faire cela. Si nous voulons le forcer à analyser à nouveau, définissez le paramètre à l'intérieur du bloc d'entrée

sincedb_path => "/dev/null" 

Cette option ne stockera pas le fichier .sincedb et logstash analysera à chaque fois. Mais si vous voulez analyser occasionnellement pas à chaque fois, ce que vous pouvez faire est de supprimer manuellement le chemin .sinceDb qui est créé lors de l'analyse du fichier. Généralement, il est présent dans le répertoire de base en tant que fichier caché si vous n'êtes pas un utilisateur root sinon dans le répertoire racine. Vous pouvez également définir sincedb_path sur un autre emplacement pour suivre facilement ce fichier.

sincedb_path => "/home/shubham/sinceDB/productsSince.db"

Si vous voulez éviter de jouer avec les options de logstash, j'ai trouvé que renommer ou supprimer le fichier journal existant et créer un nouveau fichier à partir de l'ancien contenu du fichier entraînera logstash dans la réindexation.

Je l'ai trouvé dans mon répertoire personnel, mais après l'avoir supprimé, logstash a refusé de sélectionner à nouveau les fichiers journaux existants. La façon dont je l'ai fait fonctionner était d'ajouter

sincedb_path => "/opt/elk/sincedb/"  

à mon plugin de fichier. Je pense à réinitialiser à chaque fois, il suffit de changer le chemin de sincedb_path

si vous utilisez tar.gz install filebeat, vous pouvez supprimer ce fichier $FilebeatPath/data/registry/filebeat/data.json, et réexécuter le fichier filebeat

Essayez de supprimer le /var/lib/logstashdossier de votre ENV

logstash version 5 nouveau répertoire est dans

<path.data>/plugins/inputs/file

La définition de path.data se trouve dans logstash.yml