Comment extraire des données d'un fichier JSON

J'ai bin à la recherche d'une solution à ma question, mais je n'ai pas trouvé de réponse ou mieux dit que je ne l'ai pas trouvée avec ce que j'ai trouvé. Permet donc de parler de mon problème. J'utilise un logiciel de contrôle de maison intelligente sur un Raspberry Pi et comme je l'ai découvert ce week-end en utilisant la réception pilight, je peux capturer les données de mon capteur de température extérieure. La sortie de pilight-receive ressemble à ceci:

{
        "message": {
                "id": 4095,
                "temperature": 409.5
        },
        "origin": "receiver",
        "protocol": "alecto_wsd17",
        "uuid": "0000-b8-27-eb-0f3db7",
        "repeats": 3
}
{
        "message": {
                "id": 1490,
                "temperature": 25.1,
                "humidity": 40.0,
                "battery": 1
        },
        "origin": "receiver",
        "protocol": "alecto_ws1700",
        "uuid": "0000-b8-27-eb-0f3db7",
        "repeats": 3
}
{
        "message": {
                "id": 2039,
                "temperature": 409.5
        },
        "origin": "receiver",
        "protocol": "alecto_wsd17",
        "uuid": "0000-b8-27-eb-0f3db7",
        "repeats": 4
}

Maintenant ma question pour vous: comment diable puis-je extraire la température et l'humidité de l'endroit où l'id est 1490. Et comment me recommanderiez-vous de vérifier cela fréquemment? Par un travail cron qui s'exécute toutes les 10 minutes, crée une sortie de la réception pilight, extrait les données de la sortie et les pousse vers l'API Smart Home Control.

Quelqu'un a une idée - merci beaucoup

Vous pouvez utiliser jqpour traiter les fichiers json en shell.

Par exemple, j'ai enregistré votre exemple de fichier json sous raul.json, puis j'ai exécuté:

$ jq .message.temperature raul.json 
409.5
25.1
409.5
$ jq .message.humidity raul.json 
null
40
null

jq est disponible pré-emballé pour la plupart des distributions Linux.

Il y a probablement un moyen de le faire en jqsoi, mais le moyen le plus simple que j'ai trouvé pour obtenir les deux valeurs souhaitées sur une seule ligne est d'utiliser xargs. Par exemple:

$ jq 'select(.message.id == 1490) | .message.temperature, .message.humidity' raul.json | xargs
25.1 40

ou, si vous voulez parcourir chaque .message.idinstance, nous pouvons ajouter .message.idà la sortie et utiliser xargs -n 3car nous savons qu'il y aura trois champs (id, température, humidité):

jq '.message.id, .message.temperature, .message.humidity' raul.json | xargs -n 3
4095 409.5 null
1490 25.1 40
2039 409.5 null

Vous pouvez ensuite post-traiter cette sortie avec awk ou autre chose.

Enfin, python et perl ont d'excellentes bibliothèques pour analyser et manipuler les données json. Comme le font plusieurs autres langues, dont php et java.

jqest de loin la solution la plus élégante. Avec awkvous pourriez écrire

awk -v id=1490 '
    $1 == "\"id\":" && $2 == id"," {matched = 1}
    $1 == "}," {matched = 0}
    matched && $1 ~ /temperature|humidity/ {sub(/,/,"", $2); print $2}
' file

Pour ceux qui ne comprennent pas le niveau avancé awkaussi bien qu'ils le souhaiteraient (comme des gens comme moi) et qui n'ont pas de jqpré-installation, une solution simple serait de canaliser quelques commandes natives ensemble comme ceci:

grep -A2 '"id": 1490,' stats.json | sed '/1490/d;s/"//g;s/,//;s/\s*//'

Si vous essayez seulement d'obtenir les valeurs, il est plus facile d'utiliser grepplutôt que awkou sed:

grep -A2 '"id": 1490,' stats.json | grep -o "[0-9]*\.[0-9]*"

Pour fournir une explication, cela me semble être le moyen le plus simple.

• Le grep -A2saisit la ligne que vous recherchez dans le JSON avec les 2 lignes suivantes, qui contiennent la température et l'humidité.
• Le tuyau grep -oimprime simplement uniquement des chiffres numériques séparés par un .(qui ne se produira jamais sur la première 1490ligne, donc vous vous retrouvez avec vos 2 valeurs - température et humidité. Très simple. Encore plus simple que d'utiliser jq, à mon avis.

Mon outil de choix pour le traitement de JSON sur la ligne de commande est jq. Cependant, si jq n'est pas installé, vous pouvez très bien faire avec Perl:

# perl -MJSON -e '$/ = undef; my $data = <>; for my $hash (new JSON->incr_parse($data)) { my $msg = $hash->{message}; print "$msg->{temperature} $msg->{humidity}\n" if $msg->{id} == 1490 }' < data.json
25.1 40

votre sortie est un ensemble d'extraits JSON plutôt qu'un JSON complet. Si / une fois que vous réorganisez votre sortie pour qu'elle soit un JSON intégral, par exemple comme ceci (en supposant que votre sortie est dedans file.json):

echo "[ $(cat file.json | sed -E 's/^}$/},/; $d') }]"

alors il est facile de réaliser ce que vous voulez avec l' jtcoutil (disponible sur: https://github.com/ldn-softdev/jtc ):

bash $ echo "[ $(cat file.json | sed -E 's/^}$/},/; $d') }]" | jtc -x "[id]:<1490>d [-1]" -y[temperature] -y[humidity] -l
"temperature": 25.1
"humidity": 40.0
bash $ 

dans l'exemple ci-dessus, supprimez -lsi vous ne voulez pas d'étiquettes imprimées