Comment implémenter des idiomes bash communs en Python? [fermé]

Je fais actuellement ma manipulation de fichiers texte à travers un tas d'AWK, sed, Bash et un tout petit peu de Perl.

J'ai vu mentionner à quelques endroits que le python est bon pour ce genre de chose. Comment puis-je utiliser Python pour remplacer les scripts shell, AWK, sed et amis?

Tout shell a plusieurs ensembles de fonctionnalités.

• Les commandes Essential Linux / Unix. Tous ces éléments sont disponibles via la bibliothèque de sous - processus . Ce n'est pas toujours le meilleur premier choix pour exécuter toutes les commandes externes. Regardez également shutil pour certaines commandes qui sont des commandes Linux distinctes, mais vous pourriez probablement implémenter directement dans vos scripts Python. Un autre lot énorme de commandes Linux se trouve dans la bibliothèque os ; vous pouvez le faire plus simplement en Python.

  Et - bonus! -- plus vite. Chaque commande Linux distincte dans le shell (à quelques exceptions près) crée un sous-processus. En utilisant Python shutilet des osmodules, vous ne créez pas de sous-processus.

• Les fonctionnalités de l'environnement shell. Cela inclut des éléments qui définissent l'environnement d'une commande (répertoire actuel et variables d'environnement et autres). Vous pouvez facilement gérer cela directement depuis Python.

• Les fonctionnalités de programmation shell. Il s'agit de la vérification du code d'état du processus, des diverses commandes logiques (si, pendant, pour, etc.) de la commande de test et de toutes ses apparentées. Le truc de définition de fonction. Tout cela est beaucoup, beaucoup plus facile en Python. C'est l'une des énormes victoires en se débarrassant de bash et en le faisant en Python.

• Fonctions d'interaction. Cela inclut l'historique des commandes et ce qui ne l'est pas. Vous n'en avez pas besoin pour écrire des scripts shell. C'est uniquement pour l'interaction humaine, et non pour l'écriture de scripts.

• Les fonctionnalités de gestion des fichiers shell. Cela inclut la redirection et les pipelines. C'est plus compliqué. Une grande partie de cela peut être effectuée avec un sous-processus. Mais certaines choses faciles à utiliser sont désagréables en Python. Plus précisément des trucs comme (a | b; c ) | something >result. Cela exécute deux processus en parallèle (avec sortie de acomme entrée pour b), suivi d'un troisième processus. La sortie de cette séquence est exécutée en parallèle avec somethinget la sortie est collectée dans un fichier nommé result. C'est juste complexe à exprimer dans une autre langue.

Des programmes spécifiques (awk, sed, grep, etc.) peuvent souvent être réécrits sous forme de modules Python. N'allez pas trop loin. Remplacez ce dont vous avez besoin et faites évoluer votre module "grep". Ne commencez pas à écrire un module Python qui remplace "grep".

La meilleure chose est que vous pouvez le faire par étapes.

1. Remplacez AWK et PERL par Python. Laissez tout le reste tranquille.
2. Essayez de remplacer GREP par Python. Cela peut être un peu plus complexe, mais votre version de GREP peut être adaptée à vos besoins de traitement.
3. Essayez de remplacer FIND par des boucles Python qui utilisent os.walk. C'est une grande victoire car vous ne générez pas autant de processus.
4. Essayez de remplacer la logique shell commune (boucles, décisions, etc.) par des scripts Python.

Oui bien sûr :)

Jetez un œil à ces bibliothèques qui vous aident à ne plus jamais écrire de scripts shell (la devise de Plumbum).

• Plumbum
• Sarge
• sh

De plus, si vous souhaitez remplacer awk, sed et grep par quelque chose basé sur Python, je recommande pyp -

"The Pyed Piper", ou pyp, est un outil de manipulation de texte en ligne de commande Linux similaire à awk ou sed, mais qui utilise des méthodes de chaîne et de liste en python standard ainsi que des fonctions personnalisées évoluées pour générer des résultats rapides dans un environnement de production intense.

Je viens de découvrir comment combiner les meilleures parties de bash et ipython. Jusqu'à présent, cela me semble plus confortable que d'utiliser un sous-processus, etc. Vous pouvez facilement copier de grandes parties de scripts bash existants et par exemple ajouter la gestion des erreurs de la manière python :) Et voici mon résultat:

#!/usr/bin/env ipython3

# *** How to have the most comfort scripting experience of your life ***
# ######################################################################
#
# … by using ipython for scripting combined with subcommands from bash!
#
# 1. echo "#!/usr/bin/env ipython3" > scriptname.ipy    # creates new ipy-file
#
# 2. chmod +x scriptname.ipy                            # make in executable
#
# 3. starting with line 2, write normal python or do some of
#    the ! magic of ipython, so that you can use unix commands
#    within python and even assign their output to a variable via
#    var = !cmd1 | cmd2 | cmd3                          # enjoy ;)
#
# 4. run via ./scriptname.ipy - if it fails with recognizing % and !
#    but parses raw python fine, please check again for the .ipy suffix

# ugly example, please go and find more in the wild
files = !ls *.* | grep "y"
for file in files:
  !echo $file | grep "p"
# sorry for this nonsense example ;)

Voir les documents IPython sur les commandes du shell système et son utilisation comme shell système .

Depuis 2015 et la sortie de Python 3.4, il existe désormais un shell interactif raisonnablement complet disponible sur: http://xon.sh/ ou https://github.com/scopatz/xonsh

La vidéo de démonstration ne montre pas les canaux utilisés, mais ils SONT pris en charge en mode shell par défaut.

Xonsh ('conch') essaie très fort d'émuler bash, donc des choses pour lesquelles vous avez déjà gagné de la mémoire musculaire, comme

env | uniq | sort -r | grep PATH

ou

my-web-server 2>&1 | my-log-sorter

fonctionnera toujours bien.

Le didacticiel est assez long et semble couvrir une quantité importante des fonctionnalités que quelqu'un attendrait généralement à une invite ash ou bash:

• Compile, évalue et exécute!
• Historique des commandes et complétion des onglets
• Aide & Superhelp avec ?&??
• Alias ​​et invites personnalisées
• Exécute des commandes et / ou des *.xshscripts qui peuvent également être importés
• Variables d'environnement, y compris la recherche avec ${}
• Redirection et combinaison des entrées / sorties
• Emplois d'arrière-plan et contrôle des travaux
• Imbrication de sous-processus, tuyaux et coprocessus
• Mode sous-processus lorsqu'une commande existe, mode Python sinon
• Sous-processus capturé avec $(), Sous-processus non capturé avec $[], Évaluation Python avec@()
• Globbing de nom de fichier avec *ou Expression régulière Globbing de nom de fichier avec backticks

• Si vous souhaitez utiliser Python comme shell, pourquoi ne pas jeter un œil à IPython ? Il est également bon d'apprendre la langue de manière interactive.
• Si vous faites beaucoup de manipulation de texte et si vous utilisez Vim comme éditeur de texte, vous pouvez également écrire directement des plugins pour Vim en python. tapez simplement ": help python" dans Vim et suivez les instructions ou consultez cette présentation . Il est si facile et puissant d'écrire des fonctions que vous utiliserez directement dans votre éditeur!

Au début, il y avait sh, sed et awk (et find, grep et ...). C'était bon. Mais awk peut être une petite bête étrange et difficile à retenir si vous ne l'utilisez pas souvent. Puis le grand chameau a créé Perl. Perl était le rêve d'un administrateur système. C'était comme un script shell sur les stéroïdes. Le traitement de texte, y compris les expressions régulières, n'était qu'une partie de la langue. Puis c'est devenu moche ... Les gens ont essayé de faire de grosses applications avec Perl. Maintenant, ne vous méprenez pas, Perl peut être une application, mais cela peut (peut!) Ressembler à un gâchis si vous n'êtes pas vraiment prudent. Ensuite, il y a toutes ces affaires de données plates. Il suffit de conduire un programmeur fou.

Entrez Python, Ruby et al. Ce sont vraiment de très bons langages à usage général. Ils prennent en charge le traitement de texte et le font bien (mais peut-être pas aussi étroitement liés au noyau de base de la langue). Mais ils évoluent également très bien et ont toujours un code agréable à la fin de la journée. Ils ont également développé des communautés assez lourdes avec beaucoup de bibliothèques pour presque tout.

Maintenant, une grande partie de la négativité envers Perl est une question d'opinion, et certaines personnes peuvent certainement écrire du Perl très propre, mais avec autant de gens se plaignant qu'il soit trop facile de créer du code obscurci, vous savez qu'un certain grain de vérité est là. La question devient alors vraiment, allez-vous jamais utiliser ce langage pour plus que de simples remplacements de scripts bash. Sinon, apprenez un peu plus de Perl .. c'est absolument fantastique pour ça. Si, en revanche, vous voulez un langage qui évoluera avec vous au fur et à mesure que vous en ferez plus, je vous conseille Python ou Ruby.

Quoi qu'il en soit, bonne chance!

Je suggère le livre en ligne génial Dive Into Python . C'est comme ça que j'ai appris la langue à l'origine.

En plus de vous enseigner la structure de base du langage et de nombreuses structures de données utiles, il contient un bon chapitre sur la gestion des fichiers et des chapitres suivants sur les expressions régulières et plus encore.

Ajout aux réponses précédentes: vérifiez le module pexpect pour gérer les commandes interactives (adduser, passwd etc.)

Une des raisons pour lesquelles j'aime Python est qu'il est bien mieux standardisé que les outils POSIX. Je dois vérifier deux fois et trois fois que chaque bit est compatible avec d'autres systèmes d'exploitation. Un programme écrit sur un système Linux peut ne pas fonctionner de la même manière sur un système BSD d'OSX. Avec Python, je dois juste vérifier que le système cible a une version suffisamment moderne de Python.

Encore mieux, un programme écrit en Python standard fonctionnera même sur Windows!

Je vais donner ici mon avis basé sur l'expérience:

Pour la coque:

• shell peut très facilement générer du code en lecture seule. Écrivez-le et quand vous y reviendrez, vous ne comprendrez plus jamais ce que vous avez fait. C'est très facile à réaliser.
• shell peut faire BEAUCOUP de traitement de texte, de fractionnement, etc. en une seule ligne avec des tuyaux.
• c'est le meilleur langage de collage lorsqu'il s'agit d'intégrer l'appel de programmes dans différents langages de programmation.

Pour python:

• si vous voulez que la portabilité vers les fenêtres soit incluse, utilisez python.
• python peut être meilleur lorsque vous devez manipuler un peu plus que du texte, comme des collections de nombres. Pour cela, je recommande python.

Je choisis généralement bash pour la plupart des choses, mais lorsque j'ai quelque chose qui doit traverser les limites de Windows, j'utilise simplement python.

pythonpy est un outil qui permet d'accéder facilement à de nombreuses fonctionnalités de awk et sed, mais en utilisant la syntaxe python:

$ echo me2 | py -x 're.sub("me", "you", x)'
you2

J'ai construit des scripts shell semi-longs (300-500 lignes) et du code Python qui fait des fonctionnalités similaires. Lorsque de nombreuses commandes externes sont exécutées, je trouve que le shell est plus facile à utiliser. Perl est également une bonne option lorsqu'il y a beaucoup de manipulation de texte.

En recherchant ce sujet, j'ai trouvé ce code de preuve de concept (via un commentaire sur http://jlebar.com/2010/2/1/Replacing_Bash.html ) qui vous permet «d'écrire des pipelines de type shell en Python en utilisant un syntaxe laconique et tirer parti des outils système existants là où ils ont du sens ":

for line in sh("cat /tmp/junk2") | cut(d=',',f=1) | 'sort' | uniq:
    sys.stdout.write(line)

Votre meilleur pari est un outil spécifiquement adapté à votre problème. S'il traite des fichiers texte, Sed, Awk et Perl sont les principaux concurrents. Python est un langage dynamique à usage général . Comme pour tout langage à usage général, la manipulation de fichiers est prise en charge, mais ce n'est pas son objectif principal. Je considérerais Python ou Ruby si j'avais besoin d'un langage dynamique en particulier.

En bref, apprenez très bien Sed et Awk, ainsi que tous les autres goodies qui viennent avec votre saveur de * nix (Tous les Bash intégrés, grep, tr et ainsi de suite). Si c'est le traitement de fichiers texte qui vous intéresse, vous utilisez déjà les bonnes choses.

Vous pouvez utiliser python au lieu de bash avec la bibliothèque ShellPy .

Voici un exemple qui télécharge l'avatar d'un utilisateur Python depuis Github:

import json
import os
import tempfile

# get the api answer with curl
answer = `curl https://api.github.com/users/python
# syntactic sugar for checking returncode of executed process for zero
if answer:
    answer_json = json.loads(answer.stdout)
    avatar_url = answer_json['avatar_url']

    destination = os.path.join(tempfile.gettempdir(), 'python.png')

    # execute curl once again, this time to get the image
    result = `curl {avatar_url} > {destination}
    if result:
        # if there were no problems show the file
        p`ls -l {destination}
    else:
        print('Failed to download avatar')

    print('Avatar downloaded')
else:
    print('Failed to access github api')

Comme vous pouvez le voir, toutes les expressions à l'intérieur du symbole d'accent grave (`) sont exécutées en shell. Et dans le code Python, vous pouvez capturer les résultats de cette exécution et effectuer des actions dessus. Par exemple:

log = `git log --pretty=oneline --grep='Create'

Cette ligne s'exécutera d'abord git log --pretty=oneline --grep='Create'dans le shell, puis affectera le résultat à la variable de journal. Le résultat a les propriétés suivantes:

stdout tout le texte de stdout du processus exécuté

stderr tout le texte de stderr du processus exécuté

code retour code retour de l'exécution

Ceci est un aperçu général de la bibliothèque, une description plus détaillée avec des exemples peut être trouvée ici .

Si votre manipulation de fichier texte est généralement ponctuelle, éventuellement effectuée à l'invite du shell, vous n'obtiendrez rien de mieux avec python.

D'un autre côté, si vous devez généralement faire la même tâche (ou similaire) encore et encore, et que vous devez écrire vos scripts pour le faire, alors python est génial - et vous pouvez facilement créer vos propres bibliothèques (vous pouvez le faire cela avec les scripts shell aussi, mais c'est plus lourd).

Un exemple très simple pour ressentir.

import popen2
stdout_text, stdin_text=popen2.popen2("your-shell-command-here")
for line in stdout_text:
  if line.startswith("#"):
    pass
  else
    jobID=int(line.split(",")[0].split()[1].lstrip("<").rstrip(">"))
    # do something with jobID

Vérifiez également le module sys et getopt, ce sont les premiers dont vous aurez besoin.

J'ai publié un package sur PyPI: ez .
Utilisez pip install ezpour l'installer.

Il a emballé des commandes communes dans shell et joliment ma lib utilise fondamentalement la même syntaxe que shell. par exemple, cp (source, destination) peut gérer à la fois le fichier et le dossier! (wrapper de shutil.copy shutil.copytree et il décide quand utiliser lequel). Encore plus joliment, il peut supporter la vectorisation comme R!

Un autre exemple: pas d'os.walk, utilisez fls (path, regex) pour trouver récursivement des fichiers et filtrer avec une expression régulière et il retourne une liste de fichiers avec ou sans fullpath

Dernier exemple: vous pouvez les combiner pour écrire des scripts très simplement:
files = fls('.','py$'); cp(files, myDir)

Vérifiez-le! Cela m'a coûté des centaines d'heures pour l'écrire / l'améliorer!