S3cmd fait ce que vous voulez. Télécharger et télécharger des fichiers, synchroniser des répertoires et créer des compartiments.
S3cmd est un outil de ligne de commande gratuit et un client permettant de télécharger, d'extraire et de gérer des données dans Amazon S3 et d'autres fournisseurs de services de stockage en nuage utilisant le protocole S3, tels que Google Cloud Storage ou DreamHost DreamObjects. Il convient particulièrement aux utilisateurs expérimentés qui connaissent bien les programmes en ligne de commande. Il est également idéal pour les scripts batch et la sauvegarde automatisée vers S3, déclenchés à partir de cron, etc.
Amazon fournit désormais ses propres outils CLI.
De http://aws.amazon.com/cli/
La documentation pour les commandes liées aux fichiers est ici .
la source
Si vous ne pouvez pas (peut-être que vous êtes sur un hôte partagé) ou si vous ne souhaitez pas installer d'outils supplémentaires, vous pouvez simplement utiliser bash, curl et openssl.
http://tmont.com/blargh/2014/1/uploading-to-s3-in-bash
Notez que j'ai modifié ce script à partir de celui du lien ci-dessus. J'ai ajouté l'
-L
option, car AWS peut insérer une redirection dans cet emplacement. L'-L
option suivra la redirection pour vous.Une autre mise en garde. Cela ne fonctionnera pas pour les fichiers de plus de 5 Go. Ceux-ci nécessitent un téléchargement en plusieurs parties qui nécessiterait un script plus complexe.
la source
Un script shell compatible POSIX qui requiert OpenSL, Curl et Sed uniquement; prise en charge de AWS Signature version 4, requise pour la région
eu-central-1
(Francfort) et recommandée pour les autres:https://gist.github.com/vszakats/2917d28a951844ab80b1
Remarquez, le script activera côté serveur
Chiffrement AES256 par défaut.
la source
The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256
Sinon, vous pouvez essayer https://github.com/minio/mc
mc
fournit un minimum d'outils pour travailler avec les systèmes de stockage et de stockage en nuage compatibles avec Amazon S3. Il a des fonctionnalités telles que les téléchargements pouvant être repris, la barre de progression, la copie parallèle.mc
est écrit en Golang et publié sous licence Apache v2.la source
J'ai trouvé les liaisons AWS de Python dans le
boto
package (pip install boto
) très utiles pour le téléchargement de données vers S3.Le script suivant peut être appelé comme suit:
python script_name.py "sub_bucket_name" "*.zip"
oùsub_bucket_name
indique le nom du répertoire dans lequel les fichiers doivent être stockés dans S3, et*.zip
constitue un chemin global désignant un ou plusieurs fichiers à télécharger:la source