Utilisation de RSYNC avec Amazon S3 [fermé]

Je suis intéressé par l'utilisation d'Amazon S3 pour sauvegarder nos images de serveur d'environ 100 Go (créées à l'aide des outils de sauvegarde Acronis).

Évidemment, ce téléchargement sur S3 tous les soirs serait coûteux, en termes de bande passante et de coût. J'envisage d' utiliser rsync avec S3 et suis tombé sur s3rsync. Je me demandais si quelqu'un avait déjà utilisé ce logiciel ou un autre utilitaire?

Je suis récemment tombé sur ce fil de discussion sur Google et il semble que le paysage ait un peu changé depuis la question. La plupart des solutions suggérées ici ne sont plus maintenues ou sont devenues commerciales.

Après quelques frustrations liées à l'utilisation de FUSE et de certaines autres solutions, j'ai décidé d'écrire mon propre "clone" de ligne de commande rsync pour S3 et Google Storage à l'aide de Python.

Vous pouvez consulter le projet sur GitHub: http://github.com/seedifferently/boto_rsync

Un autre projet dont j'ai récemment pris connaissance est la «duplicité». Il semble un peu plus élaboré et peut être trouvé ici: http://duplicity.nongnu.org/

J'espère que cela t'aides.

MISE À JOUR

L'équipe Python chez AWS a travaillé dur sur un projet CLI basé sur boto pour ses services de cloud. Parmi les outils inclus, il y a une interface pour S3 qui duplique (et remplace à bien des égards) la plupart des fonctionnalités fournies par boto-rsync:

https://github.com/aws/aws-cli

En particulier, la synccommande peut être configurée pour fonctionner presque exactement comme rsync:

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

J'ai également eu de la chance avec S3cmd et S3sync , qui sont tous deux gratuits.

En fonction de la manière dont vos images Acronis sont créées, je ne suis pas sûr qu'un type de rsync vous permettrait d'économiser de la bande passante. Les images Acronis sont des fichiers uniques, donc rsync ne pourra pas les lire pour ne sauvegarder que ce qui a changé. Vous ne savez pas non plus quel type d'images de serveur vous créez, mais puisque vous avez dit 100 Go, je vais supposer qu'il est plein? Une image incrémentielle réduirait considérablement la taille de l'image nocturne, économisant ainsi de la bande passante. Vous pouvez également envisager d'enregistrer les images dans un emplacement différent de S3, tel qu'un support de bande, et de le stocker hors site.

Je n'ai jamais essayé S3rsync.

J'utilise la duplicité pour nos sauvegardes hors site. Il prend en charge les sauvegardes incrémentielles sur S3 bien qu'il ne soit pas réellement en train d'économiser de la bande passante en raison du protocole de stockage Amazon S3 dans lequel toute modification de fichier vous oblige à télécharger à nouveau le fichier entier. Quoi qu'il en soit, la duplicité ne charge que les différences par rapport à la dernière sauvegarde incrémentielle.

Avec Duplicity, vous n’aurez plus besoin de passer par un autre serveur, contrairement à S3sync. Néanmoins, si vous cryptez vos données, vous devriez essayer S3sync.

S3 dispose également d'un service complémentaire appelé AWS Import / Export qui vous permet de lui envoyer un lecteur USB contenant votre jeu de données initial de 100 Go. Ils le chargeront sur le cloud S3 à l'aide de certains outils d'arrière-plan de leurs centres de données. Une fois que votre 100Gb est en place, vous pouvez simplement faire des sauvegardes différentielles chaque nuit pour sauvegarder tout ce qui a changé.

Le site est http://aws.amazon.com/importexport/

Si la majorité de vos données sont relativement statiques, alors ce serait une bonne option. Si les 100 Go de données changent quotidiennement, cela ne vous aidera pas beaucoup.

Vous pouvez essayer le client minio aka "mc". mc fournit un minimum d'outils pour utiliser le stockage en nuage et les systèmes de fichiers compatibles Amazon S3.

mc implémente les commandes suivantes

  ls        List files and folders.
  mb        Make a bucket or folder.
  cat       Display contents of a file.
  pipe      Write contents of stdin to one or more targets. When no target is specified, it writes to stdout.
  share     Generate URL for sharing.
  cp        Copy one or more objects to a target.
  mirror    Mirror folders recursively from a single source to many destinations.
  diff      Compute differences between two folders.
  rm        Remove file or bucket [WARNING: Use with care].
  access    Manage bucket access permissions.
  session   Manage saved sessions of cp and mirror operations.
  config    Manage configuration file.
  update    Check for a new software update.
  version   Print version.

Vous pouvez utiliser la commande miroir pour effectuer votre opération. "rép_local" étant le répertoire local & S3 [alias pour Amazon S3] et le nom "remoteDir" de votre compartiment sur S3.

$ mc mirror localdir/ S3/remoteDir

Vous pouvez également écrire un cronjob pour la même chose. De même, en cas d’indignation du réseau, vous pouvez quand même utiliser "$ mc session" pour relancer le téléchargement à partir de cette heure.

PS: Je contribue au projet Minio et j'aimerais beaucoup recevoir vos commentaires et votre contribution. J'espère que ça aide.

La nouvelle édition de Jungle Disk Server Edition (version bêta) peut vous être utile. La déduplication au niveau des blocs est réduite. Par conséquent, si vos images Acronis ont quelque chose en commun, cela réduira considérablement le temps nécessaire à la sauvegarde. Les fonctionnalités sont parfaites pour les sauvegardes de serveur. Consultez les notes de publication.

Je teste la version bêta depuis deux semaines et, mis à part quelques petits problèmes avec l'interface graphique qui, j'en suis certain, seront résolus en finale, je suis enthousiasmé par le produit.