Puis-je utiliser rsync pour sauvegarder sur Amazon S3

17

J'ai acheté de l'espace à evbackup qui me fournit FTP, rsync et SSH. Mais j'ai également lu qu'Amazon S3 peut également être utilisé pour les sauvegardes.

Je suis donc vraiment confus qu'Amazon donne un accès FTP pour télécharger des fichiers à sauvegarder.

Comment puis-je télécharger ces fichiers.

J'ai lu leur site plusieurs fois mais je n'ai pas compris comment fonctionne leur système. Je veux juste sauvegarder le répertoire personnel de mes utilisateurs

backup ftp amazon-s3 Mirage
la source

Réponses:

24

Non, vous ne pouvez pas utiliser rsyncpour transférer des fichiers vers Amazon. Il utilise son propre protocole pour le service. Mais vous pouvez accéder à leur stockage via des services tiers, comme www.s3rsync.com , puis vous pourrez les utiliser rsync, et vos données seront finalement transférées vers le stockage S3.

Ou vous pouvez utiliser des utilitaires spéciaux conçus pour le stockage S3. Il existe: s3sync , s3command , s3cp , tarsnap (tarsnap est un service tiers, comme s3rsync).

Un autre outil de type rsync duplicityprend en charge le stockage S3 en tant que backend ainsi que de nombreux autres backends de sauvegarde, y compris RackSpace Cloud Files (un autre service de stockage cloud, dont le prix est similaire à Amazon S3).

Sauvegarde sur S3:

duplicity /home/me s3+http://bucketname/prefix

ou aux fichiers Cloud de Rackspace:

duplicity /home/me cf+http://container_name
sastanin
la source
merci pour cela, aussi je ne pouvais pas comprendre leur modèle de données. je vérifiais leurs prix et ils indiquent toujours la bande passante. comme 0,18 centimes par Go de transfert de données. Supposons que j'y télécharge 50 Go de données pour la sauvegarde, puis ne fais rien. Alors combien ils facturent si je ne fais pas de transfert. je n'ai pu trouver aucun endroit où ils disent combien d'espace ils donnent comme 50 $ pour un disque dur de 50 Go
Mirage
@Moorage: Amazon facture à la fois le stockage (à partir de 0,14 $ / Go par mois) et le transfert (0,1 $ / Go pour le transfert). Donc, pour 50 Go, vous payez 7 $ / mois si vous n'accédez pas à ces données. Il existe également des fichiers Cloud RackSpace qui est un service similaire.
sastanin
la duplicité est très jolie. Je souhaite que j'aurais vu cela avant d'écrire mon propre clone rsync. Si la duplicité est un peu trop élaborée pour vous, consultez mon simple wrapper "rsync-like" pour boto: github.com/seedifferently/boto_rsync
Seth
1
PS Je n'ai jamais utilisé la duplicité moi-même, mais un de mes amis a signalé des sauvegardes cassées. Utilisez avec précaution.
sastanin
Vous pouvez également essayer le client minio [ github.com/minio/mc ] alias mc. Vous pouvez utiliser la commande [mc mirror] pour mettre en miroir votre dossier local avec le compartiment S3.
user52692
5

L'interface de ligne de commande officielle d'Amazon a bien fonctionné pour moi. Il peut se synchroniser du local vers un bucket S3, et aussi se synchroniser d'un bucket S3 vers les fichiers locaux.

1) installez l'interface de ligne de commande d'Amazon, depuis https://aws.amazon.com/cli/

2) à partir d'une coquille,

export AWS_ACCESS_KEY_ID=(access key here)
export AWS_SECRET_ACCESS_KEY=(secret key here)
export AWS_DEFAULT_REGION=(region here)
cd dirtoupload
aws s3 sync . s3://nameOfBucket

Des options plus utiles comme --dryrun et --delete (pour mettre en miroir) répertoriées sur http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html .

jmnben
la source
4

Vous pouvez simplement monter votre compartiment localement à l'aide de s3fs , puis utiliser rsync pour copier sur ce point de montage.

GJ.
la source
2
Cela semble amusant, mais ce serait sûrement de lire localement pour comparer les hachages, ce qui va à l'encontre du but de rsync ... Non?
David Fraser
0

Jungle Disk est un moyen facile de sauvegarder des fichiers sur Amazon S3 (abonnement avec compte S3, mais vous pouvez utiliser n'importe quel autre compte AWS). Vous voudrez peut-être aussi jeter un œil à Super Flexible (logiciel uniquement).

paradroid
la source