Accélérer rsync sur smb

Je sauvegarde une boîte Linux sur SMB sur un NAS. Je monte le NAS localement puis je rsync beaucoup de données (100 Go environ). Je pense que cela prend énormément de temps pour le faire: plus de 12 heures. Je m'attendrais à être beaucoup plus rapide une fois que tout est copié car presque rien n'est changé de jour en jour.

Y a-t-il un moyen d'accélérer cela?

Je pensais que peut-être rsync pense qu'il fonctionne avec des disques durs locaux et utilise une somme de contrôle au lieu de comparaisons temps / taille? Mais je n'ai pas trouvé de moyen de forcer les comparaisons d'heure et de date. Autre chose que je pourrais vérifier?

Je pense que vous avez une mauvaise compréhension de l'algorithme rsync et de la façon dont l'outil doit être appliqué.

L'avantage de performance de Rsync vient de faire des transferts delta, c'est-à-dire de déplacer uniquement les bits modifiés dans un fichier. Afin de déterminer les bits modifiés, le fichier doit être lu par les hôtes source et de destination et bloquer les sommes de contrôle par rapport à déterminer quels bits ont changé. C'est la partie "magique" de rsync - l'algorithme rsync lui-même.

Lorsque vous montez le volume de destination avec SMB et utilisez rsync pour copier des fichiers à partir de ce que Linux "voit" comme source locale et comme destination locale (tous deux montés sur cette machine), la plupart des versions rsync modernes passent en mode de copie "fichier entier" et désactivez l'algorithme de copie delta. Il s'agit d'une "victoire" car, avec l'algorithme de copie delta activé, rsync lirait le fichier de destination entier (via le câble du NAS) afin de déterminer quels bits du fichier ont changé.

La «bonne façon» d'utiliser rsync consiste à exécuter le serveur rsync sur une machine et le client rsync sur l'autre. Chaque machine lira les fichiers de son propre stockage local (qui devrait être très rapide), s'accordera sur les bits des fichiers modifiés et ne transférera que ces bits. De cette façon, vous utilisez des quantités rsync d'un «cp» forgé. Vous pourriez accomplir la même chose avec 'cp' et ce serait probablement plus rapide.

Si votre appareil NAS prend en charge l'exécution d'un serveur (ou client) rsync, alors vous êtes en affaires. Si vous allez simplement le monter sur la machine source via SMB, vous pouvez tout aussi bien utiliser 'cp' pour copier les fichiers.

Il semble que les horodatages soient votre problème, car cette page se rapporte:

http://www.goodjobsucking.com/?p=16

La solution proposée consiste à ajouter

--modify-window=1

aux paramètres rsync.

Oui, vous pouvez l'accélérer. Vous devez faire ressembler la source ou la destination à une machine distante, par exemple en l'adressant comme " localhost:".

Vous avez indiqué que vous montez le partage SMB localement. Cela fait que la source ou la destination ressemble à un chemin local vers rsync. La page de manuel rsync indique que les copies où la source et la destination sont des chemins locaux copieront le fichier entier. Ceci est indiqué dans le paragraphe de l'option "--whole-file" de la page de manuel. Par conséquent, l'algorithme delta n'est pas utilisé. L'utilisation de la localhost:solution de contournement " " restaurera la fonctionnalité de l'algorithme delta et accélérera les transferts.

Je pensais que je jetterais mon 2p ici.

Mon frère vient d'installer un NAS Buffalo sur son réseau de bureau. Il examine maintenant des sauvegardes hors site, de sorte qu'en cas d'incendie du bureau, au moins il a toujours tous ses documents commerciaux ailleurs (à plusieurs centaines de kilomètres).

Mon premier obstacle a été d'obtenir le VPS qu'il a (un petit serveur privé virtuel Linux, rien de trop costaud) pour se connecter en tant qu'utilisateur VPN à son routeur à large bande (il utilise un DrayTek pour cela) afin qu'il puisse lui-même faire partie de son VPN, et ainsi il peut alors accéder directement au NAS, de manière sécurisée. Je l'ai trié et je travaille parfaitement.

Le problème suivant était alors de transférer les fichiers du NAS vers le serveur VPS. J'ai commencé par faire un montage Samba et j'ai rencontré exactement le même problème (ou pire encore) que vous avez décrit. J'ai fait un rsync à sec et cela a pris plus d'une heure 30 minutes juste pour déterminer quels fichiers il allait transférer, car comme Evan le dit, avec cette méthode, l'autre extrémité n'est pas rsync, donc il doit faire beaucoup de dépôts le système appelle / lit sur le support Samba (via une connexion PPTP / tunnelée, avec un temps d'aller-retour d'environ 40 ms). Complètement impraticable.

Je ne savais pas que le Buffalo exécute en fait un démon rsync donc, en l'utilisant à la place, l'ensemble du dry-run ne prend que 1 minute 30 secondes pour 87k fichiers totalisant 50 Go. Évidemment, le transfert de 50 Go de fichiers (à partir d'un NAS qui est sur une liaison haut débit avec seulement 100 k / s de bande passante sortante) est une tout autre affaire (cela prendra plusieurs jours) mais, une fois la synchronisation initiale terminée, toutes les sauvegardes incrémentielles doivent être éclaircissement de la graisse (ses données ne changeront pas beaucoup au quotidien).

Ma suggestion est d'utiliser un NAS décent, qui prend en charge rsync, pour les raisons évoquées ci-dessus par Evan. Cela résoudra tous vos problèmes.

Ça sent comme vous avez un NAS moins cher. Cela peut aussi provenir de la bande passante de votre réseau ...

Les NAS grand public "standard" sont très faibles en ce qui concerne les E / S lourdes, ce que vous essayez de faire ici. Il pourrait également s'agir d'un commutateur bon marché reliant votre PC et votre NAS qui n'est pas assez fort pour gérer correctement tous les paquets.

essayez cela, il pense que l'aleast vous donne 10% de plus à quelle vitesse votre obtention http://www.thegeekstuff.com/2009/09/linux-remote-backup-using-rsnapshot-rsync-utility/

Il y a deux sources potentielles de problème - soit vous utilisez des options de ligne de communication incorrectes, soit votre NAS a des problèmes d'horodatage (ou les deux :-). Veuillez vérifier ce fil "rsync to NAS copie tout à chaque fois" pour plus d'informations.