Optimisation de rsync pour transférer rapidement des fichiers volumineux

19

C'est de quoi j'ai besoin:

  • Démon Rsync exécuté sur le serveur source. Le serveur de destination effectue une extraction rsync comme ci-dessous: 
    rsync -ptv rsync: // source_ip: document / source_path / *. abc destination_path /
  • D'énormes fichiers binaires (3 Go à 5 Go) sont copiés de la machine source vers la destination via un LAN. Aucun cryptage / décryptage n'est donc requis. Par conséquent, n'utilisez pas SSH. La machine de destination se connecte directement au démon rsync.
  • Le dossier de destination sera toujours vide avant l'extraction de rsync. Je n'ai donc pas à me soucier de la mise à jour conditionnelle de certains fichiers. Rsync pull créera toujours de nouveaux fichiers dans la destination (pas de mise à jour). Par conséquent, je n'ai pas besoin de rsync pour calculer les sommes de contrôle.

Je ne suis pas satisfait de la quantité de CPU consommée par rsync à la réception? Quelles options rsync m'aideront à optimiser l'utilisation de rsync dans le cas expliqué ci-dessus. Ce qui m'inquiète, c'est que rsync pourrait faire plus que ce dont j'ai besoin. fichiers de sommes de contrôle rsync. Je n'en ai pas besoin.

J'aimerais également voir des améliorations de vitesse.

Changer la taille du bloc, désactiver la somme de contrôle, etc. vous aidera?

rsync files Varun
la source
N'utilisez pas rsync s'il n'y a pas de deltas à transférer.
womble
3
@womble: Quel outil dois-je utiliser alors? Rsync a été suggéré ici- serverfault.com/questions/384467/…
Varun
netcat ou scp avec le chiffre nul.
womble
3
Scp avec un chiffre nul? Êtes-vous sûr que scp prend en charge le chiffrement nul. Pouvez-vous s'il vous plaît donner un exemple ou me diriger vers des ressources pertinentes?
Varun

Réponses:

25

Il semble que vous souhaitiez peut-être jeter un œil au commutateur --whole-fileou -W. Ceci est activé par défaut si rsync effectue des copies du système de fichiers local, mais je pense que les documents recommandent son utilisation si la vitesse du LAN est élevée et la synchronisation sur le réseau.

Fondamentalement, il désactive l'algorithme delta rsync et transfère simplement le fichier entier s'il pense qu'il est différent.

Vous ne devriez pas avoir à vous soucier du total de contrôle, sauf si vous forcez -c. Par défaut, il examine simplement la dernière heure de modification et la taille du fichier, et suppose que les fichiers sont différents si ces valeurs sont différentes.

grandir
la source