Gzip amical Rsync

26

Je ne dois pas être le seul - je rsyncate les fichiers .tar.gz et je remarque que chaque fois que le fichier complet est rsyncé plutôt que les différences. En y lisant, il semble qu'en 1999, quelqu'un a créé un algorithme qui a résolu le problème http://svana.org/kleptog/rgzip.html (seulement 5% des données ont dû être transférées)

Est-ce que cela est allé depuis, comment créer des fichiers .tar.gz adaptés à rsync?

svandragt
la source

Réponses:

27

mon gzip (sur ubuntu et fedora) a l'option --rsyncable. Créez donc les tarballs en utilisant:

tar -c whatever/ | gzip --rsyncable > file.tar.gz
pixelbeat
la source
12

BeezNest a une assez bonne explication de l' option rsyncable pour gzip . Dans le test de l'auteur, cette option a ajouté environ 1% à la taille du fichier, mais a permis à rsync de transférer les mises à jour vers un fichier compressé avec plus de 1300 accélérations.

Pour les détails sanglants, voir cette discussion , qu'ils citent.

Rich Apodaca
la source
4

J'aime celui-ci parce que je voulais le tar.gz, pas seulement .gz

GZIP='--rsyncable' tar cvzf bobsbackup.tar.gz /home/bob
Weston Ganger
la source
3

Je sais qu'Ubuntu Linux applique un correctif (fichier gzip) aux sources gzip pour permettre un --rsyncableindicateur. Vous pouvez télécharger ce correctif et l'utiliser vous-même, ou voir si votre distribution inclut le correctif.

Alok
la source