Outil de ligne de commande pour dédupliquer un seul fichier gigantesque?

1

Je réalise régulièrement des instantanés de ma machine virtuelle à l'aide d'un script nocturne. Ces sauvegardes sont compressées à l’aide de WinRAR et réduisent considérablement, mais j’imagine que ce n’est pas aussi efficace que le fichier avait été dédupliqué en premier (une idée que j’espère tester).

Ainsi, au lieu de compresser le disque dur virtuel lui-même, je voudrais d'abord dédupliquer le fichier unique, puis compresser la sortie du déduplicateur.

Est-ce que quelqu'un est au courant d'un tel outil CLI?

windows RomanSt
la source
Comment voulez-vous dédupliquer 1 fichier? Peux-tu expliquer?
Notitze
@ Note en supprimant les sections du fichier qui se répètent. Vous pourriez appeler la compression de ce pauvre homme (ce qui supprime la redondance en général), mais pour les fichiers qui impliquent des répétitions massives, un compresseur à usage général risque de ne pas supprimer autant d'informations qu'un déduplicateur.
RomanSt
Je doute que ce soit le cas, vraiment. L’intérêt d’un outil de compression est d’éliminer les doublons dans un fichier et d’échanger le temps d’exécution en faveur du taux de compression par rapport à un fd déduplication. Si la machine virtuelle contient beaucoup d'espace vide, la réduction à zéro de l'espace libre de la machine virtuelle et le compactage du disque virtuel seront probablement plus utiles.
afrazier
@afrazier, l’espace vide est bien sûr mis à zéro et le disque est compacté. Je suis encore à trouver une qualité de production gratuite FS pour Windows. Les compresseurs existants, tels que WinRAR, gèrent mal la duplication à longue distance. Essayez-le vous-même: faites 10 copies du même fichier mp3 de 5 Mo et compressez au maximum les paramètres avec WinRAR. Vous obtiendrez un fichier de 50 Mo, hélas.
RomanSt
1
@romkyns C'est peut-être parce que la taille de mon fichier était dans la taille du dictionnaire. Duh moi. :-) Peut-être essayez-vous de créer un cliché instantané du disque dur virtuel (suspendre la machine virtuelle, instantané, redémarrer la machine virtuelle) et de le sauvegarder - cela vous permettrait d'étendre la fenêtre de sauvegarde et de réduire les temps d'arrêt. Blog d'Adi Oltean a quelques scripts utiles et des informations sur la façon de le faire.
afrazier

Réponses:

3

Tu peux essayer Le SDFS d'OpenDedup . Ce n'est pas exactement ce que vous recherchez, mais probablement aussi proche que vous le ferez avec Windows.

afrazier
la source