Un programme de compression de fichiers plus efficace pour de nombreux fichiers identiques?

12

Je fais une sauvegarde de mon travail et je suis à la recherche d'un programme capable de compresser plus efficacement les fichiers. Le programme de compression par défaut de Windows fonctionne bien, mais il ne fonctionne pas aussi "intelligemment" que je le souhaiterais.

Mes fichiers sont essentiellement des instantanés entiers de mon travail pris au cours des derniers mois pendant que je fais mes sauvegardes complètes régulières. pas beaucoup de changements entre les sauvegardes et de nombreux fichiers sont simplement des copies les uns des autres.

L'ensemble de mes fichiers est d'environ 15 Go non compressés, tandis que les sauvegardes instantanées individuelles (compressées à l'aide de programmes de compression standard) font environ 150 à 200 Mo chacune (elles augmentent généralement en taille avec des dates plus récentes). La taille totale de tous les instantanés compressés est d'environ 3 Go. En raison de la nature des fichiers, je m'attends à ce qu'un programme de compression "intelligent" réduise le volume entier à environ 400-500 Mo, c'est-à-dire en tenant compte des inefficacités raisonnables et de l'espace supplémentaire pour compresser les différences dans les fichiers.

Existe-t-il un programme de compression qui tirera parti du fait que de nombreux fichiers sont identiques pour atteindre un taux de compression beaucoup plus élevé que le programme de compression Windows standard?

Merci -Faken

Edit: Je viens de terminer une meilleure compression de tout le volume en utilisant la compression Windows standard. C'est seulement 10 Mo de mieux que les instantanés compressés combinés. À mon avis, c'est inacceptable de connaître la nature des dossiers.

ChrisF
la source
Sur quelle version de Windows?
John T
1
Heh, sa vue ...
3
Le passage au contrôle de version au lieu de ces sauvegardes ne serait-il pas préférable? J'utilise également git pour les fichiers binaires et cela fonctionne très bien. Je ne pense pas qu'il puisse le compresser jusqu'à 7z, mais est-ce important si cela prend 150 Mo ou 300 Mo? Sinon, j'irais pour la facilité d'utilisation et la flexibilité.
maaartinus

Réponses:

18

7-zip prend en charge la compression solide si je me souviens bien, il devrait donc très bien compresser beaucoup de fichiers presque identiques.

T. Kaltnekar
la source
2
+1, et considérez le format 7z par défaut .
nik
Je vais essayer, je vous répondrai avec les résultats.
2
Après 1 heure de compression aux paramètres les plus élevés, j'ai obtenu une taille de fichier de 133 Mo. C'est très impressionnant! Mon estimation agressive initiale (que je n'ai pas indiquée) était une taille de fichier d'environ 150 Mo (ce qui est opposé à mon estimation conservatrice déclarée de 400 à 500 Mo). On dirait que je vais maintenant convertir en 7z!
Même si vous devez vous en tenir au format Zip standard, 7-zip a un meilleur rendement que d'autres outils de compression populaires (WinRAR, WinZip) avec le paramètre d'efficacité le plus élevé.
christophem
7 zip est littéralement l'un des premiers outils que j'ai mis sur une nouvelle boîte. C'est tout simplement trop utile.
corsiKa
6

J'ai fait quelques tests sur l'aspect des "fichiers identiques", comme mentionné dans la question, en utilisant 7-zip (version 9.20), car personne n'a encore donné de réponse détaillée à ce sujet. Cela a donné des résultats intéressants. J'ai testé avec 10 copies du fichier que ce site utilise pour son message de page introuvable . Ce fichier ne se compressera pas très bien en tant que fichier individuel, étant un fichier jpg. Ainsi, il démontrera l'efficacité de la compression de plusieurs fichiers identiques. La taille de son fichier est de 37 Ko.

  1. Lorsque je compresse les dix copies, au format zip, la taille du fichier est de 367 Ko, avec une taille compressée d'environ 99% de la taille totale d'origine des 10 fichiers.
  2. Lorsque je compresse les dix copies, au format 7z, la taille du fichier est de 37 Ko, avec une taille compressée d'environ 101% d' un seul des fichiers originaux.
  3. Si je mets d'abord 5 copies dans une archive 7-z, puis j'ajoute 3 et enfin 2 copies dans des étapes distinctes, la taille du fichier devient 111 Ko, environ trois fois la taille d'un seul fichier d'origine.

Si j'ouvre la 3e archive, l'une des propriétés est Bloquer . Cela répertorie 0, 1 et 2 pour 3, 5 et 2 des fichiers, respectivement.

Observations:

  1. Le format zip compressera chaque fichier individuellement, sans bénéficier de la possibilité de compresser efficacement des fichiers identiques.
  2. Le format 7z compressera efficacement plusieurs fichiers identiques, à condition qu'ils soient ajoutés à l'archive en une seule étape.

Conclusions:

  1. Pour des compressions optimales de fichiers, utilisez 7z plutôt que zip.
  2. La compression peut s'améliorer considérablement si vous n'ajoutez pas de fichiers à une archive 7z existante, mais que vous la décompressez d'abord et que vous la compressez à nouveau, y compris les nouveaux fichiers, en une seule étape.
R. Schreurs
la source
1

Windows Vista est livré avec le Centre de sauvegarde et de restauration . Il fera des sauvegardes incrémentielles de vos fichiers pour éviter de gaspiller de l'espace et d'avoir à créer plusieurs sauvegardes. Depuis la page liée:

Les versions de fichiers précédemment sauvegardées n'utilisent qu'un strict minimum d'espace disque. Si seule une petite partie d'un fichier change (telle qu'une diapositive dans une présentation), seule cette partie est suivie et enregistrée.

John T
la source
1

7-zip possède l'un des meilleurs algorithmes de compression. Je ne crois pas qu'il y ait actuellement quoi que ce soit qui bat 7-zip en compression (algorithme).

Ours grincheux
la source