Est-il possible de compresser un très gros fichier (~ 30 Go) en utilisant gzip?

17

Est-il possible de compresser un très gros fichier (~ 30 Go) en utilisant gzip? Si oui, quelles commandes, commutateurs et options dois-je utiliser?

Ou existe-t-il un autre programme (de préférence communément disponible sur les distributions Ubuntu) que je peux utiliser pour compresser / compresser de très gros fichiers? Avez-vous une expérience avec cela?

filesystems files compression gzip Andrew
la source
La plupart des compresseurs hardcore sont xz, ou sa version parallèle, pxz. pxz -9ve - <in >out.xzet vous allez cuire un poulet sur votre PC, mais le résultat sera d'environ 60% du résultat gzip. Vous avez besoin d'environ 7 Go pour cela.
peterh

Réponses:

22

AFAIK il n'y a pas de limite de taille pour gzip- au moins pas 30 Go. Bien sûr, vous avez besoin de l'espace pour le fichier compressé sur votre disque, les deux versions seront là simultanément pendant la compression.

bzip2 compresse mieux les fichiers (pas seulement les gros :-), mais c'est (parfois beaucoup) plus lent.

Oh non
la source
4
bzip2 est particulièrement efficace pour compresser le code source (et similaires). C'est un bon concurrent pour gzip pour une utilisation générique aussi. La disponibilité de gzip sur différents systèmes d'exploitation est meilleure que bzip2
jippie
La compression sans perte bzip2 est-elle? Merci.
Andrew
3
@Andrew Oui, gzip / bzip2 / etc ... sont tous sans perte.
Renan
1
Et il y pbzipen a aussi - qui utiliseront plus d'un cœur de processeur. Mais toujours beaucoup plus lentement que gzip.
Nils
1
@Nils: sur mon Ubuntu il y a seulementpbzip2
rubo77
8

si vous avez besoin d'un bon taux de compression, vous pouvez essayer lzma. il est plus rapide et plus efficace que bzip2 et peut même être plus rapide que gzip (je n'en suis pas sûr)

http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/

fromnaboo
la source
4
lzmaest déconseillé en faveur de xzmaintenant. Même algorithme, format de fichier quelque peu différent (amélioré?) Qui l'entoure. LZMA est plus lent que gzip, mais à la vitesse maximale, il reste une assez bonne compression sur des éléments hautement redondants comme les données JSON. ( xz -0)
Peter Cordes
3

Si vous êtes dans la limite, réorganisez. Au lieu de:

gzip file

faire:

gzip < file > file.gz

Fonctionne très bien.

Joshua
la source
2

Le format gzip représente la taille d'entrée modulo 2 ^ 32, donc l' --listoption signale des tailles et des taux de compression non compressés incorrects pour les fichiers non compressés de 4 Go et plus.

Alors, prenez bzip2(v1.0.2 et plus) ou xz.

cunéiforme
la source
S'il ne doit être que gzip, alors votre fichier doit être divisé en parties plus petites jusqu'à 4 Go chacune.
cunéiforme
Il existe des séparateurs de fichiers disponibles pour cela.
Vérace
Eh bien, il n'est pas nécessaire de le diviser, c'est juste que les tailles signalées seront erronées.
Loi29
2

XZ réglé sur la compression la plus basse peut bien battre gzip pour la vitesse et la compression.

Peter Shannon
la source