Créer un fichier de grande taille en moins de temps

Je veux créer un gros fichier ~ 10G rempli de zéros et de valeurs aléatoires. J'ai essayé d'utiliser:

dd if=/dev/urandom of=10Gfile bs=5G count=10

Il crée un fichier d'environ 2 Go et se termine avec un état de sortie «0». Je n'arrive pas à comprendre pourquoi?

J'ai également essayé de créer un fichier en utilisant:

head -c 10G </dev/urandom >myfile

Il faut environ 28-30 minutes pour le créer. Mais je veux qu'il soit créé plus rapidement. Quelqu'un a une solution?

Je souhaite également créer plusieurs fichiers avec le même motif (pseudo) aléatoire pour comparaison. Quelqu'un sait-il comment faire cela?

Que diriez-vous d'utiliser fallocate, cet outil nous permet de préallouer de l'espace pour un fichier (si le système de fichiers prend en charge cette fonctionnalité). Par exemple, en allouant 5 Go de données à un fichier appelé «exemple», on peut faire:

fallocate -l 5G example

Ceci est beaucoup plus rapide que dd et allouera l'espace très rapidement.

Vous pouvez utiliser ddpour créer un fichier composé uniquement de zéros. Exemple:

dd if=/dev/zero of=zeros.img count=1 bs=1 seek=$((10 * 1024 * 1024 * 1024 - 1))

C'est très rapide car un seul octet est réellement écrit sur le disque physique. Cependant, certains systèmes de fichiers ne le prennent pas en charge.

Si vous souhaitez créer un fichier contenant un contenu pseudo-aléatoire, exécutez:

dd if=/dev/urandom of=random.img count=1024 bs=10M

Je vous suggère d'utiliser 10M comme taille de tampon ( bs). C'est parce que 10M n'est pas trop grand, mais il vous donne toujours une bonne taille de tampon. Cela devrait être assez rapide, mais cela dépend toujours de la vitesse de votre disque et de la puissance de traitement.

En utilisant dd, cela devrait créer un fichier de 10 Go rempli de données aléatoires:

dd if=/dev/urandom of=test1 bs=1M count=10240

count est en mégaoctets.

Source: stackoverflow - Comment créer un fichier avec une taille donnée sous Linux?

Répondre à la première partie de votre question:

Essayer d'écrire un tampon de 5 Go à la fois n'est pas une bonne idée car votre noyau ne le supporte probablement pas. Cela ne vous procurera aucun avantage en termes de performances. Écrire 1M à la fois est un bon maximum.

Cette question a été ouverte il y a 5 ans. Je suis juste tombé sur cela et je voulais ajouter mes conclusions.

Si vous utilisez simplement

dd if=/dev/urandom of=random.img count=1024 bs=10M

cela fonctionnera beaucoup plus rapidement comme expliqué par xiaodongjie. Mais, vous pouvez le rendre encore plus rapide en utilisant eatmydatacomme

eatmydata dd if=/dev/urandom of=random.img count=1024 bs=10M

Qu'est eatmydata- ce que c'est, il désactive fsync pour accélérer l'écriture du disque.

Vous pouvez en savoir plus à ce sujet sur https://flamingspork.com/projects/libeatmydata/ .