Comment créer un gros fichier sous UNIX?

J'ai trouvé un moyen dans Windows de faire une telle chose

echo "This is just a sample line appended  to create a big file. " > dummy.txt
for /L %i in (1,1,21) do type dummy.txt >> dummy.txt

http://www.windows-commandline.com/how-to-create-large-dummy-file/

Existe-t-il un moyen sous UNIX de copier un fichier, de l'ajouter puis de répéter le processus? Quelque chose comme ça for .. cat file1.txt > file1.txt?

yes "Some text" | head -n 100000 > large-file

Avec csh/ tcsh:

repeat 10000 echo some test > large-file

Avec zsh:

{repeat 10000 echo some test} > large-file

Sur les systèmes GNU, voir aussi:

seq 100000 > large-file

Ou:

truncate -s 10T large-file

(crée un fichier fragmenté de 10 To (très volumineux mais ne prend pas de place sur le disque)) et les autres alternatives décrites dans "Créer un fichier de test avec beaucoup de zéro octet" .

Faire cat file >> file serait une mauvaise idée.

Tout d'abord, cela ne fonctionne pas avec certaines catimplémentations qui refusent de lire des fichiers identiques à leur fichier de sortie. Mais même si vous contournez ce problème en faisant cat file | cat >> file, s'il fileest plus grand que catle tampon interne de, cela entraînerait catune exécution dans une boucle infinie car il finirait par lire les données qu'il a écrites plus tôt.

Sur les systèmes de fichiers soutenus par un disque dur rotatif, il serait également assez inefficace (après avoir atteint une taille supérieure à celle qui serait éventuellement mise en cache en mémoire) car le lecteur devrait faire des allers-retours entre l'emplacement où lire les données, et que où l'écrire.

Vous pouvez créer un fichier volumineux sur Solaris en utilisant:

mkfile 10g /path/to/file

Une autre façon qui fonctionne sur Solaris (et Linux):

truncate -s 10g /path/to file

Il est également possible d'utiliser:

dd if=/dev/zero of=/path/to/file bs=1048576 count=10240

Le moyen le plus rapide possible de créer un gros fichier dans un système Linux est fallocate:

sudo fallocate -l 2G bigfile

fallocatemanipule le système de fichiers, et n'écrit pas réellement dans les secteurs de données par défaut, et en tant que tel est extrêmement rapide. L'inconvénient est qu'il doit être exécuté en tant que root.

En l'exécutant successivement en boucle, vous pouvez remplir le plus grand des systèmes de fichiers en quelques secondes.

De man fallocate

fallocate est utilisé pour manipuler l'espace disque alloué pour un fichier, soit pour le désallouer, soit pour le préallouer.
Pour les systèmes de fichiers qui prennent en charge l'appel système fallocate, la préallocation se fait rapidement en allouant des blocs et en les marquant comme non initialisés, ne nécessitant pas d'E / S sur les blocs de données. C'est beaucoup plus rapide que de créer un fichier en le remplissant de zéros.
Pris en charge pour XFS (depuis Linux 2.6.38), ext4 (depuis Linux 3.0), Btrfs (depuis Linux 3.7) et tmpfs (depuis Linux 3.5).

Cela continuera jusqu'à ce que vous CTRL-C:

yes This is stuff that I want to put into my file... >> dummy.txt

Attention cependant, car vous pouvez obtenir des centaines de milliers de lignes / seconde ...

De man yes:

yes - output a string repeatedly until killed

Si je vous comprends bien, vous cherchez quelque chose comme:

echo "test line" > file;
for i in {1..21}; do echo "test line" >> file; done

Cela va créer un fichier avec 22 répétitions de "ligne de test". Si vous voulez une taille de fichier spécifique, vous pouvez utiliser quelque chose comme ça (sous Linux). 1024 est un kilo-octet:

while [ $(stat -c "%s" file) -le 1024 ]; do echo "test line" >> file; done

Personnellement, lorsque je veux créer un fichier volumineux, j'utilise deux fichiers et les catalyse l'un dans l'autre. Vous pouvez répéter le processus jusqu'à atteindre la taille souhaitée (1 Mo ici):

echo "test line" > file;
while [ $(stat -c "%s" file) -le 1048576 ]; do 
    cat file >> newfile
    cat newfile >> file
done

Notez que cette solution dépassera souvent la taille souhaitée car si le fichier est en dessous de la limite, tout y sera à nouveau intégré.

Enfin, si tout ce que vous voulez, c'est un fichier de la taille souhaitée et que vous n'en avez pas besoin pour contenir quoi que ce soit, vous pouvez utiliser truncate:

truncate -s 1M file

En canalisant le contenu de /dev/urandomto, headvous pouvez rediriger la sortie vers un fichier, donc:

 cat /dev/urandom | head --bytes=100 >> foo.bar

Vous donnera un fichier avec 100 octets de déchets.

echo "This is just a sample line appended  to create a big file. " > dummy.txt
i=1
while [ $i -le 21 ]
do
  cat dummy.txt >> bigfile
  cat bigfile > dummy.txt
  (( i++ ))
done

même effet de votre script windows mais en bash, vous ne pouvez pas concaténer directement un fichier.