Les fichiers sont-ils enregistrés sur le disque de manière séquentielle?

Si j'ai bien compris, «fichier clairsemé» signifie que le fichier peut avoir des «lacunes», de sorte que les données réellement utilisées peuvent être plus petites que la taille du fichier logique.

Comment les systèmes de fichiers Linux enregistrent-ils les fichiers sur le disque? Je suis principalement intéressé par ext4. Mais:

1. Un fichier peut-il être enregistré non séquentiellement sur le disque? Par cela, je veux dire qu'une partie du fichier est située à l'adresse physique X et la partie suivante à l'adresse physique Y qui n'est pas proche de X + offset).
2. Puis-je en quelque sorte contrôler la séquentialité du fichier?
   Je veux allouer un fichier de 10 Go. Je veux qu'il soit séquentiel sur le disque et non divisé entre différents décalages.
3. Agit-il différemment entre les différents types?

Un fichier peut-il être enregistré non séquentiellement sur le disque? Je veux dire, une partie du fichier est située sous l'adresse physique X et l'autre partie sous l'adresse physique Y qui n'est pas proche de X + offset).

Oui; ceci est connu sous le nom de fragmentation de fichiers et n'est pas rare, en particulier avec des fichiers plus volumineux. La plupart des systèmes de fichiers allouent l'espace selon les besoins, plus ou moins séquentiellement, mais ils ne peuvent pas deviner le comportement futur - donc si vous écrivez 200 Mo dans un fichier, puis ajoutez 100 Mo supplémentaires, il y a une chance non nulle que les deux ensembles de données être stocké dans différentes zones du disque (fondamentalement, toute autre écriture nécessitant plus d'espace sur le disque, survenant après la première écriture et avant la seconde, pourrait se trouver entre les deux). Si un système de fichiers est presque plein, la situation sera généralement pire: il peut ne pas y avoir de zone contiguë d'espace libre suffisamment grande pour contenir un nouveau fichier, il devra donc être fragmenté.

Puis-je en quelque sorte contrôler la séquence du fichier? Je veux allouer un gros fichier de 10 Go. Je veux qu'il soit séquentiel sur le disque et non divisé entre différents décalages.

Vous pouvez indiquer au système de fichiers la taille cible de votre fichier lors de sa création; cela aidera le système de fichiers à le stocker de manière optimale. De nombreux systèmes de fichiers modernes utilisent une technique connue sous le nom d'allocation différée, dans laquelle la disposition sur disque d'un nouveau fichier est calculée le plus tard possible, afin de maximiser les informations disponibles lorsque le calcul est effectué. Vous pouvez aider ce processus en utilisant la posix_fallocate(3)fonction pour indiquer au système de fichiers combien d'espace disque doit être alloué au total. Les systèmes de fichiers modernes essaieront d'effectuer cette allocation séquentiellement.

Agit-il différemment entre les différents types?

Les différents systèmes de fichiers se comportent différemment, oui. Les systèmes de fichiers basés sur les journaux tels que NILFS2 n'allouent pas de stockage de la même manière que les systèmes de fichiers basés sur les extensions tels que Ext4, et ce n'est qu'un exemple de variation.

La commande filefragvous indiquera comment votre fichier est physiquement stocké sur votre appareil:

# filefrag -v /var/log/messages.1 
Filesystem type is: ef53
File size of /var/log/messages.1 is 41733 (11 blocks, blocksize 4096)
 ext logical physical expected length flags
   0       0  2130567               1 
   1       1 15907576  2130568      1 
   2       2 15910400 15907577      1 
   3       3 15902720 15910401      7 
   4      10  2838546 15902727      1 eof
/var/log/messages.1: 5 extents found

Si vous écrivez votre fichier en un seul passage, je suppose que votre fichier ne sera pas fragmenté.

La page de manuel de fallocate(1) est assez claire:

fallocate est utilisé pour préallouer des blocs à un fichier. Pour les systèmes de fichiers qui prennent en charge l' fallocateappel système, cela se fait rapidement en allouant des blocs et en les marquant comme non initialisés, ne nécessitant pas d'E / S sur les blocs de données. C'est beaucoup plus rapide que de créer un fichier en le remplissant de zéros.

Depuis Linux Kernel v2.6.31, l' fallocateappel système est pris en charge par les systèmes de fichiers btrfs, ext4, ocfs2 et xfs.

Est-ce séquentiel? Le système essaiera d'abord d'allouer les blocs de manière séquentielle. Si ce n'est pas le cas, cela ne vous avertira pas.

Vous mentionnez des fichiers rares et aucune des autres réponses ne les a mentionnés.

La plupart des fichiers ne sont pas rares. La façon la plus courante de créer un fichier est de tout écrire en une seule fois, du début à la fin. Pas de trous là-bas.

Cependant, vous êtes autorisé à dire «passer à la position 1 000 000 000 000 et y écrire un octet». Cela va créer un fichier qui ressemble à un gros etaoctet, mais qui n'utilise (probablement) que 4k sur le disque. Il s'agit d'un fichier clairsemé.

Vous pouvez le faire plusieurs fois pour le même fichier, laissant de petites quantités de données dispersées dans le vaste vide.

Bien que cela puisse être utile, il y a deux inconvénients.

La première est que le fichier sera fragmenté, ce qui vous inquiète.

La seconde est que tous les programmes ne gèrent pas bien ces fichiers. Par exemple, certains logiciels de sauvegarde essaieront de sauvegarder le vide et créeront ainsi une sauvegarde beaucoup plus importante que nécessaire, peut-être trop grande pour le support de sauvegarde.

Puis-je en quelque sorte contrôler la séquentialité du fichier? Je veux allouer un fichier de 10 Go. Je veux qu'il soit séquentiel sur le disque et non divisé entre différents décalages.

Il existe au moins deux façons d'y parvenir.

1. Utilisez un système de fichiers avec beaucoup d'espace libre et préallouez l'espace (par exemple, utilisez un marqueur de fin de données spécifique à l'application et ajoutez des données aléatoires jusqu'à ce que la taille du fichier atteigne 10 Go). Cela ne garantit pas la création de données non fragmentées.

2. Utilisez un système de fichiers brut (non cuit) au lieu d'ext4 etc. Les SGBD le font parfois pour des raisons de performances. Le compromis est que vous devez faire votre propre mise en cache / journalisation / récupération, etc. si nécessaire.

Les cas où vous gagnez beaucoup en faisant cela sont relativement rares - je chercherais d'abord ailleurs pour optimiser les performances.

Voir également

Est-il vrai que les systèmes de gestion de bases de données contournent généralement les systèmes de fichiers?

Si ce n'est qu'une chose unique et que la façon dont le fichier est stocké à l'origine n'est pas importante, seul le résultat compte, alors vous pouvez simplement enregistrer le fichier normalement, puis exécuter le défragmenteur de votre système d'exploitation. Ensuite, vous pouvez vérifier avec cette réponse si votre fichier est en un seul morceau, sinon, répétez. C'est la façon la plus simple de le faire, sans utiliser de commandes ou de programmes externes, mais ce n'est certainement pas la méthode la plus rapide, car elle défragmente votre disque entier.