Dans la presse technologique informelle (c'est-à-dire journalistique), ainsi que dans les blogs de technologie et les forums de discussion en ligne, on trouve couramment un conseil anecdotique de laisser une certaine quantité d'espace libre sur les disques durs ou les disques SSD. Diverses raisons à cela sont données, ou parfois aucune raison du tout. En tant que telles, ces affirmations, bien que peut-être raisonnables en pratique, ont un aspect mythique. Par exemple:

• Une fois que vos disques sont remplis à 80%, vous devez les considérer comme pleins et vous devez immédiatement supprimer des éléments ou effectuer une mise à niveau. S'ils atteignent 90% , vous devriez considérer que vos pantalons personnels sont en feu et réagir avec une quantité suffisante d'immédiat pour remédier à cela. ( Source .)

• Pour maintenir la collecte des ordures au maximum de son efficacité, le conseil traditionnel consiste à garder 20 à 30% de votre disque vide. ( Source .)

• On m'a dit que je devrais laisser environ 20% de liberté sur un disque dur pour de meilleures performances, qu'un disque ralentit vraiment lorsqu'il est presque plein. ( Source .)

• Vous devez laisser de la place pour les fichiers d'échange et les fichiers temporaires. Je laisse actuellement 33% libre et vœu de ne pas obtenir moins de 10 Go d’espace libre sur le disque dur. ( Source .)

• Je dirais généralement 15%, mais avec la taille des disques durs actuels, tant que vous en avez assez pour vos fichiers temporaires et vos fichiers d'échange, techniquement, vous êtes en sécurité. ( Source .)

• Je recommanderais 10% de plus sous Windows, car la défragmentation ne fonctionnera pas s'il n'y a pas beaucoup de mémoire disponible sur le lecteur lorsque vous l'exécutez. ( Source .)

• Vous voulez généralement laisser environ 10% de liberté pour éviter la fragmentation ( Source .)

• Si votre disque est toujours plein à plus de 75 ou 80%, la mise à niveau vers un SSD plus grand vaut la peine d'être envisagée. ( Source .)

Des recherches ont-elles été effectuées, de préférence publiées dans une revue à comité de lecture, sur le pourcentage ou la quantité absolue d'espace libre requis par des combinaisons spécifiques de systèmes d'exploitation, de systèmes de fichiers et de technologies de stockage (par exemple, le plateau magnétique par rapport à l'état solide)? (Idéalement, de telles recherches expliqueraient également la raison pour ne pas dépasser la quantité spécifique d'espace utilisé, par exemple pour éviter que le système ne soit à court d' espace d'échange ou pour éviter une perte de performance.)

Si vous êtes au courant de telles recherches, je vous serais reconnaissant de bien vouloir répondre par un lien ainsi que par un bref résumé des résultats. Merci!

Y a-t-il eu des recherches, de préférence publiées dans une revue à comité de lecture […]?

Pour cela, il faut remonter bien plus de 20 ans, d’administration système ou autre. C'était un sujet d'actualité, du moins dans le monde des systèmes d'exploitation d'ordinateurs personnels et de stations de travail, il y a plus de 30 ans; À l'époque où le personnel de BSD développait le système de fichiers Berkeley Fast, Microsoft et IBM développaient le système de fichiers haute performance.

La littérature de ces deux créateurs traite de la manière dont ces systèmes de fichiers ont été organisés pour que la stratégie d’allocation de blocs donne de meilleures performances en essayant de rendre contigus des blocs de fichiers consécutifs. Vous pouvez trouver des discussions à ce sujet et sur le fait que la quantité et l'emplacement de l'espace libre laissé pour allouer des blocs affectent le placement des blocs et donc la performance, dans les articles contemporains sur le sujet.

La description de l'algorithme d'allocation de blocs du FFS Berkeley, par exemple, montre clairement que, s'il n'y a pas d'espace libre dans le groupe de cylindres actuel et secondaire, l'algorithme atteint ainsi le repli du quatrième niveau ("appliquer une recherche exhaustive à tous les groupes de cylindres "), les performances d’allocation des blocs de disque en souffriront, de même que la fragmentation du fichier (et donc les performances en lecture).

Ce sont ces analyses et des analyses similaires (loin d’être les seules conceptions de système de fichiers ayant pour objectif d’améliorer les politiques de mise en page des conceptions de système de fichiers de l’époque) sur lesquelles s’appuie la sagesse reçue des 30 dernières années.

Par exemple: le dicton dans le document original selon lequel les volumes FFS doivent être conservés à moins de 90%, afin de ne pas nuire aux performances, basé sur des expériences réalisées par les créateurs, peut être répété sans aucune critique même dans les ouvrages sur les systèmes de fichiers Unix publiés ce siècle ^{(par exemple: Pate2003 page 216)} . Peu de personnes s’interrogent sur cette question, bien que Amir H. Majidimehr l’ait fait le siècle précédent, affirmant que xe n’a pratiquement pas observé d’effet notable; notamment en raison du mécanisme Unix habituel qui réserve que finale de 10% pour l' utilisation de superutilisateur, ce qui signifie qu'un disque plein 90% est efficace à 100% complète pour les non-superutilisateurs de toute façon ^{(Majidimehr1996 p. 68)}. Bill Calkins également, qui suggère que, dans la pratique, on peut remplir jusqu'à 99% des tailles de disques du 21e siècle avant d'observer les effets de performances d'un faible espace libre, car même 1% des disques de taille moderne suffisent pour disposer de beaucoup d'espace libre non fragmenté. encore à jouer avec ^{(Calkins2002 p. 450)} .

Ce dernier est un exemple de la façon dont la sagesse reçue peut devenir fausse. Il y a d'autres exemples de cela. Tout comme les mondes d’ adressage de blocs logiques et d’ enregistrement de bits zonés SCSI et ATA ont jeté dehors par la fenêtre tous les calculs soigneux de latence rotationnelle dans la conception du système de fichiers BSD, de sorte que la mécanique physique des disques SSD jette par la fenêtre l’espace libre. sagesse reçue qui s’applique aux disques Winchester.

Avec les disques SSD, la quantité d'espace libre sur le périphérique dans son ensemble , c'est-à-dire sur tous les volumes du disque et entre ceux-ci , a un effet à la fois sur les performances et sur la durée de vie. Et la base même de l’idée selon laquelle un fichier doit être stocké dans des blocs avec des adresses de bloc logiques contiguës est sapé par le fait que les disques SSD n’ont pas de plateaux à faire pivoter ni à rechercher des têtes. Les règles changent encore.

Avec les disques SSD, la quantité minimale d’espace libre recommandée est en réalité supérieure aux 10% traditionnels issus des expériences avec les disques Winchester et les FFS Berkeley d’il ya 33 ans. Anand Lal Shimpi donne 25%, par exemple. Cette différence est aggravée par le fait qu'il doit s'agir d'un espace libre sur l'ensemble du périphérique , alors que le chiffre de 10% se situe dans chaque volume FFS et est donc affecté par le fait que le programme de partitionnement sait si TRIM occupe tout l'espace qui ne l'est pas. alloué à un volume de disque valide par la table de partition.

Il est également compliqué par des complexités telles que des pilotes de système de fichiers compatibles TRIM pouvant libérer de l'espace dans les volumes de disque, et le fait que les fabricants de disques SSD allouent déjà divers degrés d' espace réservé qui n'est même pas visible hors du périphérique (c'est-à-dire à l'ordinateur hôte). ) pour diverses utilisations telles que la collecte des ordures et le nivellement d'usure.

Bibliographie

• Marshall K. McKusick, William N. Joy, Samuel J. Leffler et Robert S. Fabry (1984-08). Un système de fichiers rapide pour UNIX . Transactions ACM sur des systèmes informatiques. Volume 2 numéro 3. pp.181-197. Archivé à cornell.edu.
• Roy Duncan (1989-09). Objectifs de conception et mise en œuvre du nouveau système de fichiers haute performance . Microsoft Systems Journal . Volume 4 numéro 5. pp. 1–13. Archivé à wisc.edu.
• Marshall Kirk McKusick, Keith Bostic, Michael J. Karels et John S. Quarterman (1996-04-30). "Le système de fichiers Berkeley Fast". La conception et la mise en œuvre du système d'exploitation 4.4 BSD . Addison-Wesley Professional. ISBN 0201549794.
• Dan Bridges (1996-05). Dans le système de fichiers haute performance - Partie 4: Fragmentation, bitmaps d’espace de disque et pages de code . Bits significatifs. Archivé sur Electronic Developer Magazine pour OS / 2.
• Keith A. Smith et Margo Seltzer (1996). Comparaison des stratégies d'allocation de disque FFS . Actes de la conférence technique annuelle USENIX. Archivé à harvard.edu.
• Steve D. Pate (2003). "Analyse de performance du FFS". Systèmes de fichiers UNIX: évolution, conception et implémentation . John Wiley amp; Fils ISBN 9780471456759.
• Amir H. Majidimehr (1996). Optimiser UNIX pour la performance . Prentice Hall. ISBN 9780131115514.
• Bill Calkins (2002). "Gestion des systèmes de fichiers". Dans Solaris 9 . Que Publishing. ISBN 9780735711013.
• Anand Lal Shimpi (2012-10-04). Exploration de la relation entre la zone de réserve et la cohérence des performances dans les disques SSD modernes . AnandTech.
• Henry Cook, Jonathan Ellithorpe, Laura Keys et Andrew Waterman (2010). IotaFS: Exploration des optimisations du système de fichiers pour les SSD . Transactions IEEE sur Consumer Electronics. Archivé à stanford.edu.
• https://superuser.com/a/1081730/38062
• Accela Zhao (2017-04-10). Un résumé sur SSD & FTL . github.io.
• Windows coupe-t-il l'espace non partitionné (non formaté) sur un disque SSD?

Bien que je ne puisse pas parler de "recherches" publiées par des "revues à comité de lecture" - et je ne voudrais pas avoir à me fier à celles-ci pour le travail quotidien - je peux cependant parler de la réalité de centaines de productions. serveurs sous divers systèmes d’exploitation pendant de nombreuses années:

Un disque complet réduit les performances pour trois raisons:

• Privation d’espace libre: pensez aux fichiers temporaires, aux mises à jour, etc.
• Dégradation du système de fichiers: la plupart des systèmes de fichiers souffrent de leur capacité à disposer les fichiers de manière optimale si l'espace disponible est insuffisant.
• Dégradation au niveau du matériel: les disques SSD et SMR ne disposant pas de suffisamment d'espace libre afficheront un débit réduit et, pire encore, une latence accrue (parfois de plusieurs ordres de grandeur).

Le premier point est trivial, d’autant plus qu’aucun système de production sensé n’utiliserait jamais l’espace de permutation dans des fichiers à expansion et à réduction dynamiques.

Le deuxième point diffère fortement entre les systèmes de fichiers et la charge de travail. Pour un système Windows avec une charge de travail mixte, un seuil de 70% s'avère tout à fait utilisable. Pour un système de fichiers Linux ext4 avec peu mais de gros fichiers (par exemple, des systèmes de diffusion vidéo), cela peut aller jusqu'à 90 +%.

Le troisième point dépend du matériel et du microprogramme, mais les disques SSD dotés d’un contrôleur Sandforce peuvent s’effacer lorsqu’un bloc libre est effacé sur des charges de travail à écriture élevée, ce qui entraîne des latences d’écriture pouvant atteindre des milliers de pour cent. Nous laissons habituellement 25% de places libres au niveau de la partition, puis observons un taux de remplissage inférieur à 80%.

Recommandations

Je me rends compte que j'ai mentionné comment faire en sorte qu'un taux de remplissage maximal soit appliqué. Quelques pensées aléatoires, aucune d’entre elles "examinées par les pairs" (rémunérées, fictives ou réelles) mais toutes issues de systèmes de production.

• Utiliser les limites du système de fichiers: /varn'appartient pas au système de fichiers racine.
• Surveillance, surveillance, surveillance. Utilisez une solution toute faite si elle vous convient, sinon analysez la sortie de df -het laissez les sonneries d’alarme sonner au cas où. Cela peut vous faire économiser 30 noyaux sur un fs racine avec des mises à jour automatiques installées et fonctionnant sans l'option de suppression automatique.
• En premier lieu, évaluez le risque de perturbation d'un débordement de fs par rapport au coût de son agrandissement: si vous ne possédez pas un périphérique intégré, vous pouvez simplement doubler ces 4G pour la racine.

Y a-t-il eu des recherches ... sur le pourcentage ou la quantité absolue d'espace libre requis par des combinaisons spécifiques de systèmes d'exploitation, de systèmes de fichiers et de technologies de stockage ...?

En 20 ans d’administration système, je n’ai jamais rencontré de recherche détaillant les besoins en espace libre de diverses configurations. Je suppose que cela est dû au fait que les ordinateurs sont configurés de manière si diverse qu'il serait difficile de le faire en raison du grand nombre de configurations système possibles.

Pour déterminer la quantité d'espace libre nécessaire à un système, vous devez prendre en compte deux variables:

1. L'espace minimal requis pour prévenir les comportements indésirables, qui peut lui-même avoir une définition fluide.

   Notez qu'il n'est pas utile de définir l'espace libre requis uniquement par cette définition, car cela équivaut à dire qu'il est prudent de conduire à 80 km / h en direction d'un mur de briques jusqu'au point même où vous entrez en collision avec celui-ci.

2. La vitesse à laquelle la mémoire est consommée, ce qui impose de réserver une quantité variable d'espace supplémentaire, de manière à ce que le système ne se dégrade pas avant que l'administrateur n'ait le temps de réagir.

La combinaison spécifique du système d'exploitation, des systèmes de fichiers, de l'architecture de stockage sous-jacente, ainsi que du comportement des applications, de la configuration de la mémoire virtuelle, etc. crée tout un défi pour un utilisateur désireux de fournir des exigences définitives en matière d'espace libre.

C'est pourquoi il existe tant de "pépites" de conseils. Vous remarquerez que beaucoup d'entre eux font une recommandation concernant une configuration spécifique. Par exemple, "Si votre disque SSD est sujet à des problèmes de performances lorsque votre capacité est proche de sa capacité, restez au-dessus de 20% d'espace libre".

Comme il n’existe pas de réponse simple à cette question, la bonne approche pour identifier la quantité minimale d’espace libre requise par votre système consiste à examiner les différentes recommandations génériques à la lumière de la configuration spécifique de votre système, puis à définir un seuil, à le surveiller et à vouloir l’ajuster. le cas échéant.

Ou vous pouvez simplement garder au moins 20% d'espace libre. À moins bien sûr que vous ayez un volume RAID 6 de 42 To soutenu par une combinaison de disques SSD et de disques durs traditionnels et un fichier d'échange pré-alloué ... (c'est une blague pour les plus sérieux).

Bien sûr, un lecteur lui-même (disque dur ou SSD) se moque bien du nombre de pourcentages d’utilisations, à part le fait que les SSD peuvent effacer leur espace libre à l’avance. Les performances en lecture seront exactement les mêmes et les performances en écriture risquent d’être un peu moins bonnes sur les disques SSD. Quoi qu'il en soit, les performances en écriture ne sont pas très importantes sur un lecteur presque plein, car il n'y a pas d'espace pour écrire quoi que ce soit.

D'autre part, votre système d'exploitation, votre système de fichiers et vos applications s'attendent à ce que vous disposiez d'un espace libre disponible à tout moment. Il y a 20 ans, il était typique pour une application de vérifier combien d'espace vous aviez sur le lecteur avant d'essayer d'y enregistrer vos fichiers. Aujourd'hui, les applications créent des fichiers temporaires sans demander votre permission et se plantent ou se comportent de manière erratique en cas d'échec.

Les systèmes de fichiers ont une attente similaire. Par exemple, NTFS réserve une grande partie de votre disque pour MFT, mais vous indique tout de même que cet espace est libre. Lorsque vous remplissez votre disque NTFS à plus de 80% de sa capacité, vous obtenez une fragmentation de MFT, qui a un impact très réel sur les performances.

De plus, le fait d’avoir de l’espace libre aide effectivement à éviter la fragmentation des fichiers classiques. Les systèmes de fichiers ont tendance à éviter la fragmentation des fichiers en trouvant le bon emplacement pour chaque fichier en fonction de sa taille. Sur un disque presque plein, ils auront moins d'options et devront donc faire des choix plus pauvres.

Sous Windows, vous devez également disposer de suffisamment d'espace disque pour le fichier d'échange , qui peut augmenter si nécessaire. Si ce n'est pas le cas, vous devriez vous attendre à ce que vos applications soient fermées de force. Avoir très peu d'espace d'échange peut en effet aggraver les performances.

Même si votre swap a une taille fixe, le fait de manquer complètement d’espace disque risque de bloquer votre système et / ou de le rendre non amorçable (sous Windows et Linux), car le système d’exploitation s’attendra à pouvoir écrire sur le disque pendant le démarrage. Donc, oui, 90% de l'utilisation du disque devrait vous inciter à considérer que vos peintures sont en feu. Je n'ai pas vu une seule fois des ordinateurs dont le démarrage correct a échoué jusqu'à la suppression des derniers téléchargements, ce qui laisse un peu d'espace disque au système d'exploitation.

Pour les disques SSD, il doit rester un peu d’espace car le taux de réécriture augmente alors et affecte négativement les performances d’écriture du disque. La valeur de 80% de saturation est probablement une valeur sûre pour tous les disques SSD. Certains modèles récents peuvent fonctionner correctement, même avec une capacité occupée comprise entre 90 et 95%.

https://www.howtogeek.com/165542/why-solid-state-drives-slow-down-as-you-fill-them-up/

Les "règles" varient en fonction de vos besoins. Et il existe des cas particuliers, tels que, par exemple, ZFS: "Avec une capacité de 90%, ZFS passe de l'optimisation basée sur la performance à l'optimisation spatiale, ce qui a des conséquences énormes en termes de performances." Oui, ceci est un aspect de la conception de ZFS ... pas quelque chose dérivé de l'observation ou des preuves anecdotiques. Évidemment, cela pose moins de problèmes si votre pool de stockage ZFS est constitué uniquement de disques SSD. Cependant, même avec des disques en rotation, vous pouvez atteindre 99% ou 100% lorsque vous vous occupez de stockage statique et que vous n'avez pas besoin de performances exceptionnelles - par exemple, votre collection de films préférée de tous les temps, qui ne change jamais et où la sécurité est la priorité 1.

Ensuite, btrfs - un cas extrême: lorsque l’espace libre devient trop bas (quelques Mo), vous pouvez atteindre le point de non-retour. Non, la suppression de fichiers n'est pas une option, car vous ne pouvez pas. Il n'y a tout simplement pas assez d'espace pour supprimer des fichiers. btrfs est un système de fichiers COW (copie sur écriture) et vous pouvez atteindre un point où vous ne pouvez plus modifier les métadonnées. À ce stade, vous pouvez toujours ajouter du stockage supplémentaire à votre système de fichiers (une clé USB peut fonctionner), puis supprimer des fichiers du système de fichiers étendu, puis réduire le système de fichiers et supprimer à nouveau le stockage supplémentaire). Là encore, il s’agit d’un aspect de la conception du système de fichiers.

Les personnes qui peuvent vous donner des "données réelles (sérieuses)" sont probablement celles qui traitent du "stockage réel (sérieux)". La (excellente) réponse de Twisty mentionne des baies hybrides (comprenant des quantités énormes de disques à rotation lente bon marché, de nombreux disques à rotation rapide, de nombreux disques SSD, etc.) qui sont exploités dans un environnement d'entreprise où le principal facteur limitant est la vitesse à laquelle l'administrateur capable de commander des mises à niveau. Le passage de 16T à 35T peut prendre 6 mois… vous vous retrouvez donc avec des rapports sérieusement sauvegardés qui suggèrent de régler votre alarme à 50%.

De très nombreux facteurs contribuent au résultat en fonction de quantités très spécifiques à chaque configuration. Donc, il n'y a pas de nombre absolu, cela ne peut être mesuré qu'en fonction de ces paramètres. (C'est probablement la raison pour laquelle d'autres utilisateurs ne signalent aucune recherche spécifique sur ce sujet - trop de variables pour compiler quelque chose de concluant.)

• Matériel

  • Le disque dur a tous ses secteurs alloués à tout moment. Donc, peu importe le nombre d'entre elles contenant les données utilisateur actuelles. (Pour le contrôleur, tous les secteurs contiennent des données à tout moment, il les lit et les écrase comme indiqué.)
  • Le contrôleur de SSD, d’autre part, (dé) alloue ses secteurs de manière dynamique, comme un système de fichiers. Ce qui rend ce travail plus difficile à des usages plus élevés. La difficulté et l’impact sur les performances observables dépendent:
    • Les performances du contrôleur et la qualité des algorithmes
    • Écrire la charge
    • En une lettre, charge globale (pour donner au contrôleur le temps de ramasser les ordures)
    • Surprovision de l'espace (certains fabricants laissent même le client le choisir à l'avance ou le modifie de manière dynamique)

• Système de fichiers

  • Différents systèmes de fichiers sont conçus pour différentes charges et exigences de traitement de l'hôte. Cela peut être modifié dans une certaine mesure par les paramètres de format.
  • Les performances d'écriture de FS sont une fonction de l'espace libre et de la fragmentation, les performances de lecture de la fragmentation uniquement. Il se dégrade progressivement depuis le début. La question est donc de savoir où se situe votre seuil de tolérance.

• Type de charge

  • La charge d'écriture insiste sur la recherche et l'accès rapides à de nouveaux blocs libres
  • Une charge de lecture importante met l'accent sur la consolidation des données associées afin qu'elles puissent être lues avec moins de temps système

Une chose à considérer avec les entraînements mécaniques est que le débit du bord extérieur est supérieur à celui de l'intérieur. En effet, il y a plus de secteurs par tour pour la plus grande circonférence de l'extérieur.

À mesure que le disque atteint sa capacité maximale, les performances diminuent car seuls les secteurs internes plus lents seront disponibles.

Pour une analyse plus approfondie, voir https://superuser.com/a/643634

Cela dépend de l'utilisation prévue du lecteur, mais en général, 20% à 15% d'espace libre est une bonne réponse pour les disques en rotation, et 10% ou plus est bon pour les SSD.

S'il s'agit du lecteur principal de l'ordinateur et que les fichiers peuvent être déplacés, un espace libre de 20% devrait permettre d'éviter des ralentissements importants. Cela laissera suffisamment d'espace libre sur tout le lecteur pour que les données soient déplacées et copiées selon les besoins. Une unité en rotation fonctionnera mieux lorsque les emplacements libres sont plus proches des données d'origine, tandis que l'emplacement physique n'affecte pas les performances quotidiennes d'un disque SSD. Ainsi, le disque en rotation devrait avoir plus d'espace libre pour des raisons purement de performance. Sur le SSD, la réduction de l'espace libre réduira la longévité du disque, mais ne réduira pas les performances. Les disques SSD essaient de stocker des données temporaires et des fichiers de téléchargement aléatoires dans les emplacements les moins utilisés afin d’équilibrer l’utilisation des cellules sur l’ensemble du lecteur; sinon, une partie du disque vieillira beaucoup plus rapidement que le reste.

S'il s'agit d'un support ou d'un lecteur de stockage à long terme, 5% à 10% de la disponibilité devrait suffire, et 10% serait préférable s'il s'agit d'un disque en rotation. Vous n'avez pas besoin d'autant d'espace libre, car ce disque nécessitera rarement le déplacement des données. Les performances ne sont donc pas aussi importantes. L'espace libre est principalement utile pour permettre aux secteurs défectueux d'être supprimés et remplacés, et pour permettre aux fichiers d'être plus contigus.

Je ne pousserais pas plus de 95% de la capacité de mon lecteur pendant plus d'une journée à moins d'une très bonne raison.