Quel est le débit de transfert de données théorique maximal de NTFS?

28

Récemment, j'étais à une réunion d'un groupe d'utilisateurs local où le présentateur a noté que le débit maximal de la pile d'E / S NTFS était de 1 Go / s. Il a étayé sa demande en copiant simultanément deux gros fichiers du même volume logique vers des volumes logiques différents (c.-à-d. [A] est la source, [b] est la destination 1 et [c] est la destination 2) et a noté les taux de transfert oscillant autour de 500 MBps. Il a répété ce test plusieurs fois et a noté que le sous-système de stockage sous-jacent était flash (pour s'assurer que nous ne soupçonnions pas un stockage lent).

J'ai essayé de vérifier cette affirmation mais je ne trouve rien de documenté. Je soupçonne que je recherche les mauvais termes de recherche ("débit NTFS 1 Go / s", "débit NTFS maximum"). Je souhaite savoir si la pile d'E / S est réellement limitée à un débit de 1 Go / s.

MODIFIER

Pour clarifier: je ne crois pas que le présentateur avait l'intention de laisser entendre que NTFS était intentionnellement limité (et je suis désolé si je l'ai également laissé entendre). Je pense qu'il était sous-entendu que c'était une fonction de la conception du système de fichiers.

swasheck
la source
1 Go / s est assez rapide même pour les lecteurs flash
TheFiddlerWins
2
@TheFiddlerWins 1 Go / s! = 1 Gbps
Kermit
1
Je suis d'accord, mais sa question dit "... le débit maximal de la pile d'E / S NTFS était de 1 Go / s", pour autant que je sache B = octets et b = bits
TheFiddlerWins
1
Expérience simple - copier le fichier sur des disques RAM? Pas difficile d'obtenir 16 * 2 = 32 Go de RAM de nos jours.
kizzx2
1
JamesRyan - l'utilisation de FTP comme mécanisme de transfert ne change pas soudainement le système de fichiers. Ne confondez pas SMB avec NTFS.
mfinni

Réponses:

36

Même en supposant que vous vouliez dire GBpset non Gbps...

Je ne connais aucun système de fichiers qui a un réel throughput limit. Les systèmes de fichiers sont simplement des structures sur la façon de stocker et de récupérer des fichiers. Ils utilisent des métadonnées, une structure, des conventions de dénomination, des conventions de sécurité, etc. mais les limitations de débit réelles sont définies par le matériel sous-jacent lui-même (généralement une combinaison de beaucoup de matériel impliqué).

La comparaison de différents systèmes de fichiers et de la manière dont ils affectent les performances du matériel sous-jacent peut être effectuée, mais là encore, il ne s'agit pas d'une limitation directement imposée par le système de fichiers mais plutôt d'une "variable" dans les performances globales du système.

Le choix de déployer un système de fichiers sur un autre est généralement lié à ce qu'est le système d'exploitation sous-jacent, à ce que sera le serveur / l'application, au matériel sous-jacent et à des facteurs non techniques tels que les domaines d'expertise et de familiarité de l'administrateur.

================================================== ================================

RESSOURCES TECHNIQUES ET CITATIONS


Optimiser NTFS

Facteurs de performance NTFS

Vous déterminez de nombreux facteurs qui affectent les performances d'un volume NTFS. Vous choisissez des éléments importants tels que le type d'un volume NTFS (par exemple, SCSI ou IDE), la vitesse (par exemple, la vitesse de rotation des disques) et le nombre de disques que le volume contient. En plus de ces composants importants, les facteurs suivants influencent considérablement les performances d'un volume NTFS:

  • La taille du cluster et de l'unité d'allocation
  • L'emplacement et le niveau de fragmentation des fichiers fréquemment consultés, tels que la table de fichiers maîtres (MFT), les répertoires, les fichiers spéciaux contenant des métadonnées NTFS, le fichier d'échange et les fichiers de données utilisateur couramment utilisés
  • Que vous créiez le volume NTFS à partir de zéro ou le convertissiez à partir d'un volume FAT existant
  • Si le volume utilise la compression NTFS
  • Si vous désactivez les comportements NTFS inutiles

L'utilisation de disques plus rapides et de plus de lecteurs dans des volumes multidisques est un moyen évident d'améliorer les performances. Les autres méthodes d'amélioration des performances sont plus obscures et concernent les détails de la configuration d'un volume NTFS.


Évolutivité et performances dans les systèmes de fichiers modernes

Malheureusement, il est impossible de faire des comparaisons directes des performances des systèmes de fichiers en discussion car ils ne sont pas tous disponibles sur la même plate-forme. En outre, étant donné que les données disponibles proviennent nécessairement de plates-formes matérielles différentes, il est difficile de distinguer les caractéristiques de performances du système de fichiers de celles de la plate-forme matérielle sur laquelle il s'exécute.


Optimisation NTFS

Nouveau livre blanc fournissant des conseils pour le dimensionnement des volumes NTFS

Quoi de neuf dans NTFS

Configuration du système de fichiers NTFS pour les performances

/superuser/411720/how-does-ntfs-compression-affect-performance

Meilleures pratiques pour la compression NTFS dans Windows

Le nettoyeur
la source
9
Même encore, je pourrais donner un symposium avec seulement 802.11g connecté sur tous les appareils et jurer que la limite de débit de NTFS était <54Mbps en démontrant à plusieurs reprises une copie entre les appareils.
TheCleaner
1
Peut-être, mais dire "NTFS a une limite stricte" contre "NTFS est plus lent que ext4 sur le matériel <x>" est une grande différence. Il s'est peut-être mal exprimé, vous avez peut-être mal interprété, peu importe ... vous y allez.
TheCleaner
7
Encore une fois, NTFS le système de fichiers n'aura pas une telle limitation, mais un pilote NTFS donné pourrait.
mfinni
1
Ne pensez pas à cela comme une limite mais comme un surcoût logique. Cela inclut également le pilote en tant que limite "définie" devrait être une valeur de définition définie dans le code du pilote. Cependant, je comprends que vous pensiez que le processus <- (@mfinni) ... les limites strictes sont définies en termes de débit sur la capacité du disque à traiter les E / S en lecture / écriture ainsi que les limites techniques du support de transport.
AngryWombat
1
Nice ajoute, @TheCleaner
mfinni
10

Je doute fort qu'il existe un goulot d'étranglement de transfert de données lié à un système de fichiers , car les systèmes de fichiers ne dictent pas les détails d'implémentation qui limiteraient fortement les performances . Un pilote donné pour un système de fichiers sur une configuration particulière de matériel aura bien sûr des goulots d'étranglement.

mfinni
la source
Je ne pensais pas que c'était intentionnellement limité, mais je pensais que c'était peut-être une limitation de la conception
swasheck
Merci pour l'accent mis du "système de fichiers" au "pilote".
swasheck
5
Vous ne pouvez pas augmenter la vitesse d'un livre - vous pouvez augmenter la vitesse du lecteur et des choses dont le lecteur dépend.
mfinni
Les limites et les goulots d'étranglement sont deux choses différentes ... comme un système de fichiers peut entraîner des frais généraux, il est théoriquement possible de créer un goulot d'étranglement, mais ne définira pas de limite fixe, ce qui, à mon avis, était l'intention voulue dans cet article.
AngryWombat
7

Je serais très surpris si c'était vrai. Examinons tout ce qui peut ralentir un système de fichiers:

  • Le support physique (disque, ssd)
  • Connexion à ce média (sas, sata, fcal)
  • Fragmentation
  • Mauvais algorithmes de verrouillage ou autres problèmes de code
  • Vitesse CPU et mémoire

Le facteur limitant le plus courant est votre support physique. La rouille en rotation est LENTE . Prenez par exemple ce disque vraiment nouveau qui a une vitesse maximale de 6 Gbps (c'est Gbps, pas GBps!). Bien sûr, l'utilisation d'une configuration de raid 1 accélérera cela. Bien sûr, vous n'y arriverez jamais, car la recherche tue vos performances. Alors utilisons un SSD vous dites? Oh regardez ça, 6 Go encore.

Ensuite, il y a la connexion: sas (le stockage local le plus rapide) va jusqu'à 6 Gbit / s, FC va jusqu'à 16 Gbit / s.

Êtes-vous sûr que votre démo utilisait un matériel aussi haut de gamme et à la pointe de la technologie?

Si vous êtes: intéressant! Vous avez peut-être atteint le cas 3 et votre système de fichiers doit être optimisé. Ou plus probablement, vos pilotes et votre application dévorent votre CPU (5). Si aucun de ces problèmes ne se présente, vous avez peut-être rencontré un problème de performances réel dans NTFS, veuillez le signaler à Microsoft.

Et même alors: ce n'est pas une limite artificielle, mise en place pour rendre votre vie plus misérable. Les systèmes de fichiers ne limitent pas intentionnellement les vitesses de transfert, mais sont limités par tout ce que votre matériel peut vous apporter.

Dennis Kaarsemaker
la source
7

Je ne pense pas qu'il y ait de maximum. Mais je sais que c'est plus de 1 Go / s parce que les gens de Samsung ont fait 2121,29 Mo / s en lecture et 2000,195 Mo / s en écriture avec leur appareil 2009 avec 24 disques SSD http://www.youtube.com/watch?v=96dWOEa4Djs

Ils pensent avoir atteint cette limite car il s'agissait de la bande passante matérielle totale combinée des cartes contrôleur sur lesquelles les SSD étaient branchés.

Aussi cette page http://blog.laptopmag.com/faster-than-an-ssd-how-to-turn-extra-memory-into-a-ram-disk montre un disque RAM formaté avec NTFS obtenant 5 à 7 Go / s. Essayez-le vous-même avec l'un des titres RAMdisk répertoriés sur http://en.wikipedia.org/wiki/List_of_RAM_drive_software

BeowulfNode42
la source
3

La seule façon logique de comparer les limites du système de fichiers serait de le faire entre les systèmes où la constante était le système de fichiers et les variables étaient les autres facteurs tels que les périphériques, les connexions, etc. L'utilisation d'un système pour comparer les vitesses de transfert sur plusieurs itérations prouve seulement que le système particulier était limité, non pas que le système de fichiers était limité.

Richard_G
la source
3

Il n'est pas nécessaire de théoriser s'il existe ou non une limite de 1 Go / s à NTFS - les SSD modernes dépassent déjà cela . Le banc d'essai est un bureau Windows.

entrez la description de l'image ici

Jason
la source
1

Il n'y a pas de limite de débit intégrée dans NTFS. La seule contrainte sur la vitesse est les caractéristiques de performance du matériel sous-jacent.

long cou
la source
Je ne pensais pas que c'était intentionnellement limité, mais je pensais que c'était peut-être une limitation de la conception.
swasheck
6
@swasheck Je ne pense pas qu'il soit possible de concevoir un système de fichiers qui ne transférera pas les données deux fois plus vite si vous avez un processeur deux fois plus rapide et pouvez lire le disque deux fois plus vite et pouvez rechercher deux fois plus vite. Même la conception la plus inefficace possible peut être rendue plus rapide en accélérant tout ce qu'elle utilise.
Random832