Pourquoi les écritures open-iscsi sont-elles deux fois plus lentes que Samba via Ethernet 10G?

Sur mon serveur de fichiers local, j'ai raid-6 sur des disques durs 7x.

dd if=/dev/zero of=tempfile bs=1M count=2048 conv=fdatasync

Le test de vitesse local me donne une vitesse d'écriture de 349 Mo / s.

Les écritures à distance sur Samba à partir d'un SSD (> 2 Go / s de vitesse de lecture) me donnent 259 Mo / s d'écritures. Mais les écritures à distance sur le disque iSCSI (sur l'initiateur Win10 iSCSI) me donnent seulement 151 Mo / s d'écritures.

raid6 config - 128K chunk size, stripe_cache_size = 8191. Write intention bitmap is on SSD (Samsung 860 PRO, 4096K bitmap chunk bit).

Tableau monté avec options: rw,noatime,nobarrier,commit=999,stripe=128,data=writeback

configuration open-iscsi: la cible est basée sur un fichier de 4 To.

Des indices pourquoi iSCSI est plus lent que Samba en écriture? Des conseils sur la façon d'améliorer la vitesse d'écriture iSCSI?

Je suppose que cela a quelque chose à voir avec le désir de open-iscsi de vider les écritures sur le disque après chaque opération, ce qui augmente l'amplification d'écriture sur raid6 en raison d'une réécriture de parité excessive. Mais je ne sais pas comment y remédier. Accélérez-le plus que la sécurité des données actuellement écrites en cas de panne de courant.

Comme note secondaire, l'ancienne cible ietd iSCSI avait la capacité d'activer le mode de réécriture (à l'aide IOMode=wb) et la vitesse d'écriture soutenue était beaucoup plus rapide. Malheureusement, il semble actuellement non entretenu.

Tout d'abord, le RAID-6 est le problème en raison du calcul de la double parité. Deuxièmement, vous pouvez connecter la cible iSCSI deux fois dans MS iSCSI Initiator, activer RR ou la moindre profondeur de file d'attente (malheureusement, Win10 ne prend pas en charge le multichemin, vous pouvez donc le tester avec Windows Server à la place).

En fait, l'accès au niveau bloc doit être plus rapide que l'accès au niveau fichier. Quel type d'outil d'analyse comparative que vous utilisez à partir du site Windows? Je recommanderais d'utiliser diskspd ou FIO. De plus, vous pouvez utiliser quelque chose comme Starwind comme cible iSCSI beaucoup plus rapide.

https://www.starwindsoftware.com/starwind-virtual-san#Hyper-V

iSCSI doit être utilisé au niveau du bloc, votre description de configuration ressemble à celle que vous utilisez un système de fichiers, en y plaçant un fichier, puis en exécutant ce fichier en tant que couche de bloc iSCSI.

C'est loin d'être idéal, et certainement pas une configuration pour comparer les vitesses. Essayez d'utiliser lvm au-dessus du raid6 pour segmenter l'espace et rester sur la couche de bloc pour iSCSI, ou utilisez raid6 directement comme périphérique iSCSI.

Dans votre configuration actuelle, les données sont transférées via le réseau, frappant un fichier dans le système de fichiers, qui n'est (probablement) pas optimisé pour ce type de charge de travail, et également partagé avec d'autres processus. Il est possible d'effectuer une telle configuration avec iSCSI, mais doit être considéré comme une solution de repli non optimisée.

Veuillez noter qu'il dds'agit d'un point de repère très simple et qu'il est TRÈS sujet aux distorsions. Par exemple, vous ddécrivez des zéros - si quelque chose a un cas particulier pour les données pleines de zéros (par exemple, car il peut effectuer une compression), vous verrez des performances fantastiques mais passez à l'écriture de "vraies données" non nulles et soudainement, ces performances peuvent disparaître. ..

Afin de répondre à votre question (comme dans tout benchmarking), vous devez vraiment isoler les pièces pour identifier le bit introduisant le problème. Par exemple, l'écriture directement sur le système de fichiers Windows (et non via iSCSI) est-elle également extrêmement rapide? Si vous prenez la même configuration matérielle et exécutez Linux au lieu de Windows, est-ce aussi rapide ou ralentit-il? Que se passe-t-il si vous passez à l'utilisation d'un outil de référence comme fio ?

Malheureusement, il y a trop de possibilités pour pouvoir bien répondre à une question comme celle-ci ...