Nous envisageons de construire un serveur de stockage de ~ 16 To. Pour le moment, nous considérons à la fois ZFS et XFS comme système de fichiers. Quels sont les avantages, les inconvénients? Que devons-nous rechercher? Y a-t-il une troisième meilleure option?
filesystems
storage
zfs
xfs
Tamas Czinege
la source
la source
Réponses:
J'ai trouvé que XFS convenait mieux aux systèmes de fichiers extrêmement volumineux, pouvant contenir de nombreux fichiers volumineux. J'ai un système de fichiers XFS de 3,6 To en fonctionnement depuis plus de 2 ans sans aucun problème. Cela fonctionne certainement mieux que ext3, etc. à cette taille (surtout s’il s’agit de fichiers volumineux et de beaucoup d’E / S).
Ce que vous obtenez avec ZFS est le regroupement de périphériques, la répartition en bandes et d'autres fonctionnalités avancées intégrées au système de fichiers lui-même. Je ne peux pas parler de détails (je laisserai les autres commentaires), mais d'après ce que je peux dire, vous voudriez utiliser Solaris pour en tirer le meilleur parti. Je ne vois pas non plus à quel point ZFS peut vous aider si vous utilisez déjà un RAID matériel (comme je le suis).
la source
xfs_fsr"défragmentation".ZFS vous donnera des avantages au-delà du logiciel RAID. La structure de commandement est très réfléchie et intuitive. Il dispose également de compression, d'instantanés, de clonage, d'envoi / réception de système de fichiers et de périphériques de cache (ces nouveaux disques SSD sophistiqués) pour accélérer l'indexation des métadonnées.
Compression:
Il prend en charge de manière simple la création d’instantanés avec copie sur écriture pouvant être montés en direct:
Clonage du système de fichiers:
Système de fichiers envoyer / recevoir:
Envoi / réception incrémentiel:
Dispositifs de mise en cache:
Tout ceci n’est que la partie visible de l’iceberg. Je vous recommande vivement de vous procurer l’installation d’Open Solaris et de l’essayer.
http://www.opensolaris.org/os/TryOpenSolaris/
Edit : C’est très ancien, Open Solaris a été arrêté, la meilleure façon d’utiliser ZFS est probablement sous Linux , ou FreeBSD .
Divulgation complète: J'étais un architecte de stockage Sun, mais je n'ai pas travaillé pour eux depuis plus d'un an, je suis simplement enthousiasmé par ce produit.
la source
http://opensolaris.org/os/TryOpenSolaris/utiliser des instantanés lvm et xfs sur des systèmes de fichiers réels est une recette pour un désastre, en particulier lorsque vous utilisez des systèmes de fichiers très volumineux.
Je travaille exclusivement sur LVM2 et xfs depuis 6 ans sur mes serveurs (à la maison même si zfs-fuse est tout simplement trop lent) ...
Cependant, je ne peux plus compter les différents modes de défaillance rencontrés lors de l'utilisation d'instantanés. J'ai complètement cessé de les utiliser - c'est trop dangereux.
La seule exception que je ferai maintenant concerne mon serveur de messagerie personnel / serveur Web personnel, où je ferai des sauvegardes du jour au lendemain à l'aide d'un instantané éphémère, toujours égal à la taille du fs source, et sera immédiatement supprimé.
Les aspects les plus importants à garder à l'esprit:
la source
Un couple de choses supplémentaires à penser.
Si un lecteur meurt dans une matrice RAID matérielle, quel que soit le système de fichiers utilisé, tous les blocs du périphérique doivent être reconstruits. Même ceux qui ne détiennent aucune donnée. D'autre part, ZFS est le gestionnaire de volume, le système de fichiers, et gère la redondance des données et la répartition. Ainsi, il ne peut reconstruire intelligemment que les blocs contenant des données. Cela se traduit par des temps de reconstruction plus rapides que lorsque le volume est plein à 100%.
ZFS effectue un nettoyage en arrière-plan qui garantit la cohérence de vos données sur le disque et répare tout problème rencontré avant que les données ne soient perdues.
Les systèmes de fichiers ZFS sont toujours dans un état cohérent, il n’est donc pas nécessaire de recourir à fsck.
ZFS offre également plus de flexibilité et de fonctionnalités avec ses instantanés et ses clones par rapport aux instantanés offerts par LVM.
Avoir exécuté des pools de stockage volumineux pour la production vidéo grand format sur une pile Linux, LVM ou XFS. D'après mon expérience, il est facile de tomber dans la micro-gestion de votre stockage. Cela peut entraîner de grandes quantités d'espace et de temps alloués non utilisés avec la gestion de vos volumes logiques. Ce n'est peut-être pas grave si vous avez un administrateur de stockage à temps plein chargé de la micro-gestion du stockage. Mais j'ai constaté que l'approche de stockage en pool de ZFS résout ces problèmes de gestion.
la source
ZFS est absolument incroyable. Je l'utilise comme serveur de fichiers domestique pour un serveur de fichiers HD de 5 x 1 To. Je l'utilise également en production avec près de 32 To d'espace disque. Il est rapide, facile à utiliser et contient l'une des meilleures protections contre la corruption des données.
Nous utilisons OpenSolaris sur ce serveur en particulier parce que nous voulions avoir accès à de nouvelles fonctionnalités et qu’il fournissait le nouveau système de gestion des paquets et le moyen de mise à niveau.
la source
Quel système d'exploitation envisagez-vous d'utiliser? Ou est-ce une autre partie de la considération? Si vous utilisez Solaris, XFS n'est même pas une option à ma connaissance. Si vous n'exécutez pas Solaris, comment envisagez-vous d'utiliser ZFS? Le support est limité sur les autres plateformes.
Si vous parlez d'un serveur Linux, je garderais personnellement Ext3, ne serait-ce que parce qu'il reçoit le plus de tests. zfs-fuse est encore très jeune. De plus, j'ai eu des problèmes avec XFS une fois, lorsqu'un bogue a endommagé les données après une mise à jour du noyau. Les avantages de XFS par rapport à Ext3 ne compensaient certainement pas les coûts liés à la restauration de la machine, située dans un centre de données distant.
la source
Je ne pense pas que vous devriez vous concentrer sur la performance. Vos données sont-elles en sécurité avec XFS, ext4, etc.? Non. Lisez ces thèses de doctorat et travaux de recherche:
XFS n’est pas protégé contre la corruption des données: pages.cs.wisc.edu/~vshree/xfs.pdf
Et ni ext3, JFS, ReiserFS, etc. de Vijayan Prabhakaran, IRON File Systems, qui analyse comment cinq systèmes de fichiers de journalisation de produits de base - NTFS, ext3, ReiserFS, JFS et XFS - traitent les problèmes de stockage.
En résumé, il a constaté que tous les systèmes de fichiers ont
Mais ZFS protège avec succès vos données. Voici un article de recherche sur ceci: zdnet.com/blog/storage/zfs-data-integrity-tested/811
la source
Pas une réponse orientée FS, pardon, mais sachez qu'un certain nombre de contrôleurs de disque ne gérera pas les disques LUN / logiques> 2 To. Cela peut limiter un peu la manière dont vous organisez votre stockage. Je voulais simplement que vous soyez au courant afin que vous puissiez vérifier votre système de bout en bout pour vous assurer qu'il traitera avec 16 To tout au long.
la source
Cela dépend des fonctionnalités que vous voulez ..., les deux choix raisonnables sont xfs et zfs, comme vous l'avez dit, le code xfs est assez bien testé. Je l'ai utilisé pour la première fois il y a 8 ans sous IRIX
Il est possible d’obtenir des instantanés de xfs (en utilisant lvm et xfs_freeze)
Il est possible d'avoir un périphérique de journalisation séparé, par exemple SSD
Les grands xfs ont traditionnellement besoin de beaucoup de mémoire pour vérifier
Le problème avec l'apparition de zéros était une fonction de "sécurité" qui, je pense, a disparu il y a quelque temps.
la source
Mis à part ce qui a déjà été mentionné, d’un point de vue performances, le raid de base de xfs sur MD fonctionne mieux que celui de zfs sur du contenu multimédia en continu. J'ai utilisé exactement le même matériel pendant une demi-décennie avec xfs et à peu près le même temps avec zfs sur mon serveur de médias. Sur Intel Atom 330 avec xfs, je ne rencontre jamais stuter. Sur zfs dans des scènes complexes, le même matériel ne peut pas suivre et commence à perdre des images.
la source
Plutôt que de construire le vôtre, une alternative est le Sun 7410, alias Toro. Il contient des logiciels très utiles fournis avec la solution.
la source
Eh bien les gars, n'oublions pas la dernière addition à zfs: la déduplication. Et parlons à la volée du partage iscsi, nfs ou smb. Comme d'autres l'ont déjà dit, les exportations de systèmes de fichiers zfs, d'instantanés, de la somme de contrôle du bloc raidz (= raid5), de la largeur de bande dynamique, de la gestion du cache, etc. Je vote pour zfs.
la source