Je voudrais savoir, auprès de personnes plus expérimentées, quel serait le meilleur choix de système de fichiers à utiliser pour un serveur de fichiers ayant plus de 20 To de disques durs. Personnellement, j'ai toujours utilisé EXT3 (à l'époque) et EXT4 (depuis sa disponibilité) [et une fois ReiserFS 3 bien que cela ait causé de nombreuses altérations de données] sur mes ordinateurs personnels et sur les disques BOOT et ROOT des "petits serveurs".
Cependant, comme les outils EXT4 (mais pas EXT4 lui-même) sont limités à des partitions de 16 To, ce n'est peut-être pas mon meilleur choix. La distribution sera Debian 6.0 (Squeeze) et / ou Gentoo (dernière version), donc le noyau devrait être assez récent (sur Debian au moins avec les rétroportages), ce qui signifie noyau Linux> = 2.6.32.
Le serveur de fichiers sera utilisé à trois fins (et également pour les partitions séparées, car le but est de garder les données "en sécurité" et ne se soucie pas vraiment des frais généraux). Tous les disques doivent cependant être chiffrés à l'aide de LUKS :
- Médias, téléchargements et référentiel Debian local [J'ai au moins 6 machines exécutant Debian]> 20 To (peut-être une séparation supplémentaire entre les médias, les téléchargements et le référentiel Debian)
- Données (documents, photos, ...) ~ 4TB SAFE (signifiant raid1 ou raid6 + disque de sauvegarde)
- Sauvegardes> = 20 To pour les sauvegardes d'autres ordinateurs de mon réseau local gigabit (pouvez-vous suggérer un logiciel qui sauvegarde l'intégralité du système d'exploitation même si c'est Windows, BackupPC dit qu'il fait cela, des alternatives?)
Des vitesses rapides ne sont pas vraiment nécessaires (accès simultanés: maximum à 2 ou 3 gros fichiers, par exemple des vidéos), même si c'est "juste" 200 Mo / s de lecture à partir d'un Raid 10 HDD6 je peux vivre avec ça.
En résumé, je recherche un système de fichiers fiable, évolutif (c'est-à-dire facilement extensible) qui prend en charge plus de 20 To / partition. Plus le FS est sûr et fiable, mieux c'est. Le matériel utilisé sera au moins un quad core (amd x4 630 ou intel i5-2500k) et beaucoup de RAM (> 8 Go, peut-être> 16 Go), de sorte que les exigences matérielles doivent être respectées.
Mon PC / serveur sera connecté à un onduleur (alimentation sans interruption) en cas de panne de courant. Peut également effectuer des supports et des sauvegardes sur des machines distinctes (c'est-à-dire deux serveurs).
la source
Réponses:
Beaucoup de gens suggèrent ZFS. Mais ZFS n'est pas disponible nativement sous Linux, sauf via un fusible. Je ne recommanderais pas cela pour votre situation où les performances sont susceptibles d'être importantes.
Malheureusement, ZFS ne sera jamais disponible en tant que module de noyau natif à moins que les problèmes de licence ne soient résolus d'une manière ou d'une autre.
XFS est bon, mais certaines personnes ont signalé des problèmes de corruption et je ne peux pas vraiment commenter cela. J'ai joué avec de petites partitions XFS et je n'ai pas eu ces problèmes mais pas en production.
ZFS a trop d'avantages et de fonctionnalités utiles qui ne peuvent cependant pas être ignorés. En résumé, ils le sont (voir Wiki ZFS pour une description complète de ce qu'ils signifient):
Alors, comment pouvons-nous contourner cela? Mon alternative suggérée qui peut convenir à votre situation est de considérer le nexenta . Il s'agit d'un noyau Open Solaris avec des outils GNU userland fonctionnant en haut. Avoir un noyau Open Solaris signifie avoir ZFS disponible en natif.
la source
Vous devriez essayer XFS, qui correspond bien à vos besoins:
la source
L'option la plus simple consiste à utiliser XFS. Beaucoup de mauvaises expériences autour de XFS sont basées sur d'anciennes versions et des problèmes de matériel de bureau qui ne sont pas vraiment pertinents pour les nouveaux déploiements sur du matériel serveur de qualité standard. J'ai écrit un blog sur ce sujet qui pourrait vous aider à faire le point sur la situation actuelle. Il y a plusieurs installations de bases de données XFS occupées avec des centaines d'utilisateurs et des téraoctets de données que j'aide à gérer. Ils sont tous sur le noyau Debian Lenny (2.6.26) ou plus tard et je n'ai pas entendu de problème avec eux depuis des années. Je n'utiliserais pas XFS avec un noyau antérieur à celui-là. J'ai entendu des rapports directs de personnes constatant un comportement XFS étrange lorsque le système manque de mémoire ou d'espace disque; Je ne l'ai pas encore vu moi-même.
La seule autre option raisonnable consiste à utiliser ext4 avec un certain piratage pour prendre en charge des systèmes de fichiers plus volumineux. Je ne m'attendrais pas à ce que le niveau de fiabilité soit très différent. J'ai dû récupérer des données à partir de plusieurs systèmes ext4 cassés qui rencontraient des bugs dans le noyau, jusqu'à présent tous ont été corrigés en amont mais pas dans le noyau du distributeur à ce moment-là. ext4 a son propre ensemble de problèmes de métadonnées comme la perte de données d'allocation retardée , des choses qui étaient moins susceptibles de se produire sur ext3. Je dirais que les chances que vous rencontriez un bogue ext4 soient encore plus élevées que la normale si vous le forcez à dépasser la limite de taille normale, simplement parce qu'il semble plus probable que vous atteigniez un nouveau chemin de code moins bien testé à un moment donné .
L'idée alternative est d'utiliser simplement ext3 plus sûr et ennuyeux, d'accepter la limite de 16 To et de mieux partitionner les choses afin qu'aucun système de fichiers unique ne soit aussi volumineux.
Une extrémité lâche liée aux numéros de revues. Vous n'avez pas parlé de la façon dont tous ces disques vont être connectés. Assurez-vous de comprendre l'implication de toute mise en cache d'écriture qui se trouve dans votre chaîne de stockage ici. Désactivez-le ou assurez-vous que le système de fichiers vide le cache. J'ai caché quelques ressources à ce sujet chez Reliable Writes si ce n'est pas quelque chose que vous vérifiez encore.
Les lecteurs sont nuls. Les matrices RAID sont nulles. Les systèmes de fichiers sont nuls. Plusieurs échecs se produisent. Je suis content de voir que vous pensez déjà aux sauvegardes; passer d'une bonne à une grande fiabilité sur le stockage nécessite plus qu'un simple RAID et quelques disques de rechange. La redondance coûte quelque chose à tous les niveaux, et l'argent pour la complexité matérielle vs logicielle est difficile à gérer. Et surveillez vos attentes en matière de performances. Alors qu'une matrice RAID comme celle que vous envisagez peut facilement faire des centaines de Mo / s, il suffit que deux lecteurs simultanés recherchent constamment le disque pour le réduire à quelques Mo / s à la place. Je peux facilement écraser une matrice RAID10 à 24 disques de telle sorte qu'elle ne délivre que <5 Mo / s contre une charge de travail de référence . Une chose qui vous aide est de vous assurer de modifier la lecture anticipée vers le haut si plusieurs lecteurs de streaming sont possibles.
la source
Le déploiement sur ZFS à l'aide de FreeBSD pourrait se produire ici en utilisant gbde pour le chiffrement. ZFS lui-même serait le fournisseur de logiciels RAID, via RAIDZ . La complexité de la gestion du stockage de la création de zpools n'est pas significativement différente de ce que Linux va vous faire vivre avec mdadm, et dans certains cas, ce sera en fait plus facile. Ma première installation ZFS (sur Solaris 10 il y a environ 3 ans) avait un système de fichiers de 17 To sur 48 disques. J'ai survécu à plusieurs échecs sans problème, apprenant la gestion ZFS au fur et à mesure.
Le principal avantage est que la somme de contrôle de ZFS offre une meilleure détection des erreurs que Linux, ce qui est une défense contre le mauvais matériel qui mérite d'être envisagée. Les principaux inconvénients sont que FreeBSD est moins populaire. Vous ne savez pas encore comment l'administrer, le support matériel est un peu plus faible que Linux, et comme c'est une plate-forme moins populaire, il n'y a pas autant de gens pour demander de l'aide si vous rencontrez des problèmes.
Une matrice de stockage de plusieurs téraoctets met vraiment en évidence les qualités de ZFS. Cela vaut la peine d'envisager sérieusement si vous êtes prêt à plonger dans quelque chose de nouveau. Si vous souhaitez explorer la véritable paranoïa de sauvegarde, créez des serveurs de sauvegarde Linux et FreeBSD, afin de réduire les risques de bogues du système d'exploitation comme cause unique de défaillance.
la source
Selon la page de comparaison des systèmes de fichiers de wikipedia , il existe de nombreux systèmes de fichiers notables qui répondent à vos besoins tels que JFS, XFS, UDF, ZFS, GPFS et Btrfs. Cliquez simplement sur la taille de fichier maximale pour trier et sélectionner la plus appropriée
la source