Existe-t-il un système SAN / stockage distribué? [fermé]

Comme beaucoup d'autres endroits, nous demandons à nos utilisateurs de ne pas enregistrer de fichiers sur leurs machines locales. Au lieu de cela, nous encourageons qu'ils soient placés sur un serveur de fichiers afin que d'autres (avec les autorisations appropriées) puissent les utiliser et que les fichiers soient correctement sauvegardés.

Le résultat de cela est que la plupart des utilisateurs ont de gros disques durs qui sont principalement vides. C'est 2010 maintenant. Il existe sûrement un système qui vous permet de transformer cet espace vide en un SAN virtuel ou une bibliothèque de documents?

Ce que j'envisage, c'est un programme client qui est poussé vers les PC des utilisateurs et qui se coordonne avec un serveur central. Le serveur ressemble aux utilisateurs comme un serveur de fichiers normal, mais au lieu de conserver l'intégralité du contenu des fichiers, il conserve simplement un enregistrement de l'endroit où ces fichiers peuvent être trouvés sur les différents PC des utilisateurs. Il coordonne ensuite avec les bons clients pour servir les demandes de fichiers. Le logiciel client serait en mesure de répondre directement à de telles demandes, tout en étant suffisamment intelligent pour mettre en cache localement les fichiers récents. Pour la redondance, le serveur peut s'assurer que les fichiers sont copiés sur plusieurs PC, vous permettant peut-être de définir des groupes à différents emplacements afin qu'une instance de l'ensemble du référentiel vive dans chaque groupe pour se protéger contre une catastrophe dans un bâtiment en supprimant tout le reste.

Évidemment, vous ne pointeriez pas votre serveur de base de données ici, mais pour des choses plus simples, je vois plusieurs avantages:

• Les fichiers peuvent souvent être transférés à partir d'une machine plus proche (ou locale ).
• Distribuez la connectivité réseau, plutôt que d'encombrer tous les transferts de fichiers sur une seule connexion
• L'espace disque augmente automatiquement comme le fait votre entreprise.
• Devrait finalement être moins cher, car vous n'avez pas besoin de conserver un ensemble de disques séparé

Je peux également voir quelques inconvénients:

• Dégradation occasionnelle des performances du PC de l'utilisateur, si la machine doit servir ou accepter un transfert de fichiers volumineux pendant une période chargée.
• Les écritures doivent être propagées plusieurs fois sur le réseau (bien que je soupçonne que ce n'est pas vraiment un problème, car la lecture se produit dans la plupart des endroits plus que l'écriture)
• Il nous faut encore un moyen d'envoyer occasionnellement une copie complète des données hors site, ce qui rendrait très difficile la différenciation

Pensez à cela comme un système de stockage cloud qui vit entièrement dans votre réseau local d'entreprise et utilise votre équipement utilisateur existant.

Notre ancien serveur de fichiers principal doit prendre sa retraite dans environ 2 ans, et je cherche à le remplacer par un petit SAN. Notre serveur de fichiers actuel utilise environ 400 Go de partage de 1 To. Nous l'avons gardé aussi petit que cela parce que notre espace de sauvegarde était limité. Je cherche à étendre à au moins 4 To d' espace utilisable lorsqu'il est remplacé, peut-être beaucoup plus si les prix baissent autant que je m'attends. Je pense que quelque chose comme ça serait mieux adapté. En tant qu'école, nous avons quelques laboratoires informatiques que je peux laisser fonctionner, ce qui serait parfait pour ajouter un peu de redondance supplémentaire à un tel système.

À quelques exceptions près, nos utilisateurs remplissent moins de 40 Go de leurs disques durs de 120 Go, ce qui signifie que je pourrais facilement réserver 65 Go par machine. Et cela ne fera qu'augmenter, car les nouvelles machines arrivent avec des disques de 250 Go et même celles-ci pourraient facilement être plus grandes bientôt. Au moment où le serveur de fichiers est remplacé, compte tenu de notre calendrier de remplacement de bureau, je m'attendrais à ce qu'un tel système autorise 5 To de stockage utilisable, même en permettant la redondance et l'historique.

Malheureusement, la chose la plus proche que je peux trouver est Dienst , et ce n'est qu'un document qui remonte à 1994. Suis-je en train d'utiliser les mauvais mots à la mode dans mes recherches, ou cela n'existe-t-il vraiment pas? Sinon, y a-t-il un gros inconvénient qui me manque?

Il me semble que vous décrivez AFS , dont l'implémentation la plus courante est OpenAFS . Les concepts clés d'OpenAFS sont décrits ici: http://docs.openafs.org/UserGuide/ch01.html#HDRWQ3 .

AFS c'est:

• Distribué. Système de fichiers sur plusieurs machines, mais utilisant toujours un espace de noms unifié, la nature distribuée est donc transparente pour la machine cliente.
• Redondant. Les fichiers peuvent exister sur plusieurs nœuds de serveur à la fois, de sorte que la perte de plusieurs nœuds de serveur n'entraîne pas l'inaccessibilité des données.
• Évolutif. Apparemment, certaines implémentations "Entreprise" couvrent jusqu'à 25 000 nœuds.

Oui, les gros disques des systèmes de bureau des utilisateurs finaux sont tragiquement inutilisés lorsque vous utilisez correctement le stockage centralisé. Tant pis. Quelques inconvénients de l'utilisation d'un NAS distribué sur un réseau de bureau hypothétique:

1. Il devrait gérer la dégradation causée par la mise hors ligne des machines des utilisateurs. Quelqu'un n'est pas venu aujourd'hui et sa machine est éteinte? Il vaut mieux espérer que les documents qui s'y trouvent sont distribués sur les machines allumées. Quelqu'un travaille tard ce soir et sa machine est la seule allumée? Pas de chance, désolé. À moins que vous ayez également tout copié sur un vrai serveur de fichiers - et qu'avez-vous ensuite gagné?

2. Tout devrait avoir un bon cryptage - sinon, les documents du patron qui contiennent son plan de retrait, ou le document RH qui montre le salaire de tout le monde, sont reproduits à Jimmy, la machine du commis au courrier. Sur lequel il exécute LimeWire. Vous voyez où cela va?

Quelque chose comme CleverSafe (à la fois open source et versions commerciales) peut faire ce que vous voulez, mais la gestion de nœuds très peu fiables peut être un problème. CleverSafe gère plusieurs pannes de nœuds, mais peut-être pas assez rapidement pour le type de "désabonnement constant" de nœuds que vous verriez utiliser des bureaux comme nœuds de stockage.

Je pense qu'il existe des solutions similaires dans les articles universitaires que j'ai lus dans le passé, mais CleverSafe semble être un vrai produit fonctionnel et pas seulement un prototype. L'entreprise existe depuis 2004.

Logiciel de virtualisation de stockage SANsymphony 7.0

ci-dessous sont tous cités sur leur site Web:

Caractéristiques principales

Pool de disques virtuels indépendants de l'appareil, mise en miroir synchrone (HA), mise en cache haute vitesse, réplication à distance asynchrone, provisionnement fin, hiérarchisation automatique, instantanés en ligne, migration de disque sans interruption, protection continue des données (CDP)

Type d'accès

Bloquer les E / S disque sur un SAN physique ou virtuel. L'accès au système de fichiers est fourni via les protocoles NFS / CIFS à partir du système d'exploitation Windows Server sous-jacent. Les deux méthodes d'accès peuvent être combinées pour répondre aux exigences de haute disponibilité et de stockage unifié (SAN / NAS).

Environnements hôtes pris en charge

Systèmes informatiques exécutant des systèmes d'exploitation Windows standard, y compris (Windows Server 2000, 2003, 2008, Hyper-V, Windows XP, Windows 7), UNIX, HP-UX, Sun Solaris, IBM AIX, RedHat Linus, Suse Linux, Apple MacOs, VMware ESX / vSphere, Citrix XenServer,

Disques pris en charge (back-end)

Tous les lecteurs internes, lecteurs externes, baies de disques externes, JBOD, disques SSD et système de stockage intelligent pris en charge sur Windows Server 2008 peuvent être connectés aux nœuds DataCore. Ils peuvent être connectés directement ou connectés au SAN.

C'est ce que tu cherches, oui?

La chose la plus proche qui me vient à l'esprit est Googles MapReduce ou l'alternative gratuite Hadoop, mais elle est conçue pour évoluer dans la zone des pétaoctets pour les très grandes applications Web.

Généralement, votre scénario n'est pas quelque chose que j'aimerais vraiment essayer car je suppose que les frais administratifs pour gérer les machines pour ce service supplémentaire dépasseront de loin tous les avantages que vous pourriez en retirer.

En outre, je verrais un certain risque qu'il puisse y avoir des problèmes non découverts dans Windows (ou tout autre système d'exploitation) qui pourraient conduire à une vulnérabilité pour un ver à propagation rapide qui pourrait éliminer tout votre réseau en quelques minutes, quelle que soit la façon dont bon et sécurisé vos systèmes sont configurés, et qui emportera tous vos pools de stockage de données avec lui.

À côté de cela, je ne suis pas vraiment sûr que les capacités de disque libre sur les systèmes clients continueront de croître, car je suppose que de nombreuses autres applications seront portées sur le Web à l'avenir, y compris des trucs comme des applicatons bureautiques et même Photoshop, ce qui conduira à une grosse poussée pour les clients légers (encore une fois).