Quels outils et concepts conviennent à ceux qui envisagent d'utiliser la compression du système de fichiers HFS?

12

J'ai un client avec environ 60 To de données sur plusieurs volumes HFS +, connectés directement via Fibre Channel et partagés via AFP. Nous utilisons actuellement une capacité d'environ 85%, et le budget pour étendre le stockage n'entrera pas en jeu avant des mois. La croissance de nos données suggère que nous atteindrons une capacité de 90% en quatre mois. J'envisage une sorte de compression du système de fichiers sur place qui compresserait de manière transparente les fichiers au repos dans le stockage, sans changer les flux de travail des utilisateurs de bureau. (Autrement dit, ils devraient simplement fonctionner comme d'habitude sans avoir à décompresser les fichiers.)

Je comprends que la compression du système de fichiers HFS + peut être effectuée en utilisant la commande idem; J'ai également utilisé avec succès l' afsctool gratuit pour compresser des fichiers. Ce dernier n'a pas été mis à jour depuis un certain temps et je ne suis pas sûr de l'engagement du développeur. Je ne suis pas programmeur, donc le code source signifie peu pour moi.

Existe-t-il des outils commerciaux alternatifs qui effectueront automatiquement et silencieusement la compression du système de fichiers de la manière que je recherche? De préférence, il y aurait un support d'entreprise fiable pour l'outil (par exemple, un support téléphonique). Ou, est-ce que je ferais mieux de scripter la compression périodiquement en utilisant idem? La compression HFS + est-elle même le bon chemin?

storage hfs flumignan
la source

Réponses:

7

Vous devez d'abord déterminer si la compression en vaut la peine. Cela dépend en grande partie du type de contenu que vous stockez. Si le contenu n'est pas compressible (images JPEG, la plupart des formats vidéo, archives ZIP, etc.), il y a peu d'avantages et le surcoût supplémentaire de décompression peut même provoquer un ralentissement (mineur) de l'accès aux fichiers.

La compression HFS + est probablement le mauvais outil, pour plusieurs raisons. Premièrement, la compression n'est pas transparente, seule la décompression l'est. Autrement dit, si un fichier est stocké compressé, il sera décompressé de manière transparente lors de la lecture, mais un fichier nouvellement créé ne sera pas compressé par défaut.

Pire, lorsque vous écrasez ou ajoutez un fichier compressé, il sera à nouveau stocké sans compression HFS +. Par conséquent, si vous souhaitez utiliser la compression HFS + avec les données utilisateur, vous devez d'abord copier l'intégralité du volume (en utilisant idem ou afsctool), fichier par fichier. Sur 60 To, cela peut prendre un certain temps. De plus, vous devrez régulièrement exécuter un processus qui détermine quels fichiers ont été ajoutés / modifiés récemment (ou ne sont pas compressés) et (re) comprime ceux-ci.

Comme l'indique la page de manuel idem, la compression HFS + "est uniquement destinée à être utilisée dans les scénarios d'installation et de sauvegarde impliquant des fichiers système" . C'est génial pour votre /Applicationsdossier, mais pas très adapté à votre filer. Ce n'est que si vous êtes vraiment désespéré de capacité et que vous avez beaucoup de fichiers qui ne sont jamais écrits que je le considérerais même. La clé étant désespérée :)

Je ne connais aucun package de compression transparent au niveau du système de fichiers pour OS X. ZFS prend en charge la compression transparente du système de fichiers, mais la commutation de vos fichiers OS et FS peut ne pas être une option (car malheureusement il n'y a pas d'implémentation ZFS complète pour Mac OS X).

Ingmar Hupp
la source
1
C'est très utile. En effet, nos limites budgétaires actuelles étant ce qu'elles sont, et compte tenu de notre taux de consommation de stockage, ce type de compression peut en fait être approprié. Cette installation contient des dizaines de millions de petits fichiers d'images médicales qui se compressent bien (environ 25%). Je dirais que 80% du système de fichiers existant est intact depuis des mois, donc la compression HFS pourrait être un bon candidat pour nous retenir jusqu'à ce que nous puissions acheter plus de stockage. Le Xserve est assez costaud, et avec le bon élément de lancement et le bon script, je pourrais compresser sélectivement les projets plus anciens et moins utilisés en arrière-plan en dehors des heures.
flumignan