Nombre de fichiers: options performantes

1

J'aide à gérer notre solution de sauvegarde au travail. Beaucoup de serveurs. Beaucoup de systèmes d'exploitation. J'ai récemment rencontré un serveur que je suis en train de sauvegarder.

Le problème principal de ce serveur est le fait qu’il contient des millions de fichiers. Au moins 41 millions, mais probablement quelque part autour de 60 millions.

J'essaie de trouver des options simples et rapides pour suivre le nombre de fichiers présents sur le serveur et le nombre de fichiers modifiés au cours d'une période donnée.

J'utilise normalement WinDirStat pour des informations de base. Il fait un excellent travail de visualisation quels fichiers sont où. Le problème semble être que cela prend pour toujours et utilise une tonne de mémoire. Je l'ai arrêté peu de temps après et il avait déjà englouti environ 600 Mo de mémoire. Normalement, cela prend un certain temps, mais il n’est normalement pas nécessaire de parcourir environ 60 millions de fichiers.

j'essaie Rapport de dossiers à présent. Il semble être beaucoup plus facile sur l'utilisation de la mémoire (~ 5mb atm et devrait être au moins à mi-chemin de la collecte d'informations). Le problème, c'est que cela prend une éternité et je ne sais pas si le nombre de fichiers va changer au cours des dernières 24 heures (ou la possibilité de trouver cette pépite d'informations).

Je peux me connecter au système, mais je ne souhaite pas gâcher le logiciel exécuté sur le serveur (Oracle, applications personnalisées, etc.). Que puis-je faire pour obtenir rapidement les informations souhaitées sans être une ressource? Quelles sont les autres bonnes options pour obtenir des informations telles que le nombre de fichiers bruts et les fichiers récemment modifiés?

Un autre outil? Script en ligne de commande? PowerShell (Essayé (Get-ChildItem ..).Count et couru dans des problèmes de mémoire)? Perl?

(Vous ne savez pas si cette question est bien taguée. N'hésitez pas à suggérer de meilleurs tags ou à changer de tag si vous en avez la capacité)

WernerCD
la source
Merci pour le commentaire sur le vote serré ... J'adorerais apporter les modifications que vous avez suggérées.
WernerCD
Rsync ??????????
qasdfdsaq
@qasdfdsaq Windows n'a généralement pas rsync et je préférerais ne pas avoir à installer quoi que ce soit ... mais est-ce que rsync a des éléments de collecte d'informations? nombre de fichiers et questions "de ce qui a été modifié hier"? Je n'avais pas envisagé rsync depuis que c'est basé sur Windows, mais je pourrais avoir la même question sur les machines Linux - et si c'est une bonne option, je pourrais envisager d'installer cygwin pour l'essayer sous Windows.
WernerCD
Eh bien, vous avez déjà installé WinDirStat et Folders Report. Je suppose qu'un outil open source reconnu et de confiance ne devrait pas poser de problème. Certes, le port Windows n’est pas aussi robuste, mais il a toujours l’option "dry-run" qui répertorie uniquement les fichiers modifiés. Cela dit si vous voulez juste liste fichiers et ne pas faire de copie de sauvegarde, seuls quelques scripts Cygwin ou Powershell devraient pouvoir le faire.
qasdfdsaq
Eh bien, le désir est de le faire avec un minimum de changement du système. WinDirStat est beaucoup plus "minimum" que cygwin lol. J'ai essayé PowerShell, mais il semble que la mémoire ait manqué les quelques tentatives que j'ai faites (l'une d'entre elles est listée dans une question modifiée). Des gens me disent que "ces dossiers ne changent pas" - ce qui me donne envie de faire une chose - mais je soupçonne que ces dossiers changent - ce qui signifie que je dois faire autre chose. Mais les outils que j'utilise normalement (comme WDS) prennent trop de temps et / ou consomment trop de mémoire pour les requêtes rapides.
WernerCD