Je connais du -sh
les systèmes de fichiers Linux courants. Mais comment faire cela avec HDFS?
hadoop
command-line
directory
hdfs
Cheng
la source
la source
hadoop fs -du -s -h /path/to/dir
affiche la taille d'un répertoire sous une forme lisible.la source
hdfs -du -s -h /path/to/dir
c'est plus approprié.S'étendant à Matt D et à d'autres réponses, la commande peut être jusqu'à Apache Hadoop 3.0.0
Le du renvoie trois colonnes au format suivant:
Exemple de commande:
Code de sortie: renvoie 0 en cas de succès et -1 en cas d'erreur.
source: doc Apache
la source
Avec cela, vous obtiendrez la taille en Go
la source
Lorsque vous essayez de calculer le total d'un groupe particulier de fichiers dans un répertoire, l'
-s
option ne fonctionne pas (dans Hadoop 2.7.1). Par exemple:Structure du répertoire:
Supposons que chaque fichier a une taille de 1 Ko. Vous pouvez résumer tout le répertoire avec:
Cependant, si je veux la somme de tous les fichiers contenant "count", la commande échoue.
Pour contourner ce problème, je passe généralement la sortie via awk.
la source
Pour obtenir la taille du répertoire, hdfs dfs -du -s -h / $ yourDirectoryName peut être utilisé. hdfs dfsadmin -report peut être utilisé pour afficher un rapport de stockage rapide au niveau du cluster.
la source
% d'espace utilisé sur le cluster Hadoop
sudo -u hdfs hadoop fs –df
Capacité sous dossier spécifique:
sudo -u hdfs hadoop fs -du -h /user
la source
hadoop fs -du -h /user
(je n'avais pas besoin d'utilisersudo
)sudo
n'est pas nécessaire et doit être utilisé avec parcimonie.hadoop version 2.3.33:
la source
hdfs dfs -count <dir>
info de la page de manuel:
la source
La commande devrait être
hadoop fs -du -s -h \dirPath
-du [-s] [-h] ...: Affiche la quantité d'espace, en octets, utilisée par les fichiers qui correspondent au modèle de fichier spécifié.
-s : Plutôt que d'afficher la taille de chaque fichier individuel qui correspond au
modèle, affiche la taille totale (résumé).
-h : Formate la taille des fichiers de manière lisible par l'homme plutôt qu'un certain nombre d'octets. (Ex Mo / Go / To, etc.)
Notez que, même sans l'option -s, cela n'affiche que les résumés de taille d'un niveau dans un répertoire.
La sortie est dans le nom de la taille du formulaire (chemin complet)
la source