Comptage récursif de fichiers dans un répertoire Linux

Comment puis-je compter récursivement des fichiers dans un répertoire Linux?

J'ai trouvé ça:

find DIR_NAME -type f ¦ wc -l

Mais lorsque je l'exécute, il renvoie l'erreur suivante.

find: les chemins doivent précéder l'expression: ¦

Cela devrait fonctionner:

find DIR_NAME -type f | wc -l

Explication:

• -type f pour inclure uniquement les fichiers.
• |( et non¦ ) redirige findla sortie standard de la wccommande vers l'entrée standard de la commande.
• wc(abréviation de word count) compte les nouvelles lignes, les mots et les octets sur son entrée ( docs ).
• -l pour ne compter que les nouvelles lignes.

Remarques:

• Remplacez DIR_NAMEpar .pour exécuter la commande dans le dossier actuel.
• Vous pouvez également supprimer le -type fpour inclure les répertoires (et les liens symboliques) dans le décompte.
• Il est possible que cette commande dépasse le nombre si les noms de fichiers peuvent contenir des caractères de nouvelle ligne.

Explication de la raison pour laquelle votre exemple ne fonctionne pas:

Dans la commande que vous avez montrée, vous n'utilisez pas le "Pipe" ( |) pour connecter en quelque sorte deux commandes, mais la barre cassée ( ¦) que le shell ne reconnaît pas comme une commande ou quelque chose de similaire. C'est pourquoi vous obtenez ce message d'erreur.

Pour le répertoire actuel:

find -type f | wc -l

Si vous voulez une ventilation du nombre de fichiers dans chaque répertoire sous votre répertoire actuel:

for i in */ .*/ ; do 
    echo -n $i": " ; 
    (find "$i" -type f | wc -l) ; 
done

Cela peut aller tout sur une seule ligne, bien sûr. Les parenthèses clarifient dont la sortie wc -lest censée regarder ( find $i -type fdans ce cas).

Vous pouvez utiliser

$ tree

après avoir installé le package d' arborescence avec

$ sudo apt-get install tree

(sur une machine Debian / Mint / Ubuntu Linux).

La commande affiche non seulement le nombre de fichiers, mais également le nombre de répertoires, séparément. L'option -L peut être utilisée pour spécifier le niveau d'affichage maximal (qui, par défaut, est la profondeur maximale de l'arborescence de répertoires).

Les fichiers cachés peuvent également être inclus en fournissant l' -aoption.

Sur mon ordinateur, rsyncest un peu plus rapide que find | wc -ldans la réponse acceptée:

$ rsync --stats --dry-run -ax /path/to/dir /tmp

Number of files: 173076
Number of files transferred: 150481
Total file size: 8414946241 bytes
Total transferred file size: 8414932602 bytes

La deuxième ligne a le nombre de fichiers, 150 481 dans l'exemple ci-dessus. En bonus, vous obtenez également la taille totale (en octets).

Remarques:

• la première ligne est un nombre de fichiers, répertoires, liens symboliques, etc. tous ensemble, c'est pourquoi elle est plus grande que la deuxième ligne.
• le --dry-run(ou-n option pour faire court) est importante pour ne pas réellement transférer les fichiers!
• J'ai utilisé l' -xoption "ne pas franchir les limites du système de fichiers", ce qui signifie que si vous l'exécutez pour /et que vous avez des disques durs externes connectés, il ne comptera que les fichiers sur la partition racine.

Étant donné que les noms de fichiers sous UNIX peuvent contenir des retours à la ligne (oui, les retours à la ligne), il wc -lpeut y avoir trop de fichiers. Je voudrais imprimer un point pour chaque fichier, puis compter les points:

find DIR_NAME -type f -printf "." | wc -c

En combinant plusieurs des réponses ici ensemble, la solution la plus utile semble être:

find . -maxdepth 1 -type d -print0 |
xargs -0 -I {} sh -c 'echo -e $(find "{}" -printf "\n" | wc -l) "{}"' |
sort -n

Il peut gérer des choses étranges comme les noms de fichiers qui incluent des espaces entre parenthèses et même de nouvelles lignes. Il trie également la sortie en fonction du nombre de fichiers.

Vous pouvez augmenter le nombre après -maxdepthpour que les sous-répertoires soient également comptés. Gardez à l'esprit que cela peut potentiellement prendre beaucoup de temps, en particulier si vous avez une structure de répertoires hautement imbriquée en combinaison avec un -maxdepthnombre élevé .

Si vous voulez savoir combien de fichiers et de sous-répertoires existent dans le répertoire de travail actuel, vous pouvez utiliser ce one-liner

find . -maxdepth 1 -type d -print0 | xargs -0 -I {} sh -c 'echo -e $(find {} | wc -l) {}' | sort -n

Cela fonctionnera dans la saveur GNU, et omettra juste le -e de la commande echo pour BSD linux (par exemple OSX).

Si vous voulez éviter les cas d'erreur, ne permettez pas wc -lde voir les fichiers avec des sauts de ligne (qui compteront comme 2+ fichiers)

Par exemple, considérons un cas où nous avons un seul fichier avec un seul caractère EOL

> mkdir emptydir && cd emptydir
> touch $'file with EOL(\n) character in it'
> find -type f
./file with EOL(?) character in it
> find -type f | wc -l
2

Puisqu'au moins gnu wcne semble pas avoir une option pour lire / compter une liste terminée par null (sauf à partir d'un fichier), la solution la plus simple serait simplement de ne pas lui passer les noms de fichiers, mais une sortie statique à chaque fois qu'un fichier est trouvé, par exemple dans le même répertoire que ci-dessus

> find -type f -exec printf '\n' \; | wc -l
1

Ou si votre findsoutien

> find -type f -printf '\n' | wc -l
1 

Vous pouvez utiliser la commande ncdu. Il comptera récursivement le nombre de fichiers contenus dans un répertoire Linux. Voici un exemple de sortie:

Il a une barre de progression, ce qui est pratique si vous avez plusieurs fichiers:

Pour l'installer sur Ubuntu:

sudo apt-get install -y ncdu

Benchmark: J'ai utilisé https://archive.org/details/cv_corpus_v1.tar (380390 fichiers, 11 Go) comme dossier où l'on doit compter le nombre de fichiers.

• find . -type f | wc -l: environ 1m20 pour terminer
• ncdu: environ 1m20 pour terminer

tree $DIR_PATH | tail -1

Exemple de sortie:

5309 répertoires, 2122 fichiers

Pour déterminer le nombre de fichiers dans le répertoire en cours, insérez-le ls -1 | wc -l. Cela permet wcde compter le nombre de lignes (-l)dans la sortie de ls -1. Il ne compte pas les fichiers dot. Veuillez noter quels -l (c'est un "L" plutôt qu'un "1" comme dans les exemples précédents) que j'ai utilisé dans les versions précédentes de ce HOWTO vous donnera en fait un nombre de fichiers supérieur de 1 au nombre réel. Merci à Kam Nejad pour ce point.

Si vous souhaitez compter uniquement les fichiers et ne pas inclure de liens symboliques (juste un exemple de ce que vous pourriez faire d'autre), vous pouvez utiliser ls -l | grep -v ^l | wc -l(c'est un "L" et non un "1" cette fois, nous voulons une liste "longue" ici) . grepvérifie toute ligne commençant par "l" (indiquant un lien) et supprime cette ligne (-v).

Vitesse relative: "ls -1 / usr / bin / | wc -l" prend environ 1,03 secondes sur un 486SX25 déchargé (/ usr / bin / sur cette machine contient 355 fichiers). "ls -l /usr/bin/ | grep -v ^l | wc -l " prend environ 1,19 seconde.

Source: http://www.tldp.org/HOWTO/Bash-Prompt-HOWTO/x700.html

Si vous avez besoin de compter récursivement un type de fichier spécifique , vous pouvez faire:

find YOUR_PATH -name '*.html' -type f | wc -l 

-l est juste d'afficher le nombre de lignes dans la sortie.

Avec bash:

Créez un tableau d'entrées avec () et obtenez le nombre avec #.

FILES=(./*); echo ${#FILES[@]}

Ok cela ne compte pas récursivement les fichiers mais je voulais d'abord montrer l'option simple. Un cas d'utilisation courant peut être la création de sauvegardes de substitution d'un fichier. Cela créera logfile.1, logfile.2, logfile.3 etc.

CNT=(./logfile*); mv logfile logfile.${#CNT[@]}

Nombre récursif avec bash 4+ globstaractivé (comme mentionné par @tripleee)

FILES=(**/*); echo ${#FILES[@]}

Pour obtenir le nombre de fichiers de manière récursive, nous pouvons toujours utiliser find de la même manière.

FILES=(`find . -type f`); echo ${#FILES[@]}

J'ai écrit ffcnt pour accélérer le comptage récursif des fichiers dans des circonstances spécifiques: disques rotatifs et systèmes de fichiers qui prennent en charge le mappage d'étendue.

Il peut être un ordre de grandeur plus rapide que lsou findapproches fondées, mais YMMV.

Pour les répertoires avec des espaces dans le nom ... (sur la base des différentes réponses ci-dessus) - imprimer récursivement le nom du répertoire avec le nombre de fichiers dans:

find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done

Exemple (formaté pour la lisibilité):

pwd
  /mnt/Vancouver/Programming/scripts/claws/corpus

ls -l
  total 8
  drwxr-xr-x 2 victoria victoria 4096 Mar 28 15:02 'Catabolism - Autophagy; Phagosomes; Mitophagy'
  drwxr-xr-x 3 victoria victoria 4096 Mar 29 16:04 'Catabolism - Lysosomes'

ls 'Catabolism - Autophagy; Phagosomes; Mitophagy'/ | wc -l
  138

## 2 dir (one with 28 files; other with 1 file):
ls 'Catabolism - Lysosomes'/ | wc -l
  29

La structure du répertoire est mieux visualisée en utilisant tree:

tree -L 3 -F .
  .
  ├── Catabolism - Autophagy; Phagosomes; Mitophagy/
  │   ├── 1
  │   ├── 10
  │   ├── [ ... SNIP! (138 files, total) ... ]
  │   ├── 98
  │   └── 99
  └── Catabolism - Lysosomes/
      ├── 1
      ├── 10
      ├── [ ... SNIP! (28 files, total) ... ]
      ├── 8
      ├── 9
      └── aaa/
          └── bbb

  3 directories, 167 files

man find | grep mindep
  -mindepth levels
    Do not apply any tests or actions at levels less than levels
    (a non-negative integer).  -mindepth 1 means process all files
    except the starting-points.

ls -p | grep -v /(utilisé ci-dessous) provient de la réponse 2 sur /unix/48492/list-only-regular-files-but-not-directories-in-current-directory

find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done
./Catabolism - Autophagy; Phagosomes; Mitophagy: 138
./Catabolism - Lysosomes: 28
./Catabolism - Lysosomes/aaa: 1

Applcation: Je veux trouver le nombre maximum de fichiers parmi plusieurs centaines de répertoires (tous profondeur = 1) [sortie ci-dessous à nouveau formatée pour la lisibilité]:

date; pwd
    Fri Mar 29 20:08:08 PDT 2019
    /home/victoria/Mail/2_RESEARCH - NEWS

time find . -mindepth 1 -type d -print0 | while IFS= read -r -d '' i ; do echo -n $i": " ; ls -p "$i" | grep -v / | wc -l ; done > ../../aaa
    0:00.03

[victoria@victoria 2_RESEARCH - NEWS]$ head -n5 ../../aaa
    ./RNA - Exosomes: 26
    ./Cellular Signaling - Receptors: 213
    ./Catabolism - Autophagy; Phagosomes; Mitophagy: 138
    ./Stress - Physiological, Cellular - General: 261
    ./Ancient DNA; Ancient Protein: 34

[victoria@victoria 2_RESEARCH - NEWS]$ sed -r 's/(^.*): ([0-9]{1,8}$)/\2: \1/g' ../../aaa | sort -V | (head; echo ''; tail)

    0: ./Genomics - Gene Drive
    1: ./Causality; Causal Relationships
    1: ./Cloning
    1: ./GenMAPP 2
    1: ./Pathway Interaction Database
    1: ./Wasps
    2: ./Cellular Signaling - Ras-MAPK Pathway
    2: ./Cell Death - Ferroptosis
    2: ./Diet - Apples
    2: ./Environment - Waste Management

    988: ./Genomics - PPM (Personalized & Precision Medicine)
    1113: ./Microbes - Pathogens, Parasites
    1418: ./Health - Female
    1420: ./Immunity, Inflammation - General
    1522: ./Science, Research - Miscellaneous
    1797: ./Genomics
    1910: ./Neuroscience, Neurobiology
    2740: ./Genomics - Functional
    3943: ./Cancer
    4375: ./Health - Disease 

sort -Vest une sorte naturelle. ... Donc, mon nombre maximum de fichiers dans l'un de ces répertoires (Claws Mail) est de 4375 fichiers. Si je laisse à gauche ( https://stackoverflow.com/a/55409116/1904943 ) ces noms de fichiers - ils sont tous nommés numériquement, en commençant par 1, dans chaque répertoire - et à 5 chiffres au total, je serais d'accord .

Addenda

Trouvez le nombre total de fichiers, sous-répertoires dans un répertoire.

$ date; pwd
Tue 14 May 2019 04:08:31 PM PDT
/home/victoria/Mail/2_RESEARCH - NEWS

$ ls | head; echo; ls | tail
Acoustics
Ageing
Ageing - Calorie (Dietary) Restriction
Ageing - Senescence
Agriculture, Aquaculture, Fisheries
Ancient DNA; Ancient Protein
Anthropology, Archaeology
Ants
Archaeology
ARO-Relevant Literature, News

Transcriptome - CAGE
Transcriptome - FISSEQ
Transcriptome - RNA-seq
Translational Science, Medicine
Transposons
USACEHR-Relevant Literature
Vaccines
Vision, Eyes, Sight
Wasps
Women in Science, Medicine

$ find . -type f | wc -l
70214    ## files

$ find . -type d | wc -l
417      ## subdirectories

Il existe de nombreuses réponses correctes ici. En voici un autre!

find . -type f | sort | uniq -w 10 -c

où .est le dossier dans lequel rechercher et 10est le nombre de caractères permettant de regrouper le répertoire.

trouver -type f | wc -l

OU (si le répertoire est le répertoire courant)

trouver . -type f | wc -l

Cela fonctionnera parfaitement. Court simple. Si vous souhaitez compter le nombre de fichiers présents dans un dossier.

ls | wc -l

Cette approche alternative avec filtrage pour le format compte tous les modules du noyau grub disponibles:

ls -l /boot/grub/*.mod | wc -l

ls -l | grep -e -x -e -dr | wc -l 

1. longue liste
2. filtrer les fichiers et les répertoires
3. compter la ligne filtrée non