Calcul de la taille totale du fichier par extension dans le shell

Nous avons un ensemble de répertoires contenant des index lucene. Chaque index est un mélange de différents types de fichiers (différenciés par extension), par exemple:

0/index/_2z6.frq
0/index/_2z6.fnm
..
1/index/_1sq.frq
1/index/_1sq.fnm
..

(c'est environ 10 extensions différentes)

Nous aimerions obtenir un total par extension de fichier, par exemple:

.frq     21234
.fnm     34757
..

J'ai essayé différentes combinaisons de du / awk / xargs, mais il est difficile de faire exactement cela.

Pour une extension donnée, vous pouvez l'utiliser

find /path -name '*.frq' -exec ls -l {} \; | awk '{ Total += $5} END { print Total }'

pour obtenir la taille totale du fichier pour ce type.

Et après réflexion

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -n "$ft "
    find . -name "*${ft}" -exec ls -l {} \; | awk '{total += $5} END {print total}'
done

Qui affichera la taille en octets de chaque type de fichier trouvé.

Avec bash version4, il vous suffit d'appeler find, lset ce awkn'est pas nécessaire:

declare -A ary

while IFS=$'\t' read name size; do 
  ext=${name##*.}
  ((ary[$ext] += size))
done < <(find . -type f  -printf "%f\t%s\n")

for key in "${!ary[@]}"; do 
  printf "%s\t%s\n" "$key" "${ary[$key]}"
done

Chaque seconde colonne divisée par .et dernière partie (extension) enregistrée dans le tableau.

#!/bin/bash

find . -type f -printf "%s\t%f\n" | awk '
{
 split($2, ext, ".")
 e = ext[length(ext)]
 size[e] += $1
}

END{
 for(i in size)
   print size[i], i
}' | sort -n

alors vous avez obtenu la taille totale de chaque extension en octets.

60055 gemspec
321991 txt
2075312 html
2745143 rb
13387264 gem
47196526 jar

Extension du script Iain avec une version plus rapide pour travailler avec un grand nombre de fichiers.

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -ne "$ft\t"
    find . -name "*${ft}" -exec du -bcsh '{}' + | tail -1 | sed 's/\stotal//'
done

Voici la solution:

find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq -c | sort -n

Solution publiée à l'origine sur ce post: Obtenez toutes les extensions et leur nombre de fichiers respectifs dans un répertoire

J'ai résolu en utilisant ces deux commandes:

FILES=$(find . -name '*.c')
stat -c %s ${FILES[@]} | awk '{ sum += $1 } END { print ".c" " " sum }'

ma version de réponse à la question:

#!/bin/bash

date >  get_size.log
# Lists all files
find . -type f -printf "%s\t%f\n" | grep -E ".*\.[a-zA-Z0-9]*$" | sort -h | awk  '
{
        split($2, ext, ".")
        e = ext[length(ext)]
        # Checks that one extension could be found
        if(length(e) < length($2)) {
                # Check that file size are bigger than 0
                if($i > 0) {
                        # Check that extension not are integer
                        if(!(e ~/^[0-9]+$/)) {
                                size[e] += $1
                        }
                }
        }
        if(length(e) == length($2)) {
                size["blandat"] += $1
        }
}

END{
 for(i in size)
   print size[i], i
}' | sort -n >> get_size.log
echo
echo
echo The result are in file get_size.log

Essayez Crab ( http://etia.co.uk/ ) - c'est un utilitaire de ligne de commande qui vous permet d'interroger le système de fichiers à l'aide de SQL.