Meilleure méthode pour collecter un échantillon aléatoire à partir d'une collection de fichiers

Supposons qu'il existe un répertoire contenant 300 fichiers de données. Je souhaite sélectionner au hasard 200 de ces fichiers et les déplacer dans un autre répertoire. Existe-t-il un moyen de le faire sous Unix / Linux?

Si votre système le possède shuf, vous pouvez l'utiliser très facilement (même en gérant les noms de fichiers laids):

shuf -zen200 source/* | xargs -0 mv -t dest

Si vous n'avez pas , shufmais un sortqui prend -R, cela devrait fonctionner:

find source -type f -print0 | sort -Rz | cut -d $'\0' -f-200 | xargs -0 mv -t dest

files=(*)
for (( i=0; i<200; i++ )); do
    keys=("${!files[@]}")
    rnd=$(( RANDOM % ${#keys[@]} ))
    key=${keys[$rnd]}
    mv "${files[$key]}" "$otherdir"
    unset files[$key]
done

Mettez tous les noms de fichiers dans un tableau nommé "fichiers" dans bash:

files=( * )

taille du tableau:

echo ${#files[@]}

définissez 2/3 d'entre eux comme taille d'échantillon:

take=$((2*${#files[@]}/3)) 

for i in $(seq 1 $take)
do
    r=$((RANDOM%${#files[@]})) 
    echo ${files[r]}
done

Cela sélectionnera les doublons et n'est pas testé avec les noms de fichiers avec des blancs et autres.

Le moyen le plus simple d'éviter les doublons est d'itérer sur tous les fichiers et de choisir chacun avec 2/3 de chance, mais cela ne conduira pas nécessairement à 200 fichiers.

Cela supprimera un fichier s'il a été choisi dans la liste et répondra à vos besoins:

#!/bin/bash
files=( * )
# define 2/3 of them as sample size:
take=$((2*${#files[@]}/3)) 

while (( i < $take ))
do
    r=$((RANDOM%${#files[@]})) 
    f=${files[r]}
    if [[ -n $f ]]
    then 
        i=$((i+1))    
        echo ${files[r]}
        unset files[r]    
    fi
done

Si cela doit être statistiquement aléatoire, vous ne devriez pas l'utiliser RANDOM % ${#keys[@]}. Considérer:

1. $RANDOM a 32768 valeurs uniques
2. La première sélection est 1 sur 300 éléments
3. 32768 = 109 * 300 + 68

Ainsi, lors de la sélection du premier élément, il y a 110/32768 ~ = 0,33569% de chance pour chacun des 68 premiers éléments, et 109/32768 ~ = 0,33264% de chance pour chacun des 232 autres éléments à sélectionner. La sélection est répétée plusieurs fois avec des chances différentes, mais biaisée vers les premiers éléments à chaque fois 32768 % ${#keys[@]} -ne 0, donc l'erreur se complique.

Cela doit être non biaisé et fonctionne avec n'importe quel nom de fichier:

while IFS= read -r -d '' -u 9
do
    mv -- "$REPLY" /target/dir
done 9< <(find /source/dir -mindepth 1 -print0 | shuf -n 200 -z)

La solution de Kevin fonctionne très bien! Quelque chose d'autre que j'ai beaucoup utilisé parce qu'il est plus facile de se souvenir du haut de ma tête est quelque chose comme:

cp `ls | shuf -n 200` destination

Un liner en bash:

ls original_directory/|sort -R|head -number_of_files_to_move|while read file; do cp "new_directory/"$file test; done