Réindexation d'un gros fichier CSV

J'ai parcouru les réponses dans ce fil utile , mais mon problème semble être suffisamment différent pour que je ne puisse pas penser à une bonne réponse (au moins avec sed).

J'ai un gros fichier CSV (200+ Go) avec des lignes qui ressemblent à ceci:

<alphanumerical_identifier>,<number>

où <alphanumerical_identifier>est unique sur l'ensemble du fichier. Je voudrais créer un fichier séparé qui remplace la première colonne par un index , c'est-à-dire

<index>,<number>

pour que nous obtenions:

1, <number>
2, <number>
3, <number>

Peut awkgénérer un index croissant sans charger le fichier complet en mémoire?

Étant donné que l'indice augmente de façon monotone, il peut être encore mieux de simplement laisser tomber l'indice. La solution serait-elle si différente?, À savoir:

<number>
<number>
<number>

Pas près d'un terminal pour tester, mais qu'en est-il de la nlcommande souvent ignorée ? Quelque chose comme:

cut -f 2 -d , original.csv | nl -w 1 -p -s , > numbered.csv

Voici quelques approches, mais aucune approcheront la vitesse de la cutet nlsolution ci - dessus:

1. awk

   awk -F, '{$1=NR;print $1","$2;}' file.csv > newfile.csv

2. Perl

   perl -pe 's/[^,]+/$./' file.csv > newfile.csv

   ou

   perl -F, -ane '$F[0]=$.; print join ",", @F' file.csv

3. Shell (mais je ne le recommande pas pour un fichier 200G, cela prendra du temps)

   i=1; while IFS=, read foo num; do 
           printf "%d,%s\n" $((i++)) $num; 
   done < file.csv > newfile.csv

Les solutions ci-dessus sont triées par ordre de vitesse. J'ai testé sur mon ordinateur portable et un fichier de 40M et ils ont pris (moyenne de 10 exécutions) 2,2282 (awk), 2,4555 (1er perl), 3,1825s (2e perl) et un énorme 48,6035s pour le shell. La solution très intelligente cutque nlvous avez déjà était environ 4 fois plus rapide à 0,6078 s.