Comment traiter un fichier dans PowerShell ligne par ligne en tant que flux

Je travaille avec des fichiers texte de plusieurs gigaoctets et je souhaite effectuer un traitement de flux sur eux à l'aide de PowerShell. C'est des choses simples, il suffit d'analyser chaque ligne et d'extraire des données, puis de les stocker dans une base de données.

Malheureusement, get-content | %{ whatever($_) }semble garder en mémoire l'ensemble des lignes à ce stade du tuyau. C'est aussi étonnamment lent, prenant beaucoup de temps pour tout lire.

Ma question est donc en deux parties:

1. Comment puis-je faire en sorte qu'il traite le flux ligne par ligne et ne garde pas le tout en mémoire tampon? Je voudrais éviter d'utiliser plusieurs Go de RAM à cette fin.
2. Comment puis-je le faire fonctionner plus rapidement? L'itération de PowerShell sur un get-contentsemble être 100 fois plus lente qu'un script C #.

J'espère qu'il y a quelque chose de stupide que je fais ici, comme manquer un -LineBufferSizeparamètre ou quelque chose ...

Si vous êtes vraiment sur le point de travailler sur des fichiers texte de plusieurs gigaoctets, n'utilisez pas PowerShell. Même si vous trouvez un moyen de le lire plus rapidement, le traitement d'un grand nombre de lignes sera de toute façon lent dans PowerShell et vous ne pouvez pas éviter cela. Même les boucles simples coûtent cher, disons pour 10 millions d'itérations (bien réelles dans votre cas), nous avons:

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

MISE À JOUR: Si vous n'avez toujours pas peur, essayez d'utiliser le lecteur .NET:

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

MISE À JOUR 2

Il y a des commentaires sur un code éventuellement meilleur / plus court. Il n'y a rien de mal avec le code d'origine avec foret ce n'est pas un pseudo-code. Mais la variante la plus courte (la plus courte?) De la boucle de lecture est

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

System.IO.File.ReadLines()est parfait pour ce scénario. Il renvoie toutes les lignes d'un fichier, mais vous permet de commencer immédiatement à itérer sur les lignes, ce qui signifie qu'il n'a pas à stocker tout le contenu en mémoire.

Nécessite .NET 4.0 ou supérieur.

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

Si vous souhaitez utiliser PowerShell directement, consultez le code ci-dessous.

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}