Comment lire depuis stdin ligne par ligne dans Node

Je cherche à traiter un fichier texte avec un nœud en utilisant un appel de ligne de commande comme:

node app.js < input.txt

Chaque ligne du fichier doit être traitée individuellement, mais une fois traitée, la ligne d'entrée peut être oubliée.

En utilisant l'écouteur sur les données du stdin, j'obtiens la vapeur d'entrée fragmentée par une taille d'octet, donc je l'ai configuré.

process.stdin.resume();
process.stdin.setEncoding('utf8');

var lingeringLine = "";

process.stdin.on('data', function(chunk) {
    lines = chunk.split("\n");

    lines[0] = lingeringLine + lines[0];
    lingeringLine = lines.pop();

    lines.forEach(processLine);
});

process.stdin.on('end', function() {
    processLine(lingeringLine);
});

Mais cela semble tellement bâclé. Devoir masser le premier et le dernier élément du tableau de lignes. N'y a-t-il pas une manière plus élégante de faire cela?

Vous pouvez utiliser le module readline pour lire à partir de stdin ligne par ligne:

var readline = require('readline');
var rl = readline.createInterface({
  input: process.stdin,
  output: process.stdout,
  terminal: false
});

rl.on('line', function(line){
    console.log(line);
})

// Work on POSIX and Windows
var fs = require("fs");
var stdinBuffer = fs.readFileSync(0); // STDIN_FILENO = 0
console.log(stdinBuffer.toString());

readlineest spécifiquement conçu pour fonctionner avec le terminal (c'est-à-dire process.stdin.isTTY === true). Il existe de nombreux modules qui fournissent des fonctionnalités de fractionnement pour les flux génériques, comme split . Cela rend les choses très faciles:

process.stdin.pipe(require('split')()).on('data', processLine)

function processLine (line) {
  console.log(line + '!')
}

#!/usr/bin/env node

const EventEmitter = require('events');

function stdinLineByLine() {
  const stdin = new EventEmitter();
  let buff = "";

  process.stdin
    .on('data', data => {
      buff += data;
      lines = buff.split(/[\r\n|\n]/);
      buff = lines.pop();
      lines.forEach(line => stdin.emit('line', line));
    })
    .on('end', () => {
      if (buff.length > 0) stdin.emit('line', buff);
    });

  return stdin;
}

const stdin = stdinLineByLine();
stdin.on('line', console.log);

partager pour les autres:

lire le flux ligne par ligne, devrait être bon pour les gros fichiers redirigés vers stdin, ma version:

var n=0;
function on_line(line,cb)
{
    ////one each line
    console.log(n++,"line ",line);
    return cb();
    ////end of one each line
}

var fs = require('fs');
var readStream = fs.createReadStream('all_titles.txt');
//var readStream = process.stdin;
readStream.pause();
readStream.setEncoding('utf8');

var buffer=[];
readStream.on('data', (chunk) => {
    const newlines=/[\r\n]+/;
    var lines=chunk.split(newlines)
    if(lines.length==1)
    {
        buffer.push(lines[0]);
        return;
    }   

    buffer.push(lines[0]);
    var str=buffer.join('');
    buffer.length=0;
    readStream.pause();

    on_line(str,()=>{
        var i=1,l=lines.length-1;
        i--;
        function while_next()
        {
            i++;
            if(i<l)
            {
                return on_line(lines[i],while_next);
            }
            else
            {
                buffer.push(lines.pop());
                lines.length=0;
                return readStream.resume();
            }
        }
        while_next();
    });
  }).on('end', ()=>{
      if(buffer.length)
          var str=buffer.join('');
          buffer.length=0;
        on_line(str,()=>{
            ////after end
            console.error('done')
            ////end after end
        });
  });
readStream.resume();

Dans mon cas, le programme (elinks) a renvoyé des lignes qui semblaient vides, mais qui avaient en fait des caractères de terminal spéciaux, des codes de contrôle de couleur et un retour arrière, de sorte que les grepoptions présentées dans d'autres réponses ne fonctionnaient pas pour moi. J'ai donc écrit ce petit script dans Node.js. J'ai appelé le fichier tight, mais ce n'est qu'un nom aléatoire.

#!/usr/bin/env node

function visible(a) {
    var R  =  ''
    for (var i = 0; i < a.length; i++) {
        if (a[i] == '\b') {  R -= 1; continue; }  
        if (a[i] == '\u001b') {
            while (a[i] != 'm' && i < a.length) i++
            if (a[i] == undefined) break
        }
        else R += a[i]
    }
    return  R
}

function empty(a) {
    a = visible(a)
    for (var i = 0; i < a.length; i++) {
        if (a[i] != ' ') return false
    }
    return  true
}

var readline = require('readline')
var rl = readline.createInterface({ input: process.stdin, output: process.stdout, terminal: false })

rl.on('line', function(line) {
    if (!empty(line)) console.log(line) 
})