ASCII est un fichier TEXT que vous utiliseriez Readerspour la lecture. Java prend également en charge la lecture à partir d'un fichier binaire à l'aide de InputStreams. Si les fichiers en cours de lecture sont volumineux, vous souhaiterez utiliser un BufferedReadersur le dessus FileReaderpour améliorer les performances de lecture.
Parcourez cet article pour savoir comment utiliser unReader
Je vous recommande également de télécharger et de lire ce merveilleux livre (pourtant gratuit) intitulé Thinking In Java
Choisir un lecteur dépend vraiment de la raison pour laquelle vous avez besoin du contenu du fichier. Si le fichier est petit (ish) et que vous en avez besoin, il est plus rapide (évalué par nos soins: 1.8-2x) d'utiliser simplement un FileReader et de tout lire (ou au moins des morceaux assez gros). Si vous le traitez ligne par ligne, optez pour le BufferedReader.
Vlad
3
L'ordre des lignes sera-t-il conservé lors de l'utilisation de "Files.lines (..). ForEach (...)". Je crois comprendre que la commande sera arbitraire après cette opération.
Daniil Shevelev,
39
Files.lines(…).forEach(…)ne conserve pas l'ordre des lignes mais s'exécute en parallèle, @Dash. Si la commande est importante, vous pouvez l'utiliser Files.lines(…).forEachOrdered(…), ce qui devrait préserver la commande (ne l'a pas vérifié cependant).
Palec
2
@Palec c'est intéressant, mais pouvez-vous citer des documents où il est dit que cela Files.lines(...).forEach(...)est exécuté en parallèle? Je pensais que ce n'était le cas que lorsque vous faites explicitement le flux parallèle en utilisant Files.lines(...).parallel().forEach(...).
Klitos Kyriacou
3
Ma formulation d'origine n'est pas à l'épreuve des balles, @KlitosKyriacou. Le fait est que forEachcela ne garantit aucun ordre et la raison est une parallélisation facile. Si l'ordre doit être préservé, utilisez forEachOrdered.
Palec
687
Ma façon préférée de lire un petit fichier est d'utiliser un BufferedReader et un StringBuilder. C'est très simple et au point (bien que pas particulièrement efficace, mais assez bon pour la plupart des cas):
BufferedReader br =newBufferedReader(newFileReader("file.txt"));try{StringBuilder sb =newStringBuilder();String line = br.readLine();while(line !=null){
sb.append(line);
sb.append(System.lineSeparator());
line = br.readLine();}String everything = sb.toString();}finally{
br.close();}
Certains ont souligné qu'après Java 7, vous devriez utiliser les fonctionnalités d' essai avec les ressources (c'est -à- dire la fermeture automatique):
try(BufferedReader br =newBufferedReader(newFileReader("file.txt"))){StringBuilder sb =newStringBuilder();String line = br.readLine();while(line !=null){
sb.append(line);
sb.append(System.lineSeparator());
line = br.readLine();}String everything = sb.toString();}
Lorsque je lis des chaînes comme celle-ci, je veux généralement faire un peu de gestion de chaînes par ligne, alors je choisis cette implémentation.
Bien que si je veux simplement lire un fichier dans une chaîne, j'utilise toujours Apache Commons IO avec la méthode de classe IOUtils.toString (). Vous pouvez consulter la source ici:
try(FileInputStream inputStream =newFileInputStream("foo.txt")){String everything =IOUtils.toString(inputStream);// do something with everything string}
J'ai fait un petit ajustement pour arrêter d'ajouter une nouvelle ligne (\ n) si la dernière ligne est atteinte. code while (ligne! = null) {sb.append (ligne); line = br.readLine (); // Ajouter une nouvelle ligne uniquement lorsque la courbe n'est PAS la dernière ligne .. if (ligne! = Null) {sb.append ("\ n"); }}code
Ramon Fincken
2
Semblable à Apache Common IO IOUtils # toString () est sun.misc.IOUtils # readFully (), qui est inclus dans les JRE Sun / Oracle.
gb96
3
Pour des performances, appelez toujours sb.append ('\ n') de préférence à sb.append ("\ n") car un caractère est ajouté au StringBuilder plus rapidement qu'une String
gb96
2
FileReader peut lever FileNotFoundException et BufferedRead peut lever IOException, vous devez donc les attraper.
La manière la plus simple consiste à utiliser la Scannerclasse en Java et l'objet FileReader. Exemple simple:
Scanner in =newScanner(newFileReader("filename.txt"));
Scanner a plusieurs méthodes pour lire des chaînes, des nombres, etc ... Vous pouvez chercher plus d'informations à ce sujet sur la page de documentation Java.
ou utilisez la fonction "essayer avec des ressources" (lecteur FileReader = nouveau FileReader (fichier))
Hernán Eche
3
J'ai remarqué le fichier.length (), comment cela fonctionne-t-il avec les fichiers utf-16?
Wayne
5
Cette technique suppose que read () remplit le tampon; que le nombre de caractères est égal au nombre d'octets; que le nombre d'octets s'inscrit dans la mémoire; et que le nombre d'octets s'inscrit dans un entier. -1
Marquis de Lorne
1
@HermesTrismegistus J'ai donné quatre raisons pour lesquelles c'est faux. StefanReich a parfaitement raison d'être d'accord avec moi.
Marquis de Lorne
35
J'ai dû comparer les différentes manières. Je commenterai mes conclusions mais, en bref, le moyen le plus rapide est d'utiliser un ancien BufferedInputStream simple sur un FileInputStream. Si de nombreux fichiers doivent être lus, trois threads réduiront le temps total d'exécution à environ la moitié, mais l'ajout de plus de threads dégradera progressivement les performances jusqu'à ce que cela prenne trois fois plus de temps pour terminer avec vingt threads qu'avec un seul thread.
L'hypothèse est que vous devez lire un fichier et faire quelque chose de significatif avec son contenu. Dans les exemples, voici la lecture des lignes d'un journal et compter celles qui contiennent des valeurs qui dépassent un certain seuil. Je suppose donc que le monoligne Java 8 Files.lines(Paths.get("/path/to/file.txt")).map(line -> line.split(";"))n'est pas une option.
J'ai testé sur Java 1.8, Windows 7 et les disques SSD et HDD.
J'ai écrit six implémentations différentes:
rawParse : utilisez BufferedInputStream sur un FileInputStream, puis coupez les lignes en lisant octet par octet. Cela a surpassé toute autre approche à un seul thread, mais cela peut être très gênant pour les fichiers non ASCII.
lineReaderParse : utilisez un BufferedReader sur un FileReader, lisez ligne par ligne, divisez les lignes en appelant String.split (). C'est environ 20% plus lent que rawParse.
lineReaderParseParallel : c'est la même chose que lineReaderParse, mais il utilise plusieurs threads. C'est l'option la plus rapide dans tous les cas.
nioAsyncParse : utilisez un AsynchronousFileChannel avec un gestionnaire d'achèvement et un pool de threads.
nioMemoryMappedParse : utilisez un fichier mappé en mémoire. C'est vraiment une mauvaise idée qui donne des temps d'exécution au moins trois fois plus longs que toute autre implémentation.
Ce sont les délais moyens de lecture de 204 fichiers de 4 Mo chacun sur un lecteur quadricœur i7 et SSD. Les fichiers sont générés à la volée pour éviter la mise en cache du disque.
J'ai trouvé une différence plus petite que ce à quoi je m'attendais entre l'exécution sur un SSD ou un disque dur, le SSD étant environ 15% plus rapide. Cela peut être dû au fait que les fichiers sont générés sur un disque dur non fragmenté et qu'ils sont lus séquentiellement, par conséquent, le lecteur tournant peut fonctionner presque comme un SSD.
J'ai été surpris par les faibles performances de l'implémentation nioAsyncParse. Soit j'ai implémenté quelque chose de la mauvaise façon, soit l'implémentation multi-thread utilisant NIO et un gestionnaire de complétion effectue la même chose (ou pire encore) qu'une implémentation single-thread avec l'API java.io. De plus, l'analyse asynchrone avec CompletionHandler est beaucoup plus longue dans les lignes de code et difficile à implémenter correctement qu'une implémentation directe sur les anciens flux.
Maintenant, les six implémentations suivies d'une classe les contenant toutes, plus une méthode main () paramétrable qui permet de jouer avec le nombre de fichiers, la taille des fichiers et le degré de concurrence. Notez que la taille des fichiers varie de plus moins 20%. C'est pour éviter tout effet car tous les fichiers sont exactement de la même taille.
rawParse
publicvoid rawParse(finalString targetDir,finalint numberOfFiles)throwsIOException,ParseException{
overrunCount =0;finalint dl =(int)';';StringBuffer lineBuffer =newStringBuffer(1024);for(int f=0; f<numberOfFiles; f++){File fl =newFile(targetDir+filenamePreffix+String.valueOf(f)+".txt");FileInputStream fin =newFileInputStream(fl);BufferedInputStream bin =newBufferedInputStream(fin);int character;while((character=bin.read())!=-1){if(character==dl){// Here is where something is done with each line
doSomethingWithRawLine(lineBuffer.toString());
lineBuffer.setLength(0);}else{
lineBuffer.append((char) character);}}
bin.close();
fin.close();}}publicfinalvoid doSomethingWithRawLine(String line)throwsParseException{// What to do for each lineint fieldNumber =0;finalint len = line.length();StringBuffer fieldBuffer =newStringBuffer(256);for(int charPos=0; charPos<len; charPos++){char c = line.charAt(charPos);if(c==DL0){String fieldValue = fieldBuffer.toString();if(fieldValue.length()>0){switch(fieldNumber){case0:Date dt = fmt.parse(fieldValue);
fieldNumber++;break;case1:double d =Double.parseDouble(fieldValue);
fieldNumber++;break;case2:int t =Integer.parseInt(fieldValue);
fieldNumber++;break;case3:if(fieldValue.equals("overrun"))
overrunCount++;break;}}
fieldBuffer.setLength(0);}else{
fieldBuffer.append(c);}}}
lineReaderParse
publicvoid lineReaderParse(finalString targetDir,finalint numberOfFiles)throwsIOException,ParseException{String line;for(int f=0; f<numberOfFiles; f++){File fl =newFile(targetDir+filenamePreffix+String.valueOf(f)+".txt");FileReader frd =newFileReader(fl);BufferedReader brd =newBufferedReader(frd);while((line=brd.readLine())!=null)
doSomethingWithLine(line);
brd.close();
frd.close();}}publicfinalvoid doSomethingWithLine(String line)throwsParseException{// Example of what to do for each lineString[] fields = line.split(";");Date dt = fmt.parse(fields[0]);double d =Double.parseDouble(fields[1]);int t =Integer.parseInt(fields[2]);if(fields[3].equals("overrun"))
overrunCount++;}
publicvoid nioFilesParse(finalString targetDir,finalint numberOfFiles)throwsIOException,ParseException{for(int f=0; f<numberOfFiles; f++){Path ph =Paths.get(targetDir+filenamePreffix+String.valueOf(f)+".txt");Consumer<String> action =newLineConsumer();Stream<String> lines =Files.lines(ph);
lines.forEach(action);
lines.close();}}classLineConsumerimplementsConsumer<String>{@Overridepublicvoid accept(String line){// What to do for each lineString[] fields = line.split(DL);if(fields.length>1){try{Date dt = fmt.parse(fields[0]);}catch(ParseException e){}double d =Double.parseDouble(fields[1]);int t =Integer.parseInt(fields[2]);if(fields[3].equals("overrun"))
overrunCount++;}}}
nioAsyncParse
publicvoid nioAsyncParse(finalString targetDir,finalint numberOfFiles,finalint numberOfThreads,finalint bufferSize)throwsIOException,ParseException,InterruptedException{ScheduledThreadPoolExecutor pool =newScheduledThreadPoolExecutor(numberOfThreads);ConcurrentLinkedQueue<ByteBuffer> byteBuffers =newConcurrentLinkedQueue<ByteBuffer>();for(int b=0; b<numberOfThreads; b++)
byteBuffers.add(ByteBuffer.allocate(bufferSize));for(int f=0; f<numberOfFiles; f++){
consumerThreads.acquire();String fileName = targetDir+filenamePreffix+String.valueOf(f)+".txt";AsynchronousFileChannel channel =AsynchronousFileChannel.open(Paths.get(fileName),EnumSet.of(StandardOpenOption.READ), pool);BufferConsumer consumer =newBufferConsumer(byteBuffers, fileName, bufferSize);
channel.read(consumer.buffer(),0l, channel, consumer);}
consumerThreads.acquire(numberOfThreads);}classBufferConsumerimplementsCompletionHandler<Integer,AsynchronousFileChannel>{privateConcurrentLinkedQueue<ByteBuffer> buffers;privateByteBuffer bytes;privateString file;privateStringBuffer chars;privateint limit;privatelong position;privateDateFormat frmt =newSimpleDateFormat("yyyy-MM-dd HH:mm:ss");publicBufferConsumer(ConcurrentLinkedQueue<ByteBuffer> byteBuffers,String fileName,int bufferSize){
buffers = byteBuffers;
bytes = buffers.poll();if(bytes==null)
bytes =ByteBuffer.allocate(bufferSize);
file = fileName;
chars =newStringBuffer(bufferSize);
frmt =newSimpleDateFormat("yyyy-MM-dd HH:mm:ss");
limit = bufferSize;
position =0l;}publicByteBuffer buffer(){return bytes;}@Overridepublicsynchronizedvoid completed(Integer result,AsynchronousFileChannel channel){if(result!=-1){
bytes.flip();finalint len = bytes.limit();int i =0;try{for(i =0; i < len; i++){byte by = bytes.get();if(by=='\n'){// ***// The code used to process the line goes here
chars.setLength(0);}else{
chars.append((char) by);}}}catch(Exception x){System.out.println("Caught exception "+ x.getClass().getName()+" "+ x.getMessage()+" i="+String.valueOf(i)+", limit="+String.valueOf(len)+", position="+String.valueOf(position));}if(len==limit){
bytes.clear();
position += len;
channel.read(bytes, position, channel,this);}else{try{
channel.close();}catch(IOException e){}
consumerThreads.release();
bytes.clear();
buffers.add(bytes);}}else{try{
channel.close();}catch(IOException e){}
consumerThreads.release();
bytes.clear();
buffers.add(bytes);}}@Overridepublicvoid failed(Throwable e,AsynchronousFileChannel channel){}};
MISE EN ŒUVRE PLEINE ET EXÉCUTOIRE DE TOUS LES CAS
Que voulez-vous faire avec le texte? Le fichier est-il suffisamment petit pour tenir en mémoire? J'essaierais de trouver le moyen le plus simple de gérer le fichier selon vos besoins. La bibliothèque FileUtils est très pratique pour cela.
@PeterLawrey signifie probablement org.apache.commons.io.FileUtils. Le lien Google peut changer le contenu au fil du temps, car la signification la plus répandue change, mais cela correspond à sa requête et semble correct.
Palec
2
Malheureusement, de nos jours il n'y a pas readLines(String)et readLines(File)est déprécié en faveur de readLines(File, Charset). L'encodage peut également être fourni sous forme de chaîne.
J'ai documenté 15 façons de lire un fichier en Java , puis je les ai testées pour la vitesse avec différentes tailles de fichiers - de 1 Ko à 1 Go et voici les trois principales façons de le faire:
Vous trouverez ci-dessous une ligne de conduite à la manière de Java 8. En supposant que le text.txtfichier se trouve à la racine du répertoire de projet d'Eclipse.
import java.io.BufferedReader;import java.io.FileNotFoundException;import java.io.FileReader;import java.io.IOException;BufferedReader br;try{
br =newBufferedReader(newFileReader("/fileToRead.txt"));try{String x;while((x = br.readLine())!=null){// Printing out each line in the fileSystem.out.println(x);}}catch(IOException e){
e.printStackTrace();}}catch(FileNotFoundException e){System.out.println(e);
e.printStackTrace();}
C'est fondamentalement la même chose que la réponse de Jesus Ramos, sauf avec File au lieu de FileReader plus l'itération pour parcourir le contenu du fichier.
Scanner in =newScanner(newFile("filename.txt"));while(in.hasNext()){// Iterates each line in the fileString line = in.nextLine();// Do something with line}
in.close();// Don't forget to close resource leaks
File vs FileReader: Avec un FileReader, le fichier doit exister et les autorisations du système d'exploitation doivent permettre l'accès. Avec un fichier, il est possible de tester ces autorisations ou de vérifier si le fichier est un répertoire. Le fichier a des fonctions utiles: isFile (), isDirectory (), listFiles (), canExecute (), canRead (), canWrite (), exist (), mkdir (), delete (). File.createTempFile () écrit dans le répertoire temporaire par défaut du système. Cette méthode retournera un objet fichier qui peut être utilisé pour ouvrir des objets FileOutputStream, etc. source
ThisClark
7
Les classes de flux tamponnées sont beaucoup plus performantes dans la pratique, à tel point que l'API NIO.2 inclut des méthodes qui renvoient spécifiquement ces classes de flux, en partie pour vous encourager à toujours utiliser des flux tamponnés dans votre application.
Voici un exemple:
Path path =Paths.get("/myfolder/myfile.ext");try(BufferedReader reader =Files.newBufferedReader(path)){// Read from the streamString currentLine =null;while((currentLine = reader.readLine())!=null)//do your code here}catch(IOException e){// Handle file I/O exception...}
Cela échoue pour moi sur Android 4.4. Seuls 1024 octets sont lus. YMMV.
Roger Keays
3
Je ne le vois pas encore mentionné dans les autres réponses jusqu'à présent. Mais si "Best" signifie vitesse, alors la nouvelle Java I / O (NIO) pourrait fournir la performance la plus rapide, mais pas toujours la plus facile à comprendre pour quelqu'un qui apprend.
Vous auriez dû indiquer comment cela s'est fait et ne pas donner de lien à suivre
Orar
3
La façon la plus simple de lire des données à partir d'un fichier en Java consiste à utiliser la classe File pour lire le fichier et la classe Scanner pour lire le contenu du fichier.
publicstaticvoid main(String args[])throwsException{File f =newFile("input.txt");
takeInputIn2DArray(f);}publicstaticvoid takeInputIn2DArray(File f)throwsException{Scanner s =newScanner(f);int a[][]=newint[20][20];for(int i=0; i<20; i++){for(int j=0; j<20; j++){
a[i][j]= s.nextInt();}}}
PS: N'oubliez pas d'importer java.util. *; pour que le scanner fonctionne.
Ce n'est peut-être pas la réponse exacte à la question. C'est juste une autre façon de lire un fichier où vous ne spécifiez pas explicitement le chemin d'accès à votre fichier dans votre code Java et à la place, vous le lisez comme un argument de ligne de commande.
Je pense que readAllBytes est plus rapide et plus précis, car il ne remplace pas la nouvelle ligne par \net aussi la nouvelle ligne peut l'être \r\n. C'est en fonction de vos besoins que l'on convient.
Vous ne pouvez pas l'utiliser sur 'n'importe quel fichier que vous voulez'. Vous ne pouvez l'utiliser que pour les ressources qui ont été regroupées dans le fichier JAR ou WAR.
try{File f =newFile("filename.txt");Scanner r =newScanner(f);while(r.hasNextLine()){String data = r.nextLine();JOptionPane.showMessageDialog(data);}
r.close();}catch(FileNotFoundException ex){JOptionPane.showMessageDialog("Error occurred");
ex.printStackTrace();}
Beaucoup plus rapide, j'en doute, si vous utilisez une simple concaténation de chaînes au lieu d'un StringBuilder ...
PhiLho
6
Je pense que le gain de vitesse principal provient de la lecture dans des blocs de 1 Mo (1024 * 1024). Cependant, vous pouvez faire de même en passant simplement 1024 * 1024 comme deuxième argument au constructeur BufferedReader.
gb96
3
je ne crois pas que cela soit testé du tout. l'utilisation +=de cette manière vous donne une complexité quadratique (!) pour une tâche qui devrait être une complexité linéaire. cela va commencer à explorer les fichiers de plus de quelques Mo. pour contourner ce problème, vous devez soit conserver les blocs de texte dans une liste <chaîne>, soit utiliser le constructeur de chaînes susmentionné.
kritzikratzi
5
Beaucoup plus rapide que quoi? Ce n'est certainement pas plus rapide que l'ajout à un StringBuffer. -1
Marquis de Lorne
1
@ gb96 J'ai pensé la même chose à propos des tailles de tampons, mais l'expérience détaillée de cette question a donné des résultats surprenants dans un contexte similaire: un tampon de 16 Ko était constamment et sensiblement plus rapide.
chiastic-security
-3
String fileName ='yourFileFullNameWithPath';File file =newFile(fileName);// Creates a new file object for your fileFileReader fr =newFileReader(file);// Creates a Reader that you can use to read the contents of a file read your fileBufferedReader br =newBufferedReader(fr);//Reads text from a character-input stream, buffering characters so as to provide for the efficient reading of characters, arrays, and lines.
L'ensemble de lignes ci-dessus peut être écrit en 1 seule ligne comme:
Ajout au générateur de chaînes (si votre fichier est énorme, il est conseillé d'utiliser le générateur de chaînes, sinon utilisez un objet String normal)
try{StringBuilder sb =newStringBuilder();String line = br.readLine();while(line !=null){
sb.append(line);
sb.append(System.lineSeparator());
line = br.readLine();}String everything = sb.toString();}finally{
br.close();}
Réponses:
ASCII est un fichier TEXT que vous utiliseriez
Readers
pour la lecture. Java prend également en charge la lecture à partir d'un fichier binaire à l'aide deInputStreams
. Si les fichiers en cours de lecture sont volumineux, vous souhaiterez utiliser unBufferedReader
sur le dessusFileReader
pour améliorer les performances de lecture.Parcourez cet article pour savoir comment utiliser un
Reader
Je vous recommande également de télécharger et de lire ce merveilleux livre (pourtant gratuit) intitulé Thinking In Java
En Java 7 :
(docs) ou
(documents)
En Java 8 :
(documents)
la source
Files.lines(…).forEach(…)
ne conserve pas l'ordre des lignes mais s'exécute en parallèle, @Dash. Si la commande est importante, vous pouvez l'utiliserFiles.lines(…).forEachOrdered(…)
, ce qui devrait préserver la commande (ne l'a pas vérifié cependant).Files.lines(...).forEach(...)
est exécuté en parallèle? Je pensais que ce n'était le cas que lorsque vous faites explicitement le flux parallèle en utilisantFiles.lines(...).parallel().forEach(...)
.forEach
cela ne garantit aucun ordre et la raison est une parallélisation facile. Si l'ordre doit être préservé, utilisezforEachOrdered
.Ma façon préférée de lire un petit fichier est d'utiliser un BufferedReader et un StringBuilder. C'est très simple et au point (bien que pas particulièrement efficace, mais assez bon pour la plupart des cas):
Certains ont souligné qu'après Java 7, vous devriez utiliser les fonctionnalités d' essai avec les ressources (c'est -à- dire la fermeture automatique):
Lorsque je lis des chaînes comme celle-ci, je veux généralement faire un peu de gestion de chaînes par ligne, alors je choisis cette implémentation.
Bien que si je veux simplement lire un fichier dans une chaîne, j'utilise toujours Apache Commons IO avec la méthode de classe IOUtils.toString (). Vous pouvez consulter la source ici:
http://www.docjar.com/html/api/org/apache/commons/io/IOUtils.java.html
Et encore plus simple avec Java 7:
la source
code
while (ligne! = null) {sb.append (ligne); line = br.readLine (); // Ajouter une nouvelle ligne uniquement lorsque la courbe n'est PAS la dernière ligne .. if (ligne! = Null) {sb.append ("\ n"); }}code
La manière la plus simple consiste à utiliser la
Scanner
classe en Java et l'objet FileReader. Exemple simple:Scanner
a plusieurs méthodes pour lire des chaînes, des nombres, etc ... Vous pouvez chercher plus d'informations à ce sujet sur la page de documentation Java.Par exemple, lire tout le contenu dans un
String
:De plus, si vous avez besoin d'un encodage spécifique, vous pouvez l'utiliser au lieu de
FileReader
:la source
BufferedReader
while ((line = br.readLine()) != null) { sb.append(line); }
?Voici une solution simple:
la source
Voici une autre façon de le faire sans utiliser de bibliothèques externes:
la source
J'ai dû comparer les différentes manières. Je commenterai mes conclusions mais, en bref, le moyen le plus rapide est d'utiliser un ancien BufferedInputStream simple sur un FileInputStream. Si de nombreux fichiers doivent être lus, trois threads réduiront le temps total d'exécution à environ la moitié, mais l'ajout de plus de threads dégradera progressivement les performances jusqu'à ce que cela prenne trois fois plus de temps pour terminer avec vingt threads qu'avec un seul thread.
L'hypothèse est que vous devez lire un fichier et faire quelque chose de significatif avec son contenu. Dans les exemples, voici la lecture des lignes d'un journal et compter celles qui contiennent des valeurs qui dépassent un certain seuil. Je suppose donc que le monoligne Java 8
Files.lines(Paths.get("/path/to/file.txt")).map(line -> line.split(";"))
n'est pas une option.J'ai testé sur Java 1.8, Windows 7 et les disques SSD et HDD.
J'ai écrit six implémentations différentes:
rawParse : utilisez BufferedInputStream sur un FileInputStream, puis coupez les lignes en lisant octet par octet. Cela a surpassé toute autre approche à un seul thread, mais cela peut être très gênant pour les fichiers non ASCII.
lineReaderParse : utilisez un BufferedReader sur un FileReader, lisez ligne par ligne, divisez les lignes en appelant String.split (). C'est environ 20% plus lent que rawParse.
lineReaderParseParallel : c'est la même chose que lineReaderParse, mais il utilise plusieurs threads. C'est l'option la plus rapide dans tous les cas.
nioFilesParse : utilisez java.nio.files.Files.lines ()
nioAsyncParse : utilisez un AsynchronousFileChannel avec un gestionnaire d'achèvement et un pool de threads.
nioMemoryMappedParse : utilisez un fichier mappé en mémoire. C'est vraiment une mauvaise idée qui donne des temps d'exécution au moins trois fois plus longs que toute autre implémentation.
Ce sont les délais moyens de lecture de 204 fichiers de 4 Mo chacun sur un lecteur quadricœur i7 et SSD. Les fichiers sont générés à la volée pour éviter la mise en cache du disque.
J'ai trouvé une différence plus petite que ce à quoi je m'attendais entre l'exécution sur un SSD ou un disque dur, le SSD étant environ 15% plus rapide. Cela peut être dû au fait que les fichiers sont générés sur un disque dur non fragmenté et qu'ils sont lus séquentiellement, par conséquent, le lecteur tournant peut fonctionner presque comme un SSD.
J'ai été surpris par les faibles performances de l'implémentation nioAsyncParse. Soit j'ai implémenté quelque chose de la mauvaise façon, soit l'implémentation multi-thread utilisant NIO et un gestionnaire de complétion effectue la même chose (ou pire encore) qu'une implémentation single-thread avec l'API java.io. De plus, l'analyse asynchrone avec CompletionHandler est beaucoup plus longue dans les lignes de code et difficile à implémenter correctement qu'une implémentation directe sur les anciens flux.
Maintenant, les six implémentations suivies d'une classe les contenant toutes, plus une méthode main () paramétrable qui permet de jouer avec le nombre de fichiers, la taille des fichiers et le degré de concurrence. Notez que la taille des fichiers varie de plus moins 20%. C'est pour éviter tout effet car tous les fichiers sont exactement de la même taille.
rawParse
lineReaderParse
lineReaderParseParallel
nioFilesParse
nioAsyncParse
MISE EN ŒUVRE PLEINE ET EXÉCUTOIRE DE TOUS LES CAS
https://github.com/sergiomt/javaiobenchmark/blob/master/FileReadBenchmark.java
la source
Voici les trois méthodes de travail et testées:
En utilisant
BufferedReader
En utilisant
Scanner
En utilisant
FileReader
Lire le fichier entier sans boucle en utilisant la
Scanner
classela source
java.nio.file.Files
? Nous pouvons maintenant utiliser justereadAllLines
,readAllBytes
etlines
.Les méthodes à l'intérieur
org.apache.commons.io.FileUtils
peuvent également être très pratiques, par exemple:la source
Que voulez-vous faire avec le texte? Le fichier est-il suffisamment petit pour tenir en mémoire? J'essaierais de trouver le moyen le plus simple de gérer le fichier selon vos besoins. La bibliothèque FileUtils est très pratique pour cela.
la source
org.apache.commons.io.FileUtils
. Le lien Google peut changer le contenu au fil du temps, car la signification la plus répandue change, mais cela correspond à sa requête et semble correct.readLines(String)
etreadLines(File)
est déprécié en faveur dereadLines(File, Charset)
. L'encodage peut également être fourni sous forme de chaîne.J'ai documenté 15 façons de lire un fichier en Java , puis je les ai testées pour la vitesse avec différentes tailles de fichiers - de 1 Ko à 1 Go et voici les trois principales façons de le faire:
java.nio.file.Files.readAllBytes()
Testé pour fonctionner en Java 7, 8 et 9.
java.io.BufferedReader.readLine()
Testé pour fonctionner en Java 7, 8, 9.
java.nio.file.Files.lines()
Cela a été testé pour fonctionner en Java 8 et 9 mais ne fonctionnera pas en Java 7 en raison de l'exigence d'expression lambda.
la source
Vous trouverez ci-dessous une ligne de conduite à la manière de Java 8. En supposant que le
text.txt
fichier se trouve à la racine du répertoire de projet d'Eclipse.la source
Utilisation de BufferedReader:
la source
C'est fondamentalement la même chose que la réponse de Jesus Ramos, sauf avec File au lieu de FileReader plus l'itération pour parcourir le contenu du fichier.
... jette
FileNotFoundException
la source
Les classes de flux tamponnées sont beaucoup plus performantes dans la pratique, à tel point que l'API NIO.2 inclut des méthodes qui renvoient spécifiquement ces classes de flux, en partie pour vous encourager à toujours utiliser des flux tamponnés dans votre application.
Voici un exemple:
Vous pouvez remplacer ce code
avec
Je recommande cet article pour découvrir les principales utilisations de Java NIO et IO.
la source
Probablement pas aussi rapide qu'avec des E / S tamponnées, mais assez concis:
Le
\Z
motif indiqueScanner
que le délimiteur est EOF.la source
if(scanner.hasNext()) content = scanner.next();
Je ne le vois pas encore mentionné dans les autres réponses jusqu'à présent. Mais si "Best" signifie vitesse, alors la nouvelle Java I / O (NIO) pourrait fournir la performance la plus rapide, mais pas toujours la plus facile à comprendre pour quelqu'un qui apprend.
http://download.oracle.com/javase/tutorial/essential/io/file.html
la source
La façon la plus simple de lire des données à partir d'un fichier en Java consiste à utiliser la classe File pour lire le fichier et la classe Scanner pour lire le contenu du fichier.
PS: N'oubliez pas d'importer java.util. *; pour que le scanner fonctionne.
la source
La goyave fournit une doublure pour cela:
la source
Ce n'est peut-être pas la réponse exacte à la question. C'est juste une autre façon de lire un fichier où vous ne spécifiez pas explicitement le chemin d'accès à votre fichier dans votre code Java et à la place, vous le lisez comme un argument de ligne de commande.
Avec le code suivant,
allez-y et lancez-le avec:
Ce serait lire le contenu de la
input.txt
et l'imprimerait sur votre console.Vous pouvez également créer votre
System.out.println()
pour écrire dans un fichier spécifique via la ligne de commande comme suit:Ce serait lire
input.txt
et écrire àoutput.txt
.la source
Vous pouvez utiliser readAllLines et la
join
méthode pour obtenir le contenu de fichier entier sur une seule ligne:Il utilise le codage UTF-8 par défaut, qui lit correctement les données ASCII.
Vous pouvez également utiliser readAllBytes:
Je pense que readAllBytes est plus rapide et plus précis, car il ne remplace pas la nouvelle ligne par
\n
et aussi la nouvelle ligne peut l'être\r\n
. C'est en fonction de vos besoins que l'on convient.la source
Pour les applications Web Maven basées sur JSF, utilisez simplement ClassLoader et le
Resources
dossier pour lire le fichier de votre choix :Mettez la dépendance IO Apache Commons dans votre POM:
Utilisez le code ci-dessous pour le lire (par exemple ci-dessous est la lecture dans un fichier .json):
Vous pouvez faire de même pour les fichiers texte, les fichiers .properties, les schémas XSD , etc.
la source
Cactoos vous offre une ligne déclarative:
la source
Utilisez Java Kiss s'il s'agit de simplicité de structure:
la source
Utilisez simplement java 8 Stream.
la source
la source
La méthode la plus intuitive est introduite dans Java 11
Files.readString
PHP a ce luxe d'il y a des décennies! ☺
la source
Ce code que j'ai programmé est beaucoup plus rapide pour les très gros fichiers:
la source
+=
de cette manière vous donne une complexité quadratique (!) pour une tâche qui devrait être une complexité linéaire. cela va commencer à explorer les fichiers de plus de quelques Mo. pour contourner ce problème, vous devez soit conserver les blocs de texte dans une liste <chaîne>, soit utiliser le constructeur de chaînes susmentionné.L'ensemble de lignes ci-dessus peut être écrit en 1 seule ligne comme:
Ajout au générateur de chaînes (si votre fichier est énorme, il est conseillé d'utiliser le générateur de chaînes, sinon utilisez un objet String normal)
la source