_csv.Error: champ supérieur à la limite de champ (131072)

J'ai un script qui lit dans un fichier csv avec des champs très énormes:

# example from http://docs.python.org/3.3/library/csv.html?highlight=csv%20dictreader#examples
import csv
with open('some.csv', newline='') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

Cependant, cela génère l'erreur suivante sur certains fichiers csv:

_csv.Error: field larger than field limit (131072)

Comment puis-je analyser des fichiers csv avec des champs énormes? Sauter les lignes avec des champs énormes n'est pas une option car les données doivent être analysées dans les étapes suivantes.

Le fichier csv peut contenir des champs très volumineux, augmentez donc field_size_limit:

import sys
import csv

csv.field_size_limit(sys.maxsize)

sys.maxsizefonctionne pour Python 2.x et 3.x. sys.maxintne fonctionnerait qu'avec Python 2.x ( SO: what-is-sys-maxint-in-python-3 )

Mettre à jour

Comme Geoff a fait remarquer, le code ci - dessus pourrait entraîner l'erreur suivante: OverflowError: Python int too large to convert to C long. Pour contourner cela, vous pouvez utiliser le code rapide et sale suivant (qui devrait fonctionner sur tous les systèmes avec Python 2 et Python 3):

import sys
import csv
maxInt = sys.maxsize

while True:
    # decrease the maxInt value by factor 10 
    # as long as the OverflowError occurs.

    try:
        csv.field_size_limit(maxInt)
        break
    except OverflowError:
        maxInt = int(maxInt/10)

Cela peut être dû au fait que votre fichier CSV a incorporé des guillemets simples ou doubles. Si votre fichier CSV est délimité par des tabulations, essayez de l'ouvrir en tant que:

c = csv.reader(f, delimiter='\t', quoting=csv.QUOTE_NONE)

Ci-dessous est de vérifier la limite actuelle

csv.field_size_limit()

Sortie [20]: 131072

Ci-dessous est d'augmenter la limite. Ajoutez-le au code

csv.field_size_limit(100000000)

Essayez de vérifier à nouveau la limite

csv.field_size_limit()

Sortie [22]: 100000000

Maintenant, vous n'obtiendrez pas l'erreur "_csv.Error: champ plus grand que la limite de champ (131072)"

La taille des champs csv est contrôlée via [Python 3.Docs]: csv. field_size_limit ( [new_limit] ) :

Renvoie la taille de champ maximale actuelle autorisée par l'analyseur. Si new_limit est donné, cela devient la nouvelle limite.

Il est défini par défaut sur 128k ou 0x20000 ( 131072 ), ce qui devrait être suffisant pour tout .csv décent :

>>> import csv
>>>
>>> limit0 = csv.field_size_limit()
>>> limit0
131072
>>> "0x{0:016X}".format(limit0)
'0x0000000000020000'

Cependant, lorsque vous traitez un fichier .csv ( avec les guillemets et délimiteurs corrects ) ayant (au moins) un champ plus long que cette taille, l'erreur apparaît.
Pour se débarrasser de l'erreur, la taille limite doit être augmentée (pour éviter tout souci, la valeur maximale possible est tentée).

Dans les coulisses (vérifiez [GitHub]: python / cpython - (maître) cpython / Modules / _csv.c pour les détails d'implémentation), la variable qui contient cette valeur est un C long ( [Wikipedia]: types de données C ), dont la taille varie en fonction de l' architecture du processeur et du système d'exploitation ( I L P ). La différence classique: pour un OS 64 bits ( build Python ), la taille de type long ( en bits ) est:

• Nix : 64
• Victoires : 32

Lorsque vous tentez de le définir, la nouvelle valeur est vérifiée pour être dans les limites longues , c'est pourquoi dans certains cas, une autre exception apparaît (ce cas est courant sur Win ):

>>> import sys
>>>
>>> sys.platform, sys.maxsize
('win32', 9223372036854775807)
>>>
>>> csv.field_size_limit(sys.maxsize)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OverflowError: Python int too large to convert to C long

Pour éviter de rencontrer ce problème, définissez la limite (maximale possible) ( LONG_MAX ) à l'aide d'un artifice (grâce à [Python 3.Docs]: ctypes - Une bibliothèque de fonctions étrangères pour Python ). Il devrait fonctionner sur Python 3 et Python 2 , sur n'importe quel CPU / OS .

>>> import ctypes as ct
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
2147483647
>>> "0x{0:016X}".format(limit1)
'0x000000007FFFFFFF'

Python 64 bits sur un système d'exploitation comme Nix :

>>> import sys, csv, ctypes as ct
>>>
>>> sys.platform, sys.maxsize
('linux', 9223372036854775807)
>>>
>>> csv.field_size_limit()
131072
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
9223372036854775807
>>> "0x{0:016X}".format(limit1)
'0x7FFFFFFFFFFFFFFF'

Pour Python 32 bits , les choses sont uniformes: c'est le comportement rencontré sur Win .

Consultez les ressources suivantes pour plus de détails sur:

• Jouer avec les limites des types C à partir de Python : [SO]: valeur maximale et minimale des entiers de types C à partir de Python (@ CristiFati's answer)
• Différences entre Python 32 bits et 64 bits : [SO]: Comment puis-je déterminer si mon shell python s'exécute en mode 32 bits ou 64 bits sous OS X? (@ Réponse de CristiFati)

Je venais juste de m'arriver sur un fichier CSV «simple». Certaines personnes pourraient l'appeler un fichier formaté non valide. Pas de caractères d'échappement, pas de guillemets doubles et le délimiteur était un point-virgule.

Un exemple de ligne de ce fichier ressemblerait à ceci:

Première cellule; Deuxième "cellule avec un guillemet double et un espace de tête; cellule" partiellement citée "; dernière cellule

la citation unique dans la deuxième cellule jetterait l'analyseur de ses rails. Ce qui a fonctionné était:

csv.reader(inputfile, delimiter=';', doublequote='False', quotechar='', quoting=csv.QUOTE_NONE)

Parfois, une ligne contient une colonne de guillemets doubles. Lorsque le lecteur csv essaie de lire cette ligne, la fin de la colonne n'est pas comprise et déclenche cette augmentation. La solution est ci-dessous:

reader = csv.reader(cf, quoting=csv.QUOTE_MINIMAL)

Vous pouvez utiliser read_csvfrom pandaspour ignorer ces lignes.

import pandas as pd

data_df = pd.read_csv('data.csv', error_bad_lines=False)

Recherchez le fichier cqlshrc généralement placé dans le répertoire .cassandra.

Dans ce fichier,

[csv]
field_size_limit = 1000000000