Conversion de Django QuerySet en pandas DataFrame

Je vais convertir un Django QuerySet en pandas DataFramecomme suit:

qs = SomeModel.objects.select_related().filter(date__year=2012)
q = qs.values('date', 'OtherField')
df = pd.DataFrame.from_records(q)

Cela fonctionne, mais y a-t-il un moyen plus efficace?

import pandas as pd
import datetime
from myapp.models import BlogPost

df = pd.DataFrame(list(BlogPost.objects.all().values()))
df = pd.DataFrame(list(BlogPost.objects.filter(date__gte=datetime.datetime(2012, 5, 1)).values()))

# limit which fields
df = pd.DataFrame(list(BlogPost.objects.all().values('author', 'date', 'slug')))

Voici comment je fais la même chose. L'ajout le plus utile est de spécifier les champs qui vous intéressent. Si ce n'est qu'un sous-ensemble des champs disponibles qui vous intéresse, cela donnerait une amélioration des performances, j'imagine.

Django Pandas résout cela plutôt proprement: https://github.com/chrisdev/django-pandas/

Depuis le README:

class MyModel(models.Model):
    full_name = models.CharField(max_length=25)
    age = models.IntegerField()
    department = models.CharField(max_length=3)
    wage = models.FloatField()

from django_pandas.io import read_frame
qs = MyModel.objects.all()
df = read_frame(qs)

Convertir le jeu de requêtes sur values_list () sera plus efficace en mémoire que sur values ​​() directement. Puisque la méthode values ​​() renvoie un ensemble de requêtes de liste de dict (paires clé: valeur), values_list () renvoie uniquement la liste de tuple (données pures). Cela économisera environ 50% de mémoire, il suffit de définir les informations de la colonne lorsque vous appelez pd.DataFrame ().

Méthode 1:
    queryset = models.xxx.objects.values ​​("A", "B", "C", "D")
    df = pd.DataFrame (list (queryset)) ## consomme beaucoup de mémoire
    #df = pd.DataFrame.from_records (queryset) ## fonctionne mais pas beaucoup de changement sur l'utilisation de la mémoire

Méthode 2:
    queryset = models.xxx.objects.values_list ("A", "B", "C", "D")
    df = pd.DataFrame (list (queryset), columns = ["A", "B", "C", "D"]) ## cela économisera 50% de mémoire
    #df = pd.DataFrame.from_records (queryset, columns = ["A", "B", "C", "D"]) ## Cela ne fonctionne pas. Crashed with datatype is queryset not list.

J'ai testé cela sur mon projet avec> 1 million de données de lignes, la mémoire de pointe est réduite de 2G à 1G.

Du point de vue de Django (je ne suis pas familier avec pandas) c'est très bien. Ma seule préoccupation est que si vous avez un très grand nombre d'enregistrements, vous risquez de rencontrer des problèmes de mémoire. Si tel était le cas, quelque chose du genre de cet itérateur de jeu de requêtes efficace en mémoire serait nécessaire. (L'extrait tel qu'il est écrit peut nécessiter une réécriture pour permettre votre utilisation intelligente de .values()).

Vous pouvez peut-être utiliser model_to_dict

import datetime
from django.forms import model_to_dict
pallobjs = [ model_to_dict(pallobj) for pallobj in PalletsManag.objects.filter(estado='APTO_PARA_VENTA')] 
df = pd.DataFrame(pallobjs)
df.head()