Création en masse d'objets de modèle dans django

J'ai beaucoup d'objets à enregistrer dans la base de données et je souhaite donc créer des instances de modèle avec cela.

Avec django, je peux créer toutes les instances de modèles, avec MyModel(data), puis je veux les sauvegarder toutes.

Actuellement, j'ai quelque chose comme ça:

for item in items:
    object = MyModel(name=item.name)
    object.save()

Je me demande si je peux enregistrer directement une liste d'objets, par exemple:

objects = []
for item in items:
    objects.append(MyModel(name=item.name))
objects.save_all()

Comment sauvegarder tous les objets en une seule transaction?

dès le développement de django, il existe en bulk_createtant que méthode de gestion d'objets qui prend en entrée un tableau d'objets créés à l'aide du constructeur de classe. consultez la documentation django

Utilisez la bulk_create()méthode. C'est désormais standard dans Django.

Exemple:

Entry.objects.bulk_create([
    Entry(headline="Django 1.0 Released"),
    Entry(headline="Django 1.1 Announced"),
    Entry(headline="Breaking: Django is awesome")
])

a travaillé pour moi pour utiliser la gestion manuelle des transactions pour la boucle (postgres 9.1):

from django.db import transaction
with transaction.commit_on_success():
    for item in items:
        MyModel.objects.create(name=item.name)

en fait ce n'est pas la même chose que l'insertion en masse d'une base de données `` native '', mais cela vous permet d'éviter / de réduire les opérations de transport / orms / requête SQL analyser les coûts

Voici comment créer en bloc des entités à partir d'un fichier séparé par colonne, en laissant de côté toutes les routines sans guillemets et sans échappement:

SomeModel(Model):
    @classmethod
    def from_file(model, file_obj, headers, delimiter):
        model.objects.bulk_create([
            model(**dict(zip(headers, line.split(delimiter))))
            for line in file_obj],
            batch_size=None)

pour une implémentation sur une seule ligne, vous pouvez utiliser une expression lambda dans une carte

map(lambda x:MyModel.objects.get_or_create(name=x), items)

Ici, lambda fait correspondre chaque élément de la liste d'éléments à x et crée un enregistrement de base de données si nécessaire.

Documentation Lambda

L'utilisation de create provoquera une requête par nouvel élément. Si vous souhaitez réduire le nombre de requêtes INSERT, vous devrez utiliser autre chose.

J'ai eu un certain succès en utilisant l'extrait Bulk Insert, même si l'extrait est assez ancien. Il y a peut-être des changements nécessaires pour qu'il fonctionne à nouveau.

http://djangosnippets.org/snippets/446/

Consultez ce billet de blog sur le module bulkops .

Sur mon application django 1.3, j'ai connu une accélération significative.

Le moyen le plus simple consiste à utiliser la createméthode Manager, qui crée et enregistre l'objet en une seule étape.

for item in items:
    MyModel.objects.create(name=item.name)