Comment exécuter la base de données de test de Django uniquement en mémoire?

Mes tests unitaires Django prennent beaucoup de temps à s'exécuter, je cherche donc des moyens d'accélérer cela. J'envisage d'installer un SSD , mais je sais que cela a aussi ses inconvénients. Bien sûr, il y a des choses que je pourrais faire avec mon code, mais je recherche une solution structurelle. Même l'exécution d'un seul test est lente car la base de données doit être reconstruite / migrée vers le sud à chaque fois. Alors voici mon idée ...

Puisque je sais que la base de données de test sera toujours assez petite, pourquoi ne puis-je pas simplement configurer le système pour toujours garder toute la base de données de test dans la RAM? Ne touchez jamais du tout au disque. Comment configurer cela dans Django? Je préférerais continuer à utiliser MySQL car c'est ce que j'utilise en production, mais si SQLite  3 ou autre chose rend cela facile, j'irais dans cette direction.

SQLite ou MySQL a-t-il une option pour s'exécuter entièrement en mémoire? Il devrait être possible de configurer un disque RAM, puis de configurer la base de données de test pour y stocker ses données, mais je ne sais pas comment dire à Django / MySQL d'utiliser un répertoire de données différent pour une certaine base de données, d'autant plus qu'elle ne cesse de s'effacer et recréé chaque essai. (Je suis sur un Mac FWIW.)

Si vous définissez votre moteur de base de données sur sqlite3 lorsque vous exécutez vos tests, Django utilisera une base de données en mémoire .

J'utilise un code comme celui-ci dans mon settings.pypour définir le moteur sur sqlite lors de l'exécution de mes tests:

if 'test' in sys.argv:
    DATABASE_ENGINE = 'sqlite3'

Ou dans Django 1.2:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'sqlite3'}

Et enfin dans Django 1.3 et 1.4:

if 'test' in sys.argv:
    DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

(Le chemin complet vers le backend n'est pas strictement nécessaire avec Django 1.3, mais rend le paramétrage en avant compatible.)

Vous pouvez également ajouter la ligne suivante, au cas où vous rencontriez des problèmes avec les migrations Sud:

    SOUTH_TESTS_MIGRATE = False

Je crée généralement un fichier de paramètres séparé pour les tests et je l'utilise dans la commande de test, par exemple

python manage.py test --settings=mysite.test_settings myapp

Il présente deux avantages:

1. Vous n'avez pas à vérifier testou un tel mot magique dans sys.argv, test_settings.pypeut simplement être

   from settings import *
   
   # make tests faster
   SOUTH_TESTS_MIGRATE = False
   DATABASES['default'] = {'ENGINE': 'django.db.backends.sqlite3'}

   Vous pouvez également l'ajuster davantage à vos besoins, en séparant proprement les paramètres de test des paramètres de production.

2. Un autre avantage est que vous pouvez exécuter des tests avec le moteur de base de données de production au lieu de sqlite3 en évitant les bogues subtils, donc lors du développement de l'utilisation

   python manage.py test --settings=mysite.test_settings myapp

   et avant de valider le code, exécutez une fois

   python manage.py test myapp

   juste pour être sûr que tous les tests réussissent vraiment.

MySQL prend en charge un moteur de stockage appelé "MEMORY", que vous pouvez configurer dans votre base de données config ( settings.py) comme tel:

    'USER': 'root',                      # Not used with sqlite3.
    'PASSWORD': '',                  # Not used with sqlite3.
    'OPTIONS': {
        "init_command": "SET storage_engine=MEMORY",
    }

Notez que le moteur de stockage MEMORY ne prend pas en charge les colonnes blob / texte, donc si vous l'utilisez, django.db.models.TextFieldcela ne fonctionnera pas pour vous.

Je ne peux pas répondre à votre question principale, mais il y a plusieurs choses que vous pouvez faire pour accélérer les choses.

Tout d'abord, assurez-vous que votre base de données MySQL est configurée pour utiliser InnoDB. Ensuite, il peut utiliser des transactions pour restaurer l'état de la base de données avant chaque test, ce qui, selon mon expérience, a conduit à une accélération massive. Vous pouvez passer une commande d'initialisation de la base de données dans votre settings.py (syntaxe Django 1.2):

DATABASES = {
    'default': {
            'ENGINE':'django.db.backends.mysql',
            'HOST':'localhost',
            'NAME':'mydb',
            'USER':'whoever',
            'PASSWORD':'whatever',
            'OPTIONS':{"init_command": "SET storage_engine=INNODB" } 
        }
    }

Deuxièmement, vous n'avez pas besoin d'exécuter les migrations Sud à chaque fois. Définissez SOUTH_TESTS_MIGRATE = Falsedans votre settings.py et la base de données sera créée avec syncdb simple, ce qui sera beaucoup plus rapide que d'exécuter toutes les migrations historiques.

Vous pouvez faire un double ajustement:

• utiliser des tables transactionnelles: l'état initial des fixtures sera défini à l'aide de la restauration de la base de données après chaque TestCase.
• mettez votre répertoire de données de base de données sur le disque virtuel: vous gagnerez beaucoup en ce qui concerne la création de la base de données et l'exécution du test sera plus rapide.

J'utilise les deux trucs et je suis plutôt content.

Comment le configurer pour MySQL sur Ubuntu:

$ sudo service mysql stop
$ sudo cp -pRL /var/lib/mysql /dev/shm/mysql

$ vim /etc/mysql/my.cnf
# datadir = /dev/shm/mysql
$ sudo service mysql start

Attention, c'est juste pour le test, après le redémarrage de votre base de données depuis la mémoire est perdue!

Une autre approche: avoir une autre instance de MySQL exécutée dans un tempfs qui utilise un disque RAM. Instructions dans ce billet de blog: Accélérer MySQL pour les tests dans Django .

Avantages:

• Vous utilisez exactement la même base de données que celle utilisée par votre serveur de production
• pas besoin de changer votre configuration mysql par défaut

En prolongeant la réponse d'Anurag, j'ai simplifié le processus en créant les mêmes test_settings et en ajoutant ce qui suit à manage.py

if len(sys.argv) > 1 and sys.argv[1] == "test":
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.test_settings")
else:
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mysite.settings")

semble plus propre puisque sys est déjà importé et manage.py n'est utilisé que via la ligne de commande, donc pas besoin d'encombrer les paramètres

Utilisez ci-dessous dans votre setting.py

DATABASES['default']['ENGINE'] = 'django.db.backends.sqlite3'