setuptools: emplacement du dossier de données du package

J'utilise setuptools pour distribuer mon package python. Maintenant, je dois distribuer des fichiers de données supplémentaires.

D'après ce que j'ai recueilli dans la documentation de setuptools, j'ai besoin d'avoir mes fichiers de données dans le répertoire du package. Cependant, je préférerais avoir mes fichiers de données dans un sous-répertoire dans le répertoire racine.

Ce que je voudrais éviter:

/ #root
|- src/
|  |- mypackage/
|  |  |- data/
|  |  |  |- resource1
|  |  |  |- [...]
|  |  |- __init__.py
|  |  |- [...]
|- setup.py

Ce que j'aimerais avoir à la place:

/ #root
|- data/
|  |- resource1
|  |- [...]
|- src/
|  |- mypackage/
|  |  |- __init__.py
|  |  |- [...]
|- setup.py

Je ne me sens tout simplement pas à l'aise avec autant de sous-répertoires, si ce n'est pas essentiel. Je n'arrive pas à trouver une raison pour laquelle je / dois / pour mettre les fichiers dans le répertoire du package. Il est également fastidieux de travailler avec autant de sous-répertoires imbriqués IMHO. Ou y a-t-il une bonne raison qui justifierait cette restriction?

Option 1: installer en tant que données de package

Le principal avantage de placer des fichiers de données à la racine de votre package Python est que cela vous permet d'éviter de vous soucier de l'emplacement des fichiers sur le système d'un utilisateur, qui peut être Windows, Mac, Linux, une plate-forme mobile ou à l'intérieur d'un œuf. Vous pouvez toujours trouver le répertoire datarelatif à la racine de votre package Python, peu importe où et comment il est installé.

Par exemple, si j'ai une mise en page de projet comme celle-ci:

project/
    foo/
        __init__.py
        data/
            resource1/
                foo.txt

Vous pouvez ajouter une fonction à __init__.pypour localiser un chemin absolu vers un fichier de données:

import os

_ROOT = os.path.abspath(os.path.dirname(__file__))
def get_data(path):
    return os.path.join(_ROOT, 'data', path)

print get_data('resource1/foo.txt')

Les sorties:

/Users/pat/project/foo/data/resource1/foo.txt

Une fois le projet installé en tant qu'œuf, le chemin d'accès datachangera, mais le code n'a pas besoin de changer:

/Users/pat/virtenv/foo/lib/python2.6/site-packages/foo-0.0.0-py2.6.egg/foo/data/resource1/foo.txt

Option 2: installer à un emplacement fixe

L'alternative serait de placer vos données en dehors du package Python, puis soit:

1. Avoir l'emplacement de datatransmis via un fichier de configuration, des arguments de ligne de commande ou
2. Intégrez l'emplacement dans votre code Python.

C'est beaucoup moins souhaitable si vous prévoyez de distribuer votre projet. Si vous voulez vraiment faire cela, vous pouvez installer votre dataoù vous le souhaitez sur le système cible en spécifiant la destination de chaque groupe de fichiers en passant une liste de tuples:

from setuptools import setup
setup(
    ...
    data_files=[
        ('/var/data1', ['data/foo.txt']),
        ('/var/data2', ['data/bar.txt'])
        ]
    )

Mise à jour : Exemple de fonction shell pour grep récursivement les fichiers Python:

atlas% function grep_py { find . -name '*.py' -exec grep -Hn $* {} \; }
atlas% grep_py ": \["
./setup.py:9:    package_data={'foo': ['data/resource1/foo.txt']}

Je pense avoir trouvé un bon compromis qui vous permettra de conserver la structure suivante:

/ #root
|- data/
|  |- resource1
|  |- [...]
|- src/
|  |- mypackage/
|  |  |- __init__.py
|  |  |- [...]
|- setup.py

Vous devez installer les données en tant que package_data, pour éviter les problèmes décrits dans la réponse samplebias, mais pour conserver la structure du fichier, vous devez ajouter à votre setup.py:

try:
    os.symlink('../../data', 'src/mypackage/data')
    setup(
        ...
        package_data = {'mypackage': ['data/*']}
        ...
    )
finally:
    os.unlink('src/mypackage/data')

De cette façon, nous créons la structure appropriée «juste à temps», et maintenons notre arbre source organisé.

Pour accéder à ces fichiers de données dans votre code, vous utilisez `` simplement '':

data = resource_filename(Requirement.parse("main_package"), 'mypackage/data')

Je n'aime toujours pas avoir à spécifier «mypackage» dans le code, car les données ne peuvent absolument rien avoir à faire avec ce module, mais je suppose que c'est un bon compromis.

Je pense que vous pouvez fondamentalement donner n'importe quoi en argument * data_files * à setup () .