Accéder aux données dans le sous-répertoire du package

J'écris un package python avec des modules qui doivent ouvrir des fichiers de données dans un ./data/sous - répertoire. À l'heure actuelle, j'ai les chemins d'accès aux fichiers codés en dur dans mes classes et mes fonctions. Je voudrais écrire un code plus robuste qui puisse accéder au sous-répertoire quel que soit l'endroit où il est installé sur le système de l'utilisateur.

J'ai essayé diverses méthodes, mais jusqu'à présent, je n'ai pas eu de chance. Il semble que la plupart des commandes "répertoire courant" renvoient le répertoire de l'interpréteur python du système, et non le répertoire du module.

Cela semble être un problème banal et courant. Pourtant, je n'arrive pas à comprendre. Une partie du problème est que mes fichiers de données ne sont pas des .pyfichiers, je ne peux donc pas utiliser les fonctions d'importation et autres.

Aucune suggestion?

À l'heure actuelle, mon répertoire de paquets ressemble à:

/
__init__.py
module1.py
module2.py
data/   
   data.txt

J'essaye d'accéder à data.txtpartir de module*.py!

Vous pouvez utiliser __file__pour obtenir le chemin d'accès au package, comme ceci:

import os
this_dir, this_filename = os.path.split(__file__)
DATA_PATH = os.path.join(this_dir, "data", "data.txt")
print open(DATA_PATH).read()

La manière standard de le faire est d'utiliser les packages setuptools et pkg_resources.

Vous pouvez mettre en page votre package selon la hiérarchie suivante et configurer le fichier de configuration du package pour qu'il pointe vos ressources de données, selon ce lien:

http://docs.python.org/distutils/setupscript.html#installing-package-data

Vous pouvez ensuite retrouver et utiliser ces fichiers en utilisant pkg_resources, selon ce lien:

http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access

import pkg_resources

DATA_PATH = pkg_resources.resource_filename('<package name>', 'data/')
DB_FILE = pkg_resources.resource_filename('<package name>', 'data/sqlite.db')

Fournir une solution qui fonctionne aujourd'hui. Utilisez définitivement cette API pour ne pas réinventer toutes ces roues.

Un vrai nom de fichier de système de fichiers est nécessaire. Les œufs zippés seront extraits dans un répertoire de cache:

from pkg_resources import resource_filename, Requirement

path_to_vik_logo = resource_filename(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Renvoie un objet de type fichier lisible pour la ressource spécifiée; il peut s'agir d'un fichier réel, d'un StringIO ou d'un objet similaire. Le flux est en «mode binaire», en ce sens que tous les octets contenus dans la ressource seront lus tels quels.

from pkg_resources import resource_stream, Requirement

vik_logo_as_stream = resource_stream(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Découverte de package et accès aux ressources à l'aide de pkg_resources

• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#resource-extraction
• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#basic-resource-access

Il est souvent inutile de faire une réponse qui détaille un code qui ne fonctionne pas tel quel , mais je pense que c'est une exception. Ajout de Python 3.7 importlib.resourcesqui est censé remplacer pkg_resources. Cela fonctionnerait pour accéder aux fichiers dans des packages qui n'ont pas de barres obliques dans leurs noms, c'est-à-dire

foo/
    __init__.py
    module1.py
    module2.py
    data/   
       data.txt
    data2.txt

c'est à dire que vous pouvez accéder à l' data2.txtintérieur du packagefoo avec par exemple

importlib.resources.open_binary('foo', 'data2.txt')

mais cela échouerait avec une exception pour

>>> importlib.resources.open_binary('foo', 'data/data.txt')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.7/importlib/resources.py", line 87, in open_binary
    resource = _normalize_path(resource)
  File "/usr/lib/python3.7/importlib/resources.py", line 61, in _normalize_path
    raise ValueError('{!r} must be only a file name'.format(path))
ValueError: 'data/data2.txt' must be only a file name

Cela ne peut pas être fixé , sauf en plaçant __init__.pydans data, puis l' utiliser comme un paquet:

importlib.resources.open_binary('foo.data', 'data.txt')

La raison de ce comportement est "c'est par conception" ; mais le design pourrait changer ...

Vous avez besoin d'un nom pour tout votre module, l'arborescence de répertoires qui vous est donnée ne répertorie pas ce détail, pour moi cela a fonctionné:

import pkg_resources
print(    
    pkg_resources.resource_filename(__name__, 'data/data.txt')
)

Notamment, setuptools ne semble pas résoudre les fichiers en fonction d'une correspondance de nom avec des fichiers de données compressés, vous devez donc inclure le data/préfixe à peu près quoi qu'il arrive . Vous pouvez utiliser os.path.join('data', 'data.txt)si vous avez besoin de séparateurs de répertoires alternatifs. En général, je ne trouve aucun problème de compatibilité avec les séparateurs de répertoires de style Unix codés en dur.

Je pense que j'ai cherché une réponse.

Je crée un module data_path.py, que j'importe dans mes autres modules contenant:

data_path = os.path.join(os.path.dirname(__file__),'data')

Et puis j'ouvre tous mes fichiers avec

open(os.path.join(data_path,'filename'), <param>)