Téléchargement en masse d'images avec l'API de stockage et l'API de services

21

J'essaie de mettre en place un site qui stockera une grande quantité d'images (environ 50 000 au départ). La stratégie pour cela consistait à utiliser l'API de stockage et le stockage S3 pour gérer les coûts d'hébergement et l'API de services pour fournir une interface à un convertisseur / téléchargeur hors ligne pour obtenir les images sur le site.

Cela fonctionne plutôt bien. Si je télécharge une image manuellement en créant un nœud et en remplissant le champ d'image, elle est envoyée à Storage API et de bonnes choses se produisent. Je peux également télécharger des fichiers et créer des nœuds à partir du téléchargeur hors ligne via l'API des services XMLRPC.

Le problème est que les fichiers téléchargés avec l'uploader hors ligne ne sont pas traités par l'API de stockage. Actuellement, le script utilise la méthode API de services 'file.create' pour créer et objecter, puis les détails retournés sont utilisés pour remplir le champ d'image sur le nœud qui est créé ensuite. Je m'attends à ce qu'il y ait une meilleure façon de procéder, mais je ne suis pas sûr.

Mike Cooper
la source
très intéressant. Les miniatures sont-elles d'abord générées sur le système de fichiers local avant d'être transférées vers S3?
uwe
1
Quand les choses fonctionnent correctement, oui. Les miniatures sont générées, puis stockées dans une classe de stockage dont le conteneur initial est le système de fichiers. Lorsque cron s'exécute, ils sont transférés vers S3 et supprimés du système de fichiers.
Mike Cooper
Mike, le téléchargement massif d'images va-t-il être une tâche récurrente? Voulez-vous utiliser un téléchargeur hors ligne pour éviter le php et le serveur Web?
Tom
Il existe déjà une demande de fonctionnalité pour cela. Gardez un œil sur ce fil. Quand quelqu'un l'écrit, il finira forcément ici.
Queenvictoria

Réponses:

3

Toujours en début de développement, mais l' API de stockage est disponible :

L'API de stockage Populate fournit un mécanisme pour déplacer des fichiers existants dans des champs de fichiers / images vers le stockage. Le module nécessite le module API de stockage .

Pour un scénario où vous avez un site existant, sans prise en charge Cloud / CDN pour les actifs et que vous souhaitez utiliser l'API de stockage pour gérer le stockage et le service des fichiers.

paul.linney
la source