Problème Existe-t-il un moyen dans Airflow de créer un flux de travail tel que le nombre de tâches B. * soit inconnu jusqu'à la fin de la tâche A? J'ai regardé les subdags mais il semble que cela ne puisse fonctionner qu'avec un ensemble statique de tâches qui doivent être déterminées lors de la...
après une nouvelle installation à l'aide de pip install apache-airflow, toute tentative d'exécution de flux d'air se termine par une erreur d'importation python: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory...
Installation effectuée correctement. db lancé correctement et essayant de démarrer le serveur Web affiche l'erreur suivante. J'ai tout réinstallé mais ça ne fonctionne toujours pas. J'apprécierai si quelqu'un m'aide. Sortie console: $:~/airflow# airflow webserver -p 8080 ____________ _____________...
Fermé. Cette question n'est pas reproductible ou a été provoquée par des fautes de frappe . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question pour qu'elle soit sur le sujet de Stack Overflow. Fermé il y a 3 mois . J'obtiens au-dessus de...
J'utilise en utilisant https://github.com/helm/charts/tree/master/stable/airflow helm chart et en construisant une puckle/docker-airflowimage v1.10.8 avec kubernetes installé dessus et en utilisant cette image dans le graphique helm, mais je continue à obtenir File "/usr/local/bin/airflow", line...
J'essaie de déplacer des fichiers s3 d'un compartiment "sans suppression" (ce qui signifie que je ne peux pas supprimer les fichiers) vers GCS en utilisant airflow. Je ne peux pas garantir que de nouveaux fichiers seront présents tous les jours, mais je dois vérifier chaque jour de nouveaux...
J'ai un scénario comme ci-dessous: Déclenchez a Task 1et Task 2uniquement lorsque de nouvelles données sont disponibles pour eux dans la table source (Athena). Le déclenchement de Task1 et Task2 devrait se produire lors d'une nouvelle partition de données dans une journée. Déclencher Task...