Questions marquées «airflow-scheduler»

Le planificateur de flux d'air ne démarre pas avec l'exécuteur Kubernetes

J'utilise en utilisant https://github.com/helm/charts/tree/master/stable/airflow helm chart et en construisant une puckle/docker-airflowimage v1.10.8 avec kubernetes installé dessus et en utilisant cette image dans le graphique helm, mais je continue à obtenir File "/usr/local/bin/airflow", line...

Comment déclencher une tâche Airflow uniquement lorsque de nouvelles partitions / données sont disponibles dans la table AWS athena en utilisant DAG en python?

J'ai un scénario comme ci-dessous: Déclenchez a Task 1et Task 2uniquement lorsque de nouvelles données sont disponibles pour eux dans la table source (Athena). Le déclenchement de Task1 et Task2 devrait se produire lors d'une nouvelle partition de données dans une journée. Déclencher Task...