airflow-dag-patterns
Construire des DAG Airflow de production avec des modèles éprouvés
Les DAG Airflow peuvent échouer lorsque la structure et les tentatives ne sont pas cohérentes. Cette compétence fournit des modèles clairs pour la conception, les capteurs, les tests et les alertes qui améliorent la fiabilité des pipelines.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "airflow-dag-patterns". Donnez-moi un modèle sûr pour un DAG ETL quotidien avec des tentatives, des tests et un rappel d'échec.
Résultat attendu:
- Utiliser default_args avec retries, retry_delay et backoff exponentiel
- Définir une structure linéaire start -> extract -> load -> end
- Ajouter un rappel d'échec de tâche pour signaler les erreurs
- Créer des tests DagBag pour les erreurs de chargement, le nombre de tâches et les dépendances
Utilisation de "airflow-dag-patterns". Comment créer des DAG dynamiquement à partir d'une configuration ?
Résultat attendu:
- Définir une liste PIPELINE_CONFIGS avec les champs name, schedule et source
- Créer une fonction factory create_dag qui prend un paramètre de configuration
- Utiliser globals()[f"dag_{name}"] pour enregistrer chaque DAG dynamiquement
- Appliquer le même modèle pour les pipelines clients, commandes et produits
Utilisation de "airflow-dag-patterns". Montrez-moi comment attendre les dépendances externes avant d'exécuter les tâches.
Résultat attendu:
- Utiliser S3KeySensor pour attendre les fichiers dans les buckets S3
- Utiliser ExternalTaskSensor pour attendre la fin d'un DAG amont
- Définir mode='reschedule' pour libérer les workers pendant l'attente
- Combiner plusieurs capteurs avec des dépendances avant le traitement
Audit de sécurité
SûrPure documentation skill containing only Airflow patterns and example code. No executable scripts, network calls, filesystem access, or environment variable reads. All code in SKILL.md is illustrative documentation for building data pipelines.
Facteurs de risque
🌐 Accès réseau (6)
⚡ Contient des scripts (1)
⚙️ Commandes externes (20)
Score de qualité
Ce que vous pouvez construire
Normaliser les DAG ETL
Créer des structures de DAG, des tentatives et des planifications cohérents pour les pipelines quotidiens et horaires.
Ajouter des protections opérationnelles
Appliquer des capteurs, des alertes et des rappels d'échec pour améliorer la fiabilité des pipelines.
Tester l'intégrité des DAG
Écrire des tests unitaires pour s'assurer que les DAG se chargent, n'ont pas de cycles et respectent les dépendances.
Essayez ces prompts
Créer un DAG Airflow quotidien avec des tâches de début, d'extraction et de fin utilisant PythonOperator et les default_args de base.
Rédiger un DAG TaskFlow API avec des tâches d'extraction, de transformation et de transfert qui passent les données entre elles en toute sécurité.
Montrer un modèle pour attendre les données S3 et un DAG amont avant le traitement.
Ajouter des rappels d'échec, des tentatives et des tâches de nettoyage qui s'exécutent en cas d'échec pour un DAG critique.
Bonnes pratiques
- Garder les tâches idempotentes et éviter la logique lourde dans les fichiers DAG
- Utiliser l'API TaskFlow et le mode reschedule des capteurs pour l'efficacité
- Ajouter des tests unitaires pour le chargement, la structure et les cycles des DAG
Éviter
- Utiliser depends_on_past pour la plupart des tâches
- Hardcoder les dates au lieu d'utiliser les macros Airflow
- Stocker un état global muable dans les fichiers DAG
Foire aux questions
Est-ce compatible avec Airflow 2.x ?
Quelles sont les limites des exemples ?
Peut-il s'intégrer avec mes DAG existants ?
Accède-t-il à mes données ou les stocke-t-il ?
Que faire si mon DAG échoue à l'importation ?
Comment se compare-t-il à l'aide au codage générique ?
Détails du développeur
Auteur
wshobsonLicence
MIT
Dépôt
https://github.com/wshobson/agents/tree/main/plugins/data-engineering/skills/airflow-dag-patternsRéf
main
Structure de fichiers
📄 SKILL.md