airflow-dag-patterns
Construye DAGs de Airflow para producción con patrones probados
Los DAGs de Airflow pueden fallar cuando la estructura y los reintentos no son consistentes. Esta habilidad proporciona patrones claros para diseño, sensores, pruebas y alertas que mejoran la confiabilidad de los pipelines.
Descargar el ZIP de la skill
Subir en Claude
Ve a Configuración → Capacidades → Skills → Subir skill
Activa y empieza a usar
Pruébalo
Usando "airflow-dag-patterns". Dame un patrón seguro para un DAG ETL diario con reintentos, pruebas y un callback de falla.
Resultado esperado:
- Usar default_args con retries, retry_delay y backoff exponencial
- Definir una estructura lineal inicio -> extracción -> carga -> fin
- Añadir un task failure callback para reportar errores
- Crear pruebas de DagBag para errores de carga, conteo de tareas y dependencias
Usando "airflow-dag-patterns". ¿Cómo creo DAGs dinámicamente desde configuración?
Resultado esperado:
- Definir una lista PIPELINE_CONFIGS con campos name, schedule y source
- Crear una función factory create_dag que tome un parámetro de configuración
- Usar globals()[f"dag_{name}"] para registrar cada DAG dinámicamente
- Aplicar el mismo patrón para pipelines de clientes, órdenes y productos
Usando "airflow-dag-patterns". Muéstrame cómo esperar dependencias externas antes de ejecutar tareas.
Resultado esperado:
- Usar S3KeySensor para esperar archivos en buckets de S3
- Usar ExternalTaskSensor para esperar finalización de DAG upstream
- Establecer mode='reschedule' para liberar workers mientras se espera
- Combinar múltiples sensores con dependencias antes del procesamiento
Auditoría de seguridad
SeguroPure documentation skill containing only Airflow patterns and example code. No executable scripts, network calls, filesystem access, or environment variable reads. All code in SKILL.md is illustrative documentation for building data pipelines.
Factores de riesgo
🌐 Acceso a red (6)
⚡ Contiene scripts (1)
⚙️ Comandos externos (20)
Puntuación de calidad
Lo que puedes crear
Estandarizar DAGs ETL
Crear estructuras de DAG consistentes, reintentos y horarios para pipelines diarios y por hora.
Añadir protecciones operacionales
Aplicar sensores, alertas y callbacks de falla para mejorar la confiabilidad del pipeline.
Probar integridad de DAG
Escribir pruebas unitarias para asegurar que los DAGs cargan, no tienen ciclos y respetan las dependencias.
Prueba estos prompts
Crear un DAG diario de Airflow con tareas de inicio, extracción y fin usando PythonOperator y default_args básico.
Redactar un DAG TaskFlow API con tareas de extracción, transformación y carga que pasen datos entre ellas de forma segura.
Mostrar un patrón para esperar datos en S3 y un DAG upstream antes del procesamiento.
Añadir callbacks de falla, reintentos y tareas de limpieza que se ejecuten en falla para un DAG crítico.
Mejores prácticas
- Mantener tareas idempotentes y evitar lógica pesada en archivos DAG
- Usar TaskFlow API y modo reschedule de sensores para eficiencia
- Añadir pruebas unitarias para carga de DAG, estructura y ciclos
Evitar
- Usar depends_on_past para la mayoría de las tareas
- Hardcodear fechas en lugar de macros de Airflow
- Almacenar estado global mutable en archivos DAG
Preguntas frecuentes
¿Es compatible con Airflow 2.x?
¿Cuáles son los límites de los ejemplos?
¿Puede integrarse con mis DAGs existentes?
¿Accede o almacena mis datos?
¿Qué pasa si mi DAG falla al importar?
¿Cómo se compara con ayuda genérica de programación?
Detalles del desarrollador
Autor
wshobsonLicencia
MIT
Repositorio
https://github.com/wshobson/agents/tree/main/plugins/data-engineering/skills/airflow-dag-patternsRef.
main
Estructura de archivos
📄 SKILL.md