airflow-dag-patterns
Criar DAGs do Airflow para produção com padrões comprovados
DAGs do Airflow podem falhar quando a estrutura e as retentativas não são consistentes. Esta skill fornece padrões claros para design, sensores, testes e alertas que melhoram a confiabilidade dos pipelines.
Baixar o ZIP da skill
Upload no Claude
Vá em Configurações → Capacidades → Skills → Upload skill
Ative e comece a usar
Testar
A utilizar "airflow-dag-patterns". Give me a safe pattern for a daily ETL DAG with retries, testing, and a failure callback.
Resultado esperado:
- Use default_args with retries, retry_delay, and exponential backoff
- Define a linear start -> extract -> load -> end structure
- Add a task failure callback to report errors
- Create DagBag tests for load errors, task count, and dependencies
A utilizar "airflow-dag-patterns". How do I create DAGs dynamically from configuration?
Resultado esperado:
- Define a PIPELINE_CONFIGS list with name, schedule, and source fields
- Create a create_dag factory function that takes a config parameter
- Use globals()[f"dag_{name}"] to register each DAG dynamically
- Apply the same pattern for customers, orders, and products pipelines
A utilizar "airflow-dag-patterns". Show me how to wait for external dependencies before running tasks.
Resultado esperado:
- Use S3KeySensor to wait for files in S3 buckets
- Use ExternalTaskSensor to wait for upstream DAG completion
- Set mode='reschedule' to free workers while waiting
- Combine multiple sensors with dependencies before processing
Auditoria de Segurança
SeguroPure documentation skill containing only Airflow patterns and example code. No executable scripts, network calls, filesystem access, or environment variable reads. All code in SKILL.md is illustrative documentation for building data pipelines.
Fatores de risco
🌐 Acesso à rede (6)
⚡ Contém scripts (1)
⚙️ Comandos externos (20)
Pontuação de qualidade
O Que Você Pode Construir
Padronizar DAGs de ETL
Criar estruturas de DAG consistentes, retentativas e agendamentos para pipelines diários e por hora.
Adicionar salvaguardas operacionais
Aplicar sensores, alertas e callbacks de falha para melhorar a confiabilidade do pipeline.
Testar integridade de DAG
Escrever testes unitários para garantir que DAGs carregam, não têm ciclos e respeitam dependências.
Tente Estes Prompts
Criar uma DAG diária do Airflow com tarefas start, extract e end usando PythonOperator e default_args básicos.
Esboçar uma DAG TaskFlow API com tarefas extract, transform e load que passam dados entre elas com segurança.
Mostrar um padrão para esperar dados no S3 e uma DAG upstream antes do processamento.
Adicionar callbacks de falha, retentativas e tarefas de cleanup que executam em falha para uma DAG crítica.
Melhores Práticas
- Manter tarefas idempotentes e evitar lógica pesada em arquivos DAG
- Usar TaskFlow API e modo reschedule de sensores para eficiência
- Adicionar testes unitários para carregamento, estrutura e ciclos de DAGs
Evitar
- Usar depends_on_past para a maioria das tarefas
- Codificar datas fixamente em vez de usar macros do Airflow
- Armazenar estado global mutável em arquivos DAG
Perguntas Frequentes
É compatível com Airflow 2.x?
Quais são os limites dos exemplos?
Pode integrar com minhas DAGs existentes?
Acessa ou armazena meus dados?
E se minha DAG falhar ao importar?
Como se compara a ajuda genérica de codificação?
Detalhes do Desenvolvedor
Autor
wshobsonLicença
MIT
Repositório
https://github.com/wshobson/agents/tree/main/plugins/data-engineering/skills/airflow-dag-patternsReferência
main
Estrutura de arquivos
📄 SKILL.md