airflow-dag-patterns
검증된 패턴으로 프로덕션 Airflow DAG 구축
También disponible en: sickn33
Airflow DAG은 구조와 재시도가 일관되지 않으면 실패할 수 있습니다. 이 스킬은 설계, 센서, 테스트 및 알림에 대한 명확한 패턴을 제공하여 파이프라인 신뢰성을 향상시킵니다.
Descargar el ZIP de la skill
Subir en Claude
Ve a Configuración → Capacidades → Skills → Subir skill
Activa y empieza a usar
Pruébalo
Usando "airflow-dag-patterns". 재시도, 테스트 및 실패 콜백이 있는 일상적인 ETL DAG에 대한 안전한 패턴 제공
Resultado esperado:
- 재시도, retry_delay 및 지수 백오프와 함께 default_args 사용
- 선형 시작 -> 추출 -> 로드 -> 종료 구조 정의
- 오류를 보고하는 작업 실패 콜백 추가
- 로드 오류, 작업 수 및 종속성에 대한 DagBag 테스트 생성
Usando "airflow-dag-patterns". 구성에서 DAG을 동적으로 어떻게 생성하나요?
Resultado esperado:
- 이름, 일정 및 소스 필드가 있는 PIPELINE_CONFIGS 목록 정의
- config 매개변수를 사용하는 create_dag 팩토리 함수 생성
- globals()[f"dag_{name}"]을 사용하여 각 DAG을 동적으로 등록
- customers, orders 및 products 파이프라인에 동일한 패턴 적용
Usando "airflow-dag-patterns". 작업 실행 전 외부 종속성을 기다리는 방법을 보여주세요
Resultado esperado:
- S3 버킷에서 파일을 기다리기 위해 S3KeySensor 사용
- 상류 DAG 완료를 기다리기 위해 ExternalTaskSensor 사용
- 대기 중 작업을 위해 mode='reschedule' 설정
- 처리기 전에 종속성과 함께 여러 센서 결합
Auditoría de seguridad
SeguroPure documentation skill containing only Airflow patterns and example code. No executable scripts, network calls, filesystem access, or environment variable reads. All code in SKILL.md is illustrative documentation for building data pipelines.
Factores de riesgo
🌐 Acceso a red (6)
⚡ Contiene scripts (1)
⚙️ Comandos externos (20)
Puntuación de calidad
Lo que puedes crear
ETL DAG 표준화
일일 및 시간별 파이프라인을 위한 일관된 DAG 구조, 재시도 및 일정 생성
운영 안전장치 추가
센서, 알림 및 실패 콜백을 적용하여 파이프라인 신뢰성 향상
DAG 무결성 테스트
DAG이 로드되고, 순환이 없으며, 종속성을 존중하는지 확인하는 단위 테스트 작성
Prueba estos prompts
PythonOperator와 기본 default_args를 사용하여 시작, 추출 및 종료 작업이 포함된 일일 Airflow DAG 생성
추출, 변환 및 로드 작업이 포함되어 데이터를 안전하게 전달하는 TaskFlow API DAG 초안 작성
S3 데이터 및 상류 DAG가 도착할 때까지 기다리는 패턴 표시
실패 시 실행되는 실패 콜백, 재시도 및 정리 작업 추가
Mejores prácticas
- 작업을 멱등으로 유지하고 DAG 파일에서 무거운 로직 피하기
- 효율을 위해 TaskFlow API 및 센서 재일정 모드 사용
- DAG 로딩, 구조 및 순환에 대한 단위 테스트 추가
Evitar
- 대부분의 작업에 depends_on_past 사용
- Airflow 매크로 대신 날짜 하드코딩
- DAG 파일에서 변경 가능한 전역 상태 저장
Preguntas frecuentes
Airflow 2.x와 호환되나요?
예제의 한계는 무엇인가요?
기존 DAG과 통합할 수 있나요?
내 데이터에 접근하거나 저장하나요?
DAG을 가져오지 못하면 어떻게 해야 하나요?
일반적인 코딩 도움과 비교하면 어떻게 되나요?
Detalles del desarrollador
Autor
wshobsonLicencia
MIT
Repositorio
https://github.com/wshobson/agents/tree/main/plugins/data-engineering/skills/airflow-dag-patternsRef.
main
Estructura de archivos
📄 SKILL.md