Compétences airflow-dag-patterns
📦

airflow-dag-patterns

Sûr

프로덕션 패턴을 사용한 Apache Airflow DAG 구축

Également disponible depuis: wshobson

프로덕션 준비가 된 Airflow DAG 를 만들려면 오퍼레이터, 센서, 오류 처리 패턴을 이해해야 합니다. 이 스킬은 데이터 파이프라인 오케스트레이션을 위한 검증된 템플릿과 모범 사례를 제공합니다.

Prend en charge: Claude Codex Code(CC)
🥉 75 Bronze
1

Télécharger le ZIP du skill

2

Importer dans Claude

Allez dans Paramètres → Capacités → Skills → Importer un skill

3

Activez et commencez à utiliser

Tester

Utilisation de "airflow-dag-patterns". 추출, 변환, 적재 작업을 포함하는 데일리 ETL DAG 생성

Résultat attendu:

  • 스케줄 '0 6 * * *' (매일 오전 6 시) 으로 DAG 생성됨
  • 3 개의 PythonOperator 작업: extract_data, transform_data, load_data
  • 작업 종속성: extract >> transform >> load
  • 재시도 구성: 5 분 지수 백오프로 3 회 재시도
  • 작업 실패 시 이메일 알림 구성됨

Utilisation de "airflow-dag-patterns". 처리 전 S3 파일을 대기하는 센서 추가

Résultat attendu:

  • 2 시간 타임아웃과 5 분 poke 간격으로 S3KeySensor 추가됨
  • 워커 슬롯 확보를 위해 mode='reschedule'로 센서 구성됨
  • 센서의 하위 종속성으로 처리 작업 설정됨
  • 이제 DAG 는 실행 전 파일 가용성을 대기함

Audit de sécurité

Sûr
v1 • 2/24/2026

Static analysis detected 41 patterns but all are false positives. Backtick characters are markdown formatting for code blocks, not shell execution. globals() usage is standard Airflow pattern for dynamic DAG generation. URLs are documentation references. This is educational documentation with no executable security risks.

2
Fichiers analysés
554
Lignes analysées
0
résultats
1
Total des audits
Aucun problème de sécurité trouvé
Audité par: claude

Score de qualité

38
Architecture
100
Maintenabilité
87
Contenu
50
Communauté
100
Sécurité
100
Conformité aux spécifications

Ce que vous pouvez construire

ETL 파이프라인을 구축하는 데이터 엔지니어링 팀

적절한 오류 처리 및 모니터링을 갖춘 소스에서 데이터 추출, 변환, 웨어하우스 적재를 위한 스케줄링된 데이터 파이프라인을 생성합니다.

리포트 생성을 오케스트레이션하는 분석 팀

데이터 가용성 및 상위 처리 완료에 종속적인 자동화된 리포트 생성 작업을 스케줄링합니다.

정기적으로 모델을 학습하는 ML 엔지니어

데이터 검증, 모델 학습, 배포 단계를 포함한 머신러닝 학습 파이프라인을 오케스트레이션합니다.

Essayez ces prompts

기본 DAG 생성 
CSV 파일에서 데이터를 추출하여 변환하고 데이터베이스에 적재하는 데일리 오전 6 시에 실행되는 Airflow DAG 를 생성하세요. 재시도를 포함한 기본 오류 처리를 포함하세요.
동적 DAG 생성 
서로 다른 데이터 소스를 처리하기 위한 구성 목록에서 여러 개의 유사한 DAG 를 생성하세요. 각 DAG 는 동일한 구조를 가지지만 서로 다른 스케줄과 소스 경로를 가져야 합니다.
데이터 품질 검증을 통한 분기 파이프라인 
데이터 품질 지표를 확인하고 품질 점수에 따라 다른 처리 경로로 분기하는 DAG 를 생성하세요. 분기 후 적절한 조인 로직을 포함하세요.
외부 종속성을 위한 센서 기반 
S3 에 파일 도착을 대기하고, 다른 DAG 완료를 기다리며, 처리 전 API 헬스 엔드포인트를 모니터링하는 DAG 를 구축하세요. 센서에 reschedule 모드를 사용하세요.

Bonnes pratiques

  • 더 깔끔한 코드와 작업 간 자동 XCom 전달을 위해 TaskFlow API 를 사용하세요
  • 모든 작업이 멱등성을 가지도록 설계하여 재시도 시 데이터 중복이 발생하지 않도록 하세요
  • 작업에 적절한 타임아웃을 설정하고 센서에는 reschedule 모드를 사용하여 워커 리소스를 확보하세요

Éviter

  • depends_on_past=True 사용으로 불필요한 병목 현상이 발생하고 병렬 실행이 차단됨
  • 실행 날짜를 위한 {{ ds }} 와 같은 Airflow 매크로 대신 날짜나 값을 하드코딩함
  • 별도 모듈에서 임포트하는 대신 DAG 파일에 무거운 비즈니스 로직을 직접 배치함

Foire aux questions

프로덕션에 배포하기 전에 DAG 를 어떻게 테스트하나요?
단위 테스트에서 DagBag 클래스를 사용하여 DAG 를 로드하고 검증하세요. pytest 로 개별 작업 함수를 별도로 테스트하세요. catchup=False 로 로컬 Airflow 인스턴스에서 DAG 를 실행하여 실행 흐름을 검증하세요.
오퍼레이터와 센서의 차이점은 무엇인가요?
오퍼레이터는 Python 코드 실행이나 쿼리 수행과 같은 작업을 수행합니다. 센서는 파일 가용성, API 응답, 다른 DAG 완료와 같은 외부 조건을 대기하는 특수 오퍼레이터입니다.
Airflow 에서 작업 간에 데이터를 어떻게 전달하나요?
작업 함수에서 값을 반환하여 소량의 데이터에는 XCom 을 사용하세요. TaskFlow API 는 XCom 을 자동으로 처리합니다. 대량 데이터의 경우 S3 와 같은 외부 저장소에 저장하고 작업 간 참조를 전달하세요.
작업이 실패 시 재시도되지 않는 이유는 무엇인가요?
default_args 또는 개별 작업 정의에 retries 와 retry_delay 를 설정하세요. 작업이 스케줄링 단계에서 실패하지 않는지 확인하세요. 점진적인 지연 증가를 위해 retry_exponential_backoff 를 검증하세요.
다른 DAG 에 대한 DAG 종속성을 어떻게 처리하나요?
상위 DAG 의 특정 작업 완료를 대기하기 위해 ExternalTaskSensor 를 사용하세요. execution_date_fn 을 구성하여 종속 DAG 간에 올바른 실행 날짜를 일치시키세요.
정리 작업에는 어떤 트리거 규칙을 사용해야 하나요?
상위 성공 또는 실패와 관계없이 실행되어야 하는 정리를 위해 TriggerRule.ALL_DONE 을 사용하세요. 모든 상위 작업이 성공한 경우에만 실행되어야 하는 작업을 위해 TriggerRule.ALL_SUCCESS 를 사용하세요.

Détails du développeur

Auteur

sickn33

Licence

MIT

Dépôt

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/airflow-dag-patterns

Réf

main

Structure de fichiers

📁 resources/

📄 implementation-playbook.md

📄 SKILL.md