スキル airflow-dag-patterns
🌀

airflow-dag-patterns

安全 🌐 ネットワークアクセス⚡ スクリプトを含む⚙️ 外部コマンド

本番用Airflow DAGの構築実証済みパターン

Airflow DAGは構造とリトライが一貫していないと失敗する可能性があります。このスキルは、設計、センサー、テスト、アラートに関する明確なパターンを提供し、パイプラインの信頼性を向上させます。

対応: Claude Codex Code(CC)
📊 69 十分
1

スキルZIPをダウンロード

2

Claudeでアップロード

設定 → 機能 → スキル → スキルをアップロードへ移動

3

オンにして利用開始

テストする

「airflow-dag-patterns」を使用しています。 リトライ、テスト、障害コールバックを備えた安全な日次ETL DAGのパターンを教えてください。

期待される結果:

  • リトライ、retry_delay、指数バックオフを備えたdefault_argsを使用
  • 線形の開始 -> 抽出 -> ロード -> 終了構造を定義
  • タスク障害コールバックを追加してエラーを報告
  • ロードエラー、タスク数、依存関係のためのDagBagテストを作成

「airflow-dag-patterns」を使用しています。 構成から動的にDAGを作成するにはどうすればよいですか？

期待される結果:

  • name、schedule、sourceフィールドを持つPIPELINE_CONFIGSリストを定義
  • configパラメータを受け取るcreate_dagファクトリ関数を作成
  • 各DAGを動的に登録するためにglobals()[f"dag_{name}"]を使用
  • 顧客、オーダー、製品パイプラインに同じパターンを適用

「airflow-dag-patterns」を使用しています。 タスク実行前に外部依存関係を待機する方法を教えてください。

期待される結果:

  • S3バケット内のファイルを待機するためにS3KeySensorを使用
  • アップストリームDAG完了を待機するためにExternalTaskSensorを使用
  • 待機中にワーカーを解放するためにmode='reschedule'を設定
  • 処理前に複数のセンサーと依存関係を組み合わせる

セキュリティ監査

安全
v4 • 1/17/2026

Pure documentation skill containing only Airflow patterns and example code. No executable scripts, network calls, filesystem access, or environment variable reads. All code in SKILL.md is illustrative documentation for building data pipelines.

2
スキャンされたファイル
701
解析された行数
3
検出結果
4
総監査数

リスク要因

🌐 ネットワークアクセス (6)
skill-report.json:6 SKILL.md:332 SKILL.md:332 SKILL.md:521 SKILL.md:522 SKILL.md:523
⚡ スクリプトを含む (1)
SKILL.md:227
⚙️ 外部コマンド (20)
SKILL.md:32-45 SKILL.md:45-49 SKILL.md:49-93 SKILL.md:93-99 SKILL.md:99-155 SKILL.md:155-159 SKILL.md:159-228 SKILL.md:228-232 SKILL.md:232-285 SKILL.md:285-289 SKILL.md:289-349 SKILL.md:349-353 SKILL.md:353-428 SKILL.md:428-432 SKILL.md:432-475 SKILL.md:475-479 SKILL.md:479-501 SKILL.md:501-508 SKILL.md:508-513 SKILL.md:513-514
監査者: claude 監査履歴を表示 →

品質スコア

38
アーキテクチャ
100
保守性
85
コンテンツ
22
コミュニティ
100
セキュリティ
87
仕様準拠

作れるもの

ETL DAGの標準化

日次および時間単位パイプラインの一貫したDAG構造、リトライ、スケジュールを作成します。

運用の保護機能を追加

センサー、アラート、障害コールバックを適用してパイプラインの信頼性を向上させます。

DAGの整合性をテスト

DAGが読み込み可能であること、サイクルがなく、依存関係を尊重していることを保証するユニットテストを記述します。

これらのプロンプトを試す

シンプルなDAGを開始 
PythonOperatorと基本的なdefault_argsを使用して開始、抽出、終了タスクを含む日次Airflow DAGを作成してください。
TaskFlow APIを使用 
抽出、変換、ロードタスク間でデータを安全に渡すTaskFlow API DAGのドラフトを作成してください。
センサーと待機の追加 
S3データの待機とアップストリームDAG完了前の処理のためのパターンを表示してください。
エラー処理を堅牢化 
クリティカルなDAG向けに障害コールバック、リトライ、障害時に実行されるクリーンアップタスクを追加してください。

ベストプラクティス

  • タスクを幂等的に保ち、DAGファイル内で重いロジックを避ける
  • 効率のためにTaskFlow APIとセンサー再スケジュールモードを使用
  • DAGの読み込み、構造、サイクルのためにユニットテストを追加

回避

  • ほとんどのタスクでdepends_on_pastを使用
  • Airflowマクロの代わりに日付をハードコーディング
  • DAGファイルで可変グローバル状態を保存

よくある質問

Airflow 2.xと互換性がありますか？
はい、パターンはAirflow 2.xを対象としており、TaskFlow APIの例が含まれています。
例の限界は何ですか？
例はテンプレートであり、パス、認証情報、環境の適応が必要です。
既存のDAGと統合できますか？
はい、パターンを既存のDAGファイルに適用して安全にリファクタリングできます。
データにアクセスしたり保存したりしますか？
いいえ、ガイダンスのみを提供し、データを読み込んだり送信したりしません。
DAGのインポートが失敗した場合はどうすればよいですか？
DagBagテストを使用してインポートエラーを特定し、不足している依存関係を修正してください。
一般的なコーディング支援と比較するとどうですか？
Airflow固有のパターン、センサー、テスト、運用の安全に焦点を当てています。

開発者の詳細

作成者

wshobson

ライセンス

MIT

リポジトリ

https://github.com/wshobson/agents/tree/main/plugins/data-engineering/skills/airflow-dag-patterns

参照

main

ファイル構成

📄 SKILL.md