Compétences airflow-dag-patterns
📦

airflow-dag-patterns

Sûr

بناء Apache Airflow DAGs مع أنماط الإنتاج

Également disponible depuis: wshobson

إنشاء Airflow DAGs جاهزة للإنتاج يتطلب فهم المشغلات، وأجهزة الاستشعار، وأنماط معالجة الأخطاء. توفر هذه المهارة قوالب مختبرة وأفضل الممارسات لتنسيق خطوط أنابيب البيانات.

Prend en charge: Claude Codex Code(CC)
🥉 75 Bronze
1

Télécharger le ZIP du skill

2

Importer dans Claude

Allez dans Paramètres → Capacités → Skills → Importer un skill

3

Activez et commencez à utiliser

Tester

Utilisation de "airflow-dag-patterns". إنشاء DAG يومي لـ ETL مع مهام extract و transform و load

Résultat attendu:

  • تم إنشاء DAG مع الجدول '0 6 * * *' (يوميًا الساعة 6 صباحًا)
  • ثلاث مهام PythonOperator: extract_data، transform_data، load_data
  • تبعيات المهام: extract >> transform >> load
  • تكوين إعادة المحاولة: 3 محاولات مع تراجع أسي لمدة 5 دقائق
  • تم تكوين إشعارات البريد الإلكتروني لحالات فشل المهام

Utilisation de "airflow-dag-patterns". إضافة مستشعر للانتظار حتى ملف S3 قبل المعالجة

Résultat attendu:

  • تمت إضافة S3KeySensor مع مهلة ساعتين وفاصل poke لمدة 5 دقائق
  • تم تكوين المستشعر مع mode='reschedule' لتحرير فتحات العمال
  • تم تعيين مهمة المعالجة كتابع downstream للمستشعر
  • ينتظر DAG الآن توفر الملف قبل التنفيذ

Audit de sécurité

Sûr
v1 • 2/24/2026

Static analysis detected 41 patterns but all are false positives. Backtick characters are markdown formatting for code blocks, not shell execution. globals() usage is standard Airflow pattern for dynamic DAG generation. URLs are documentation references. This is educational documentation with no executable security risks.

2
Fichiers analysés
554
Lignes analysées
0
résultats
1
Total des audits
Aucun problème de sécurité trouvé
Audité par: claude

Score de qualité

38
Architecture
100
Maintenabilité
87
Contenu
50
Communauté
100
Sécurité
100
Conformité aux spécifications

Ce que vous pouvez construire

فرق هندسة البيانات التي تبني خطوط أنابيب ETL

إنشاء خطوط أنابيب بيانات مجدولة تستخرج من المصادر، وتحول البيانات، وتحمّل إلى المستودعات مع معالجة أخطاء ومراقبة مناسبة.

فرق التحليلات التي تنسق إنشاء التقارير

جدولة مهام إنشاء التقارير الآلية مع تبعيات على توفر البيانات واكتمال المعالجة السابقة.

مهندسو ML الذين يدربون النماذج حسب الجدول

تنسيق خطوط أنابيب تدريب التعلم الآلي مع مراحل التحقق من صحة البيانات، وتدريب النماذج، والنشر.

Essayez ces prompts

إنشاء DAG أساسي 
أنشئ Airflow DAG يعمل يوميًا الساعة 6 صباحًا لاستخراج البيانات من ملف CSV، وتحويلها، وتحميلها إلى قاعدة بيانات. ضمّن معالجة أخطاء أساسية مع إعادة المحاولة.
توليد DAG ديناميكي 
أنشئ عدة DAGs متشابهة من قائمة تكوين لمعالجة مصادر بيانات مختلفة. يجب أن يكون لكل DAG نفس الهيكل ولكن جداول ومسارات مصادر مختلفة.
خط أنابيب متفرع مع فحوصات جودة البيانات 
أنشئ DAG يتحقق من مقاييس جودة البيانات ويتفرع إلى مسارات معالجة مختلفة بناءً على درجة الجودة. ضمّن منطقJoin مناسب بعد التفرع.
تبعيات خارجية معتمدة على أجهزة الاستشعار 
ابنِ DAG ينتظر وصول الملفات إلى S3، يعتمد على اكتمال DAG آخر، ويراقب نقطة نهاية صحة API قبل المعالجة. استخدم وضع reschedule لأجهزة الاستشعار.

Bonnes pratiques

  • استخدم TaskFlow API للحصول على كود أنظف وتمرير XCom تلقائي بين المهام
  • صمّم جميع المهام لتكون idempotent حتى لا تسبب إعادة المحاولة ازدواجية في البيانات
  • اضبط مهلات زمنية مناسبة على المهام واستخدم وضع reschedule لأجهزة الاستشعار لتحرير موارد العمال

Éviter

  • استخدام depends_on_past=True الذي يخلق اختناقات غير ضرورية ويمنع التنفيذ المتوازي
  • تثبيت التواريخ أو القيم بشكل ثابت بدلاً من استخدام وحدات الماكرو في Airflow مثل {{ ds }} لتواريخ التنفيذ
  • وضع منطق الأعمال الثقيل مباشرة في ملفات DAG بدلاً من الاستيراد من وحدات منفصلة

Foire aux questions

كيف أختبر DAGs الخاصة بي قبل النشر إلى الإنتاج؟
استخدم فئة DagBag لتحميل والتحقق من صحة DAGs في اختبارات الوحدة. اختبر دوال المهام الفردية بشكل منفصل باستخدام pytest. شغّل DAGs في_instance_ Airflow محلي مع catchup=False للتحقق من سير التنفيذ.
ما الفرق بين المشغلات وأجهزة الاستشعار؟
المشغلات تؤدي إجراءات مثل تشغيل كود Python أو تنفيذ استعلامات. أجهزة الاستشعار هي مشغلات خاصة تنتظر ظروف خارجية مثل توفر الملفات، أو استجابات API، أو اكتمال DAGs أخرى قبل المتابعة.
كيف أمرر البيانات بين المهام في Airflow؟
استخدم XCom للبيانات الصغيرة عن طريق إرجاع قيم من دوال المهام. يتعامل TaskFlow API مع XCom تلقائيًا. للبيانات الكبيرة، خزنها في تخزين خارجي مثل S3 ومرر المراجع بين المهام.
لماذا لا تعيد مهامي المحاولة عند الفشل؟
تأكد من تعيين retries و retry_delay في default_args أو تعريفات المهام الفردية. تحقق من أن المهمة لا تفشل أثناء مرحلة الجدولة. تحقق من retry_exponential_backoff لزيادات التأخير التدريجية.
كيف أتعامل مع تبعيات DAG على DAGs أخرى؟
استخدم ExternalTaskSensor للانتظار حتى اكتمال مهام محددة في DAGs السابقة. اضبط execution_date_fn لمطابقة تواريخ التنفيذ الصحيحة بين DAGs المعتمدة.
ما قاعدة التشغيل التي يجب استخدامها لمهام التنظيف؟
استخدم TriggerRule.ALL_DONE للتنظيف الذي يجب تشغيله بغض النظر عن نجاح أو فشل المهام السابقة. استخدم TriggerRule.ALL_SUCCESS للمهام التي يجب تشغيلها فقط إذا نجحت جميع المهام السابقة.

Détails du développeur

Auteur

sickn33

Licence

MIT

Dépôt

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/airflow-dag-patterns

Réf

main

Structure de fichiers

📁 resources/

📄 implementation-playbook.md

📄 SKILL.md