Навыки airflow-dag-patterns

📦

airflow-dag-patterns

Name: airflow-dag-patterns
Author: wshobson

Ревизия содержимого r1 Безопасно ⚡ Содержит скрипты⚙️ Внешние команды🌐 Доступ к сети

Создавайте надежные DAG в Airflow

Команды по работе с данными часто теряют время, превращая идеи пайплайнов в надежные рабочие процессы Airflow. Этот навык дает Claude, Codex и Claude Code практические паттерны DAG для оркестрации, тестирования, сенсоров и обработки ошибок.

Поддерживает: Claude Codex Code(CC)

🥉 77 Бронза

Установить с помощью моего Агента

Скопируйте этот запрос в своего Агента. Он содержит каноническую страницу Skill и манифест.

Запрос агента

Review the Skillstore skill "airflow-dag-patterns" from https://skillstore.io/skills/wshobson-airflow-dag-patterns.md and its manifest at https://skillstore.io/api/skills/wshobson-airflow-dag-patterns/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

Ваш Агент по-прежнему должен показать план и запросить все подтверждения, требуемые политикой безопасности.

Ресурсы для AI-агентов

Используйте эти ссылки, когда AI-агенту, crawler или script нужен чистый контекст вместо полной страницы.

Markdown-детали GET /skills/wshobson-airflow-dag-patterns.md Подписанный manifest GET /api/skills/wshobson-airflow-dag-patterns/manifest Подписанный lockfile GET /api/skills/wshobson-airflow-dag-patterns/lockfile

Протестировать

Использование «airflow-dag-patterns». Спроектируй ежедневный клиентский ETL-пайплайн в Airflow.

Ожидаемый результат:

Краткий план DAG с задачами extract, transform, load и уведомлениями; ежедневным расписанием; политикой retries; порядком зависимостей; и рекомендациями по тестированию.

Использование «airflow-dag-patterns». Проверь мой DAG на production-риски.

Ожидаемый результат:

Приоритизированный обзор, охватывающий неидемпотентные задачи, отсутствующие timeouts, использование worker-ресурсов сенсорами, слабые failure callbacks и пробелы в тестах импорта DAG.

Использование «airflow-dag-patterns». Добавь зависимость от upstream-файла и quality gate.

Ожидаемый результат:

План рабочего процесса с использованием rescheduled sensor, задачи проверки качества данных, branch paths для результатов качества и шага объединения с подходящим trigger rule.

Аудит безопасности

Безопасно

v7 • 07.07.2026 Открыть версионный отчет

All 30 static findings are false positives after context review. They are Markdown code fences, inline documentation backticks, Airflow DAG examples, placeholder URLs, and public resource links. No prompt injection, exfiltration intent, command execution, or unsafe agent instructions were found in SKILL.md.

Просканировано файлов

524

Проанализировано строк

Пункты проверки

Ложные срабатывания проигнорированы

Факторы риска

⚡ Содержит скрипты (1)

SKILL.md:227

⚙️ Внешние команды (20)

🌐 Доступ к сети (5)

SKILL.md:332 SKILL.md:332 SKILL.md:521 SKILL.md:522 SKILL.md:523

Последний завершенный статический и семантический аудит не обнаружил подтвержденных проблем безопасности. Это не доказывает отсутствие побочных эффектов у навыка.

Аудитор:: codex Посмотреть историю аудитов →

Поделиться и цитировать этот отчет

Делитесь версионным отчетом об оценке, нейтральным значком, встраиваемой карточкой и цитатами. Skillstore публикует доказательства, не решая, безопасен ли этот Skill.

Открыть версионный отчет

Копировать ссылку на отчёт

https://skillstore.io/skills/wshobson-airflow-dag-patterns/audits/7?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Значок Markdown

[![Skillstore security assessment](https://skillstore.io/badges/skills/wshobson-airflow-dag-patterns/security.svg)](https://skillstore.io/skills/wshobson-airflow-dag-patterns?utm_source=security_passport_badge)

Значок HTML

<a href="https://skillstore.io/skills/wshobson-airflow-dag-patterns?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/wshobson-airflow-dag-patterns/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

Встраиваемая карточка

<iframe src="https://skillstore.io/embed/skills/wshobson-airflow-dag-patterns.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>

Академические ссылки (APA · BibTeX · CFF)

Цитата APA

wshobson. (2026). airflow-dag-patterns security audit report (audit version 7) [Author version unspecified]. Skillstore. https://skillstore.io/skills/wshobson-airflow-dag-patterns/audits/7

Цитата BibTeX

@techreport{wshobson-wshobson-airflow-dag-patterns-2026,
  author = {wshobson},
  title = {airflow-dag-patterns security audit report (audit version 7)},
  institution = {Skillstore},
  year = {2026},
  number = {7},
  url = {https://skillstore.io/skills/wshobson-airflow-dag-patterns/audits/7},
  note = {Author version unspecified}
}

CITATION.cff

cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "airflow-dag-patterns security audit report (audit version 7)"
version: "unspecified"
type: report
authors:
  - name: "wshobson"
date-released: "2026-07-07"
url: "https://skillstore.io/skills/wshobson-airflow-dag-patterns/audits/7"
identifiers:
  - type: other
    value: "skillstore:wshobson-airflow-dag-patterns:audit:7"
    description: "Skillstore immutable audit report identifier"

Сравнить варианты

2 устанавливаемых вариантов

Навык каждого автора остаётся отдельным устанавливаемым вариантом. Рекомендуемый вариант ранжируется по данным Skillstore.

Почему этот вариант первый

Самая высокая оценка Skillstore

Автор / источник Оценка Skillstore Достоверность доказательств Использование в Skillstore Обновлено

sickn33 Рекомендуется

sickn33-airflow-dag-patterns

Оценка Skillstore 78

Достоверность доказательств Высокий

Использование в Skillstore 9

Обновлено

2026-09-09

wshobson Текущий

wshobson-airflow-dag-patterns

Оценка Skillstore 77

Достоверность доказательств Высокий

Использование в Skillstore 13

Обновлено

2026-09-09

Оценка Skillstore

Почему такая оценка Достоверность доказательств: Высокий

Архитектура

Сопровождаемость

Контент

Сообщество

Соответствие спецификации

Что вы можете построить

Спроектировать новый ETL DAG

Превратить план пайплайна в понятную структуру DAG Airflow с задачами, зависимостями, retries и выбором расписания.

Проверить надежность оркестрации

Проверить существующий дизайн DAG на поведение retries, обработку сбоев, сенсоры, trigger rules и операционную наблюдаемость.

Добавить тесты DAG перед развертыванием

Создать сфокусированные тесты, которые проверяют корректность импорта DAG, количество задач, расписания, зависимости и наличие циклов.

Попробуйте эти промпты

Создать базовый DAG

Use the airflow-dag-patterns skill to design a simple daily ETL DAG. Include the task sequence, retry settings, schedule, and the key Airflow operators.

Перевести на TaskFlow

Use the airflow-dag-patterns skill to convert my PythonOperator-based ETL workflow into a TaskFlow API design. Explain the task boundaries and XCom data flow.

Добавить сенсоры и ветвление

Use the airflow-dag-patterns skill to add external dependency checks and quality-based branching to this DAG design. Include timeout and reschedule recommendations.

Укрепить production DAG

Use the airflow-dag-patterns skill to review this production DAG plan for failure handling, testing, observability, idempotency, and deployment readiness.

Лучшие практики

Держите файлы DAG легковесными и выносите тяжелую бизнес-логику в импортируемые модули.
Осознанно используйте retries, timeouts, callbacks и trigger rules для каждой задачи.
Тестируйте загрузку DAG, зависимости задач, расписания и логику задач перед развертыванием.

Избегать

Не помещайте долгие вычисления напрямую в файл определения DAG.
Не используйте блокирующие сенсоры, когда режим reschedule может освободить worker-ресурсы.
Не полагайтесь на глобальное изменяемое состояние или неидемпотентное поведение задач.

Часто задаваемые вопросы

Создает ли этот навык запускаемые проекты Airflow?

Нет. Он предоставляет паттерны и примерные структуры, которые пользователь адаптирует в своем собственном репозитории Airflow.

На какую версию Airflow он рассчитан?

Примеры ориентированы на паттерны Airflow 2.x, включая TaskFlow API и современное использование сенсоров.

Может ли он помочь с динамической генерацией DAG?

Да. Он объясняет factory-style паттерн для генерации похожих DAG из заранее заданной конфигурации.

Включает ли он рекомендации по тестированию?

Да. Он охватывает тесты DagBag, проверки зависимостей задач, проверки циклов и прямые тесты функций задач.

Настраивает ли он облачные сервисы или учетные данные?

Нет. В примерах упоминаются сервисы, такие как S3, но пользователи должны самостоятельно настроить свои подключения и разрешения.

Подходит ли он для production-рабочих процессов?

Да, в виде рекомендаций. Пользователям все равно нужна проверка с учетом конкретной среды для безопасности, масштабирования, мониторинга и развертывания.

Сведения для разработчиков

Автор

wshobson

Лицензия

MIT

Ревизия Skillstore

Примечание о версии

Автор не указал версию.

Репозиторий

https://github.com/wshobson/agents/tree/main/plugins/data-engineering/skills/airflow-dag-patterns

Ссылка

36e07d5e13068e5be64447e8f20b427cf2cbd21a

Актуальность поддержки

18.07.2026

Использование

11 загрузок · 256 просмотров

Структура файлов

📄 SKILL.md