Навыки data-engineering-data-pipeline

📦

data-engineering-data-pipeline

Name: data-engineering-data-pipeline
Author: sickn33

Ревизия содержимого r2 Безопасно ⚙️ Внешние команды

Проектирование надежных конвейеров данных

Проекты конвейеров данных часто терпят неудачу, потому что архитектура, качество, наблюдаемость и эксплуатация планируются отдельно. Этот навык помогает Claude, Codex и Claude Code создавать практичные проекты конвейеров, чеклисты и планы реализации.

Поддерживает: Claude Codex Code(CC)

🥉 78 Бронза

Maintain this Skill? Claim it 🥉 78 Бронза

Установить с помощью моего Агента

Скопируйте этот запрос в своего Агента. Он содержит каноническую страницу Skill и манифест.

Запрос агента

Review the Skillstore skill "data-engineering-data-pipeline" from https://skillstore.io/skills/sickn33-data-engineering-data-pipeline.md and its manifest at https://skillstore.io/api/skills/sickn33-data-engineering-data-pipeline/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

Ваш Агент по-прежнему должен показать план и запросить все подтверждения, требуемые политикой безопасности.

Ресурсы для AI-агентов

Используйте эти ссылки, когда AI-агенту, crawler или script нужен чистый контекст вместо полной страницы.

Markdown-детали GET /skills/sickn33-data-engineering-data-pipeline.md Подписанный manifest GET /api/skills/sickn33-data-engineering-data-pipeline/manifest Подписанный lockfile GET /api/skills/sickn33-data-engineering-data-pipeline/lockfile

Протестировать

Использование «data-engineering-data-pipeline». Спроектируй ежедневный конвейер заказов из PostgreSQL в Lakehouse.

Ожидаемый результат:

Пакетная архитектура с инкрементальными водяными знаками, валидацией, хранением в Delta Lake, преобразованиями dbt, планированием через Airflow, проверками актуальности и оповещениями.

Использование «data-engineering-data-pipeline». Проверь конвейер Kafka, который теряет события во время сбоев.

Ожидаемый результат:

Обзор надежности, охватывающий транзакционные коммиты смещений, стратегию повторного воспроизведения, идемпотентные приемники, обработку dead letter, метрики и процедуры восстановления.

Использование «data-engineering-data-pipeline». Создай требования к мониторингу данных для отчетности руководства.

Ожидаемый результат:

План мониторинга с целями по актуальности, проверками количества строк, отслеживанием оценки качества, метриками дашбордов, уровнями серьезности оповещений и ответственными владельцами.

Аудит безопасности

Безопасно

v5 • 23.07.2026 Открыть версионный отчет

All four static alerts are false positives caused by ordinary data engineering prose and a fenced Python example. No shell execution, reconnaissance behavior, prompt injection, or malicious intent was found.

Просканировано файлов

210

Проанализировано строк

Пункты проверки

Ложные срабатывания проигнорированы

Факторы риска

⚙️ Внешние команды (1)

SKILL.md:125-160

Последний завершенный статический и семантический аудит не обнаружил подтвержденных проблем безопасности. Это не доказывает отсутствие побочных эффектов у навыка.

Аудитор:: codex Посмотреть историю аудитов →

Поделиться и цитировать этот отчет

Делитесь версионным отчетом об оценке, нейтральным значком, встраиваемой карточкой и цитатами. Skillstore публикует доказательства, не решая, безопасен ли этот Skill.

Открыть версионный отчет

Копировать ссылку на отчёт

https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Значок Markdown

[![Skillstore security assessment](https://skillstore.io/badges/skills/sickn33-data-engineering-data-pipeline/security.svg)](https://skillstore.io/skills/sickn33-data-engineering-data-pipeline?utm_source=security_passport_badge)

Значок HTML

<a href="https://skillstore.io/skills/sickn33-data-engineering-data-pipeline?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/sickn33-data-engineering-data-pipeline/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

Встраиваемая карточка

<iframe src="https://skillstore.io/embed/skills/sickn33-data-engineering-data-pipeline.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>

Академические ссылки (APA · BibTeX · CFF)

Цитата APA

sickn33. (2026). data-engineering-data-pipeline security audit report (audit version 5) [Author version unspecified]. Skillstore. https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5

Цитата BibTeX

@techreport{sickn33-sickn33-data-engineering-data-pipeline-2026,
  author = {sickn33},
  title = {data-engineering-data-pipeline security audit report (audit version 5)},
  institution = {Skillstore},
  year = {2026},
  number = {5},
  url = {https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5},
  note = {Author version unspecified}
}

CITATION.cff

cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "data-engineering-data-pipeline security audit report (audit version 5)"
version: "unspecified"
type: report
authors:
  - name: "sickn33"
date-released: "2026-07-23"
url: "https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5"
identifiers:
  - type: other
    value: "skillstore:sickn33-data-engineering-data-pipeline:audit:5"
    description: "Skillstore immutable audit report identifier"

Оценка Skillstore

Почему такая оценка Достоверность доказательств: Высокий

Архитектура

Сопровождаемость

Контент

Сообщество

Соответствие спецификации

Что вы можете построить

Планирование нового аналитического конвейера

Создайте сквозную архитектуру для пакетной загрузки, преобразования, хранения, проверок качества и отчетности.

Повышение надежности потоковой обработки

Проверьте потоковый рабочий процесс на обработку смещений, повторы, повторное воспроизведение, мониторинг и операционное восстановление.

Стандартизация контроля качества данных

Определите наборы проверок, проверки актуальности, обработку сбоев и тестовое покрытие для доверенных продуктов данных.

Попробуйте эти промпты

Описать базовый конвейер

Спроектируй пакетный конвейер данных из [source] в [target]. Включи этапы загрузки, преобразования, хранения, валидации и мониторинга.

Выбрать архитектурный паттерн

Сравни паттерны ETL, ELT, Lambda, Kappa и Lakehouse для [use case]. Порекомендуй один вариант с учетом компромиссов.

Проверить надежность конвейера

Проверь этот проект конвейера на пробелы в надежности: [design]. Сфокусируйся на повторах, идемпотентности, эволюции схемы, оповещениях и восстановлении.

Создать план эксплуатации

Создай план эксплуатации в production для [pipeline]. Включи SLA, дашборды, пороги оповещений, runbooks, масштабирование, контроль затрат и шаги отката.

Лучшие практики

Предоставляйте исходные системы, объем данных, целевые показатели задержки и нижестоящих потребителей перед запросом архитектуры.
Запрашивайте режимы сбоев, шаги восстановления и требования к наблюдаемости для каждого проекта production-конвейера.
Проверяйте сгенерированные планы с учетом ограничений платформы, правил безопасности и тестов на реальной нагрузке.

Избегать

Не запрашивайте полный production-проект без требований к объему данных, актуальности и владельцам.
Не считайте пример кода готовым к развертыванию без проверки безопасности, доступа и производительности.
Не откладывайте качество данных, происхождение данных и оповещения до этапа после реализации.

Часто задаваемые вопросы

Что помогает создать этот навык?

Он помогает планировать конвейеры данных для загрузки, преобразования, хранения, качества, мониторинга и эксплуатации.

Может ли он генерировать код реализации?

Он может описывать паттерны реализации и примерные компоненты, но команды должны адаптировать и тестировать их.

Поддерживает ли он потоковые конвейеры?

Да. Он охватывает потребителей в стиле Kafka, обработку смещений, окна, повторное воспроизведение и обработку сбоев.

Какие инструменты он упоминает?

Он ссылается на Airflow, Prefect, dbt, Spark, Great Expectations, Delta Lake, Iceberg, CloudWatch, Prometheus и Grafana.

Может ли он оптимизировать затраты на конвейер?

Да. Он предлагает секционирование, выбор размера файлов, политики жизненного цикла, варианты вычислений и оптимизацию запросов.

Безопасно ли использовать его для production-решений?

Используйте его для планирования и проверки. Изменения в production все равно требуют тестирования среды и экспертного утверждения.

Сведения для разработчиков

Автор

sickn33

Лицензия

MIT

Ревизия Skillstore

Примечание о версии

Автор не указал версию.

Репозиторий

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-engineering-data-pipeline

Ссылка

f9e2c34b4f19c7f3e6b0a1e93227b5f77cc12526

Актуальность поддержки

26.07.2026

Использование

8 загрузок · 109 просмотров

Структура файлов

📄 SKILL.md