Навыки senior-data-engineer
📦

senior-data-engineer

Ревизия содержимого r1 Безопасно ⚙️ Внешние команды

Создание производственных конвейеров данных

Командам данных в production нужны надежные шаблоны для конвейеров, проверок качества и оркестрации. Этот навык помогает с архитектурой, созданием каркасов и практиками DataOps для современных стеков данных.

Поддерживает: Claude Codex Code(CC)
🥈 81 Серебро

Установить с помощью моего Агента

Скопируйте этот запрос в своего Агента. Он содержит каноническую страницу Skill и манифест.

Запрос агента
Review the Skillstore skill "senior-data-engineer" from https://skillstore.io/skills/alirezarezvani-senior-data-engineer.md and its manifest at https://skillstore.io/api/skills/alirezarezvani-senior-data-engineer/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

Ваш Агент по-прежнему должен показать план и запросить все подтверждения, требуемые политикой безопасности.

Ресурсы для AI-агентов

Используйте эти ссылки, когда AI-агенту, crawler или script нужен чистый контекст вместо полной страницы.

Протестировать

Использование «senior-data-engineer». Спроектируй потоковый аналитический конвейер для событий продукта.

Ожидаемый результат:

  • Архитектура: producers, event broker, stream processor, lakehouse storage и dashboard layer.
  • Надежность: сохранять состояние обработки через checkpoint, повторять временные сбои и отслеживать задержку событий.
  • Качество: проверять схему, обязательные поля, время события и долю дубликатов.
  • Мониторинг: настраивать оповещения по свежести, задержке обработки, доле ошибок и сбоям хранилища.

Использование «senior-data-engineer». Улучши контроль качества для таблицы признаков машинного обучения.

Ожидаемый результат:

  • Добавить проверки свежести, доли null, диапазонов, уникальности и распределений.
  • Определить владельцев для каждой группы признаков и пути эскалации при неудачных проверках.
  • Отслеживать тренды качества во времени и блокировать downstream-задания при сбое критических проверок.
  • Документировать ожидаемую семантику признаков и допустимые диапазоны значений.

Использование «senior-data-engineer». Сократи длительное время сборки в проекте аналитических трансформаций.

Ожидаемый результат:

  • Приоритизировать инкрементальные модели для больших fact tables и стабильных исторических партиций.
  • Проверить ключи join, кластеризацию таблиц и фильтры партиций перед добавлением вычислительных ресурсов.
  • Измерять длительность моделей, стоимость warehouse, количество строк и свежесть источников.
  • Удалить неиспользуемые трансформации и разделить дорогие модели на более понятные этапы.

Аудит безопасности

Безопасно

All 17 static findings were adjudicated as false positives. The external command detections are Markdown code fences or inline file references, and the reconnaissance detections are ordinary data engineering planning text. No prompt injection or malicious intent was found.

8
Просканировано файлов
1,061
Проанализировано строк
0
Пункты проверки
0
Ложные срабатывания проигнорированы
Последний завершенный статический и семантический аудит не обнаружил подтвержденных проблем безопасности. Это не доказывает отсутствие побочных эффектов у навыка.
Поделиться и цитировать этот отчет

Делитесь версионным отчетом об оценке, нейтральным значком, встраиваемой карточкой и цитатами. Skillstore публикует доказательства, не решая, безопасен ли этот Skill.

Открыть версионный отчет
Оценка безопасности

Копировать ссылку на отчёт

https://skillstore.io/skills/alirezarezvani-senior-data-engineer/audits/6?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Значок Markdown

[![Skillstore security assessment](https://skillstore.io/badges/skills/alirezarezvani-senior-data-engineer/security.svg)](https://skillstore.io/skills/alirezarezvani-senior-data-engineer?utm_source=security_passport_badge)

Значок HTML

<a href="https://skillstore.io/skills/alirezarezvani-senior-data-engineer?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/alirezarezvani-senior-data-engineer/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

Встраиваемая карточка

<iframe src="https://skillstore.io/embed/skills/alirezarezvani-senior-data-engineer.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>
Академические ссылки (APA · BibTeX · CFF)

Цитата APA

alirezarezvani. (2026). senior-data-engineer security audit report (audit version 6) [Author version unspecified]. Skillstore. https://skillstore.io/skills/alirezarezvani-senior-data-engineer/audits/6

Цитата BibTeX

@techreport{alirezarezvani-alirezarezvani-senior-data-engineer-2026, author = {alirezarezvani}, title = {senior-data-engineer security audit report (audit version 6)}, institution = {Skillstore}, year = {2026}, number = {6}, url = {https://skillstore.io/skills/alirezarezvani-senior-data-engineer/audits/6}, note = {Author version unspecified} }

CITATION.cff

cff-version: 1.2.0 message: "If you use this Skill, cite its author and this versioned security audit report." title: "senior-data-engineer security audit report (audit version 6)" version: "unspecified" type: report authors: - name: "alirezarezvani" date-released: "2026-07-06" url: "https://skillstore.io/skills/alirezarezvani-senior-data-engineer/audits/6" identifiers: - type: other value: "skillstore:alirezarezvani-senior-data-engineer:audit:6" description: "Skillstore immutable audit report identifier"

Сравнить варианты

2 устанавливаемых вариантов

Навык каждого автора остаётся отдельным устанавливаемым вариантом. Рекомендуемый вариант ранжируется по данным Skillstore.

Почему этот вариант первый

Больше использования в Skillstore
alirezarezvani Рекомендуется Текущий

alirezarezvani-senior-data-engineer

Оценка Skillstore 81
Достоверность доказательств Высокий
Использование в Skillstore 16
Обновлено

2026-09-09

davila7-senior-data-engineer

Оценка Skillstore 81
Достоверность доказательств Высокий
Использование в Skillstore 10
Обновлено

2026-09-09

Оценка Skillstore

Почему такая оценка Достоверность доказательств: Высокий
68
Архитектура
85
Сопровождаемость
87
Контент
70
Сообщество
83
Соответствие спецификации

Что вы можете построить

Проектирование надежных конвейеров

Создавайте планы пакетных или потоковых конвейеров с оркестрацией, валидацией, мониторингом и обработкой сбоев.

Улучшение моделей данных

Выбирайте шаблоны моделирования, стратегии партиционирования и проверки качества для аналитических наборов данных и наборов данных машинного обучения.

Стандартизация DataOps

Определяйте воспроизводимые практики для CI/CD, наблюдаемости, реагирования на инциденты и production-операций.

Попробуйте эти промпты

План базового конвейера
Спроектируй ежедневный ETL-конвейер для событий клиентов. Включи этапы ingestion, validation, transformation, storage, scheduling и monitoring.
Добавление контроля качества данных
Проверь мой предложенный конвейер данных и добавь проверки схемы, проверки свежести, обнаружение аномалий, оповещения и действия по восстановлению.
Оптимизация производительности конвейера
Проанализируй этот рабочий процесс Spark и dbt на риски производительности. Рекомендуй улучшения в партиционировании, кешировании, инкрементальной обработке и наблюдаемости.
Проектирование операционной модели DataOps
Создай операционную модель DataOps для нескольких команд данных. Охвати CI/CD, ownership, реагирование на инциденты, security controls и release governance.

Лучшие практики

  • Начинайте с явных контрактов данных, ownership и целевых уровней обслуживания.
  • Проверяйте данные на границах ingestion, transformation и serving.
  • Отслеживайте свежесть, объем, изменения схемы, задержку, стоимость и частоту сбоев.

Избегать

  • Запуск production-конвейеров без оповещений, ownership или планов отката.
  • Отношение к проверкам качества данных как к необязательным после развертывания.
  • Встраивание секретов или предположений, зависящих от среды, в логику конвейера.

Часто задаваемые вопросы

Запускает ли этот навык конвейеры данных за меня?
Нет. Он предоставляет рекомендации и скрипты-каркасы, которые пользователи должны адаптировать, проверить и запускать в собственной среде.
Какие инструменты для данных он охватывает?
Он ссылается на Python, SQL, Spark, Airflow, dbt, Kafka, Databricks, Snowflake, BigQuery и связанные инструменты DataOps.
Может ли он помочь с потоковыми системами?
Да. Он включает рекомендации для Kafka-style конвейеров событий, потоковой обработки, checkpointing, мониторинга задержек и отказоустойчивости.
Может ли он генерировать production-ready код?
Он может подготовить планы реализации и каркасы, но пользователи должны завершить бизнес-логику, тесты, настройки развертывания и проверку безопасности.
Подходит ли он для работы с управлением данными?
Да. Он охватывает контроль доступа, audit logging, концепции шифрования, обработку PII и шаблоны ownership для качества данных.
Как командам использовать его с Claude, Codex или Claude Code?
Используйте его, чтобы запрашивать обзоры архитектуры, планы конвейеров, проекты проверок качества и операционные runbooks внутри выбранного вами AI coding workflow.

Сведения для разработчиков

Автор

alirezarezvani

Лицензия

MIT

Ревизия Skillstore

r1

Примечание о версии

Автор не указал версию.

Ссылка

c4231f0153ccd2a2ed62274c5a372bf8f2386d3f

Актуальность поддержки

18.07.2026

Использование

12 загрузок · 180 просмотров

Больше от alirezarezvani

Показать все
📦

content-creator

88

Создание SEO-контента с фирменным голосом бренда

Маркетинговым командам нужен единообразный контент, который подходит для каждого канала и поддерживает поисковые цели. Этот skill объединяет рекомендации по фирменному голосу бренда, шаблоны контента, SEO-проверки и планирование социальных сетей.

Письмо и контент Просмотр
📦

capa-officer

84

Управление расследованиями CAPA и планами действий

Работа по CAPA часто застопоривается, когда расследования, действия и доказательства не структурированы. Этот навык помогает выстроить понятный RCA, планирование действий, проверку эффективности, метрики и документацию, готовую к инспекции.

Офис и отчёты Просмотр
📦

quality-manager-qmr

84

Управление качеством QMR

Командам HealthTech требуется дисциплинированное управление качеством в области стандартов, аудитов, проверок и отчетности для руководства. Этот навык помогает с обязанностями QMR, надзором за соответствием требованиям, мониторингом KPI и стратегическим планированием качества.

Юридические вопросы и контракты Просмотр
📦

risk-management-specialist

84

Управление файлами рисков медицинских изделий

Командам, работающим с медицинскими изделиями, нужны согласованные доказательства управления рисками на этапах проектирования, регуляторной работы и пострыночной деятельности. Этот навык помогает с планированием, анализом, мерами контроля и ведением файла в соответствии с ISO 14971.

Безопасность и соответствие требованиям Просмотр
📦

code-reviewer

83

Ревью кода со структурированными проверками качества

При ревью кода можно упустить проблемы качества, безопасности и сопровождаемости. Этот навык помогает проводить структурированные ревью с помощью скриптов, чеклистов и генерации отчетов.

Кодинг и разработка Просмотр
📦

quality-manager-qms-iso13485

83

Создавайте программы СМК по ISO 13485

Командам, работающим с медицинскими изделиями, нужны контролируемые процессы СМК, соответствующие ожиданиям ISO 13485. Этот навык помогает планировать документацию, аудиты, проверки, работу с CAPA и готовность к сертификации.

Документация Просмотр
Показать все
📦

spark-optimization

79

Оптимизация заданий Apache Spark

от wshobson

Медленные задания Spark впустую расходуют бюджет кластера и задерживают аналитическую работу. Этот навык дает практические шаблоны настройки для партиций, join, памяти, кэширования и поведения shuffle.

Данные и аналитика Просмотр
📦

data-engineering-data-pipeline

78

Проектирование надежных конвейеров данных

от sickn33

Проекты конвейеров данных часто терпят неудачу, потому что архитектура, качество, наблюдаемость и эксплуатация планируются отдельно. Этот навык помогает Claude, Codex и Claude Code создавать практичные проекты конвейеров, чеклисты и планы реализации.

Данные и аналитика Просмотр
📦

parquet-optimization

80

Оптимизация производительности Parquet в Rust

от EmilLindfors

Конвейеры Parquet могут неэффективно расходовать хранилище и память при использовании настроек по умолчанию. Этот навык анализирует чтение и запись Parquet в Rust, а затем предлагает улучшения сжатия, размеров, проекции и фильтрации.

Данные и аналитика Просмотр
📦

datafusion-query-advisor

80

Оптимизация запросов DataFusion

от EmilLindfors

Медленные запросы DataFusion могут впустую расходовать вычислительные ресурсы и скрывать простые проблемы в плане выполнения. Этот навык анализирует шаблоны SQL и DataFrame, а затем предлагает конкретные улучшения производительности.

Данные и аналитика Просмотр
📦

data-engineer

79

Проектирование надежных конвейеров данных

от sickn33

Командам по работе с данными нужны конвейеры, которые соответствуют целям по масштабированию, задержке, качеству и управлению данными. Этот навык помогает с архитектурой, оркестрацией, валидацией и эксплуатацией.

Данные и аналитика Просмотр
📦

data-orchestrator

79

Координация конвейеров данных и проверок качества

от Brownbull

Работа над конвейерами данных может становиться несогласованной, когда прием данных, признаки, качество и отчетность планируются отдельно. Этот навык организует задачи с данными вокруг контекста конвейера, контрольных точек качества, происхождения данных и передач между командами.

Данные и аналитика Просмотр