技能 data-engineering-data-pipeline
📦

data-engineering-data-pipeline

内容修订 r2 安全 ⚙️ 外部命令

设计可靠的数据管道

数据管道项目经常失败，是因为架构、质量、可观测性和运维被分开规划。此技能帮助 Claude、Codex 和 Claude Code 生成实用的管道设计、检查清单和实施计划。

支持: Claude Codex Code(CC)
🥉 78 青铜

使用我的智能体安装

将此请求复制给你的智能体，其中包含权威 Skill 页面和清单。

智能体请求
Review the Skillstore skill "data-engineering-data-pipeline" from https://skillstore.io/skills/sickn33-data-engineering-data-pipeline.md and its manifest at https://skillstore.io/api/skills/sickn33-data-engineering-data-pipeline/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

你的智能体仍应展示其计划，并按安全策略请求必要确认。

Agent 可读资源

当 AI Agent、爬虫或脚本需要干净上下文，而不是读取完整页面时，请使用这些链接。

Markdown 详情 GET /skills/sickn33-data-engineering-data-pipeline.md 已签名 manifest GET /api/skills/sickn33-data-engineering-data-pipeline/manifest 已签名 lockfile GET /api/skills/sickn33-data-engineering-data-pipeline/lockfile

测试它

正在使用“data-engineering-data-pipeline”。 设计一个从 PostgreSQL 到 lakehouse 的每日订单管道。

预期结果:

一个批处理架构，包含增量水位线、验证、Delta Lake 存储、dbt 转换、Airflow 调度、freshness 检查和告警。

正在使用“data-engineering-data-pipeline”。 审查一个在故障期间丢失事件的 Kafka 管道。

预期结果:

一份可靠性审查，涵盖事务性 offset 提交、重放策略、幂等 sink、dead letter 处理、指标和恢复流程。

正在使用“data-engineering-data-pipeline”。 为高管报告数据创建监控要求。

预期结果:

一个监控计划，包含 freshness 目标、行数检查、质量分数跟踪、仪表板指标、告警严重级别和所有权。

安全审计

安全
v5 • 2026/7/23 打开版本化报告

All four static alerts are false positives caused by ordinary data engineering prose and a fenced Python example. No shell execution, reconnaissance behavior, prompt injection, or malicious intent was found.

1
已扫描文件
210
分析行数
0
复核项
0
已忽略误报

风险因素

⚙️ 外部命令 (1)
SKILL.md:125-160
最新一次完成的静态与语义审计未检测到已确认的安全发现。这并不能证明该 Skill 没有副作用。
审计者: codex 查看审计历史 →
分享与引用此报告

分享版本化评估报告、中性徽章、嵌入卡片和引用。Skillstore 只报告证据，不判断该 Skill 是否安全。

打开版本化报告
安全评估

复制报告链接

https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Markdown 徽章

[![Skillstore security assessment](https://skillstore.io/badges/skills/sickn33-data-engineering-data-pipeline/security.svg)](https://skillstore.io/skills/sickn33-data-engineering-data-pipeline?utm_source=security_passport_badge)

HTML 徽章

<a href="https://skillstore.io/skills/sickn33-data-engineering-data-pipeline?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/sickn33-data-engineering-data-pipeline/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

嵌入卡片

<iframe src="https://skillstore.io/embed/skills/sickn33-data-engineering-data-pipeline.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>
学术引用 (APA · BibTeX · CFF)

APA 引用

sickn33. (2026). data-engineering-data-pipeline security audit report (audit version 5) [Author version unspecified]. Skillstore. https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5

BibTeX 引用

@techreport{sickn33-sickn33-data-engineering-data-pipeline-2026, author = {sickn33}, title = {data-engineering-data-pipeline security audit report (audit version 5)}, institution = {Skillstore}, year = {2026}, number = {5}, url = {https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5}, note = {Author version unspecified} }

CITATION.cff

cff-version: 1.2.0 message: "If you use this Skill, cite its author and this versioned security audit report." title: "data-engineering-data-pipeline security audit report (audit version 5)" version: "unspecified" type: report authors: - name: "sickn33" date-released: "2026-07-23" url: "https://skillstore.io/skills/sickn33-data-engineering-data-pipeline/audits/5" identifiers: - type: other value: "skillstore:sickn33-data-engineering-data-pipeline:audit:5" description: "Skillstore immutable audit report identifier"

Skillstore 评分

评分依据 证据置信度: 高
55
架构
85
可维护性
87
内容
69
社区
83
规范符合性

你能构建什么

规划新的分析管道

为批量摄取、转换、存储、质量检查和报告创建端到端架构。

提升流式处理可靠性

审查流式工作流的 offset 处理、重试、重放、监控和运维恢复。

标准化数据质量控制

为可信数据产品定义验证套件、freshness 检查、故障处理和测试覆盖率。

试试这些提示

概述基础管道 
为从 [source] 到 [target] 设计一个批量数据管道。包括摄取、转换、存储、验证和监控步骤。
选择架构模式 
比较 ETL、ELT、Lambda、Kappa 和 Lakehouse 模式在 [use case] 中的适用性。推荐一个选项并说明权衡。
审查管道可靠性 
审查此管道设计中的可靠性缺口：[design]。重点关注重试、幂等性、schema 演进、告警和恢复。
创建运维计划 
为 [pipeline] 创建生产运维计划。包括 SLA、仪表板、告警阈值、runbooks、扩缩容、成本控制和回滚步骤。

最佳实践

  • 在请求架构前，提供源系统、数据量、延迟目标和下游消费者。
  • 在每个生产管道设计中都要求包含故障模式、恢复步骤和可观测性要求。
  • 根据平台限制、安全规则和真实工作负载测试来验证生成的计划。

避免

  • 不要在没有数据量、freshness 和所有权要求的情况下请求完整生产设计。
  • 不要在未进行安全、访问和性能审查的情况下将示例代码视为可部署代码。
  • 不要等到实施之后才考虑数据质量、血缘和告警。

常见问题

此技能帮助构建什么？
它帮助规划用于摄取、转换、存储、质量、监控和运维的数据管道。
它能生成实现代码吗？
它可以概述实施模式和示例组件，但团队必须对其进行适配和测试。
它支持流式管道吗？
可以。它涵盖 Kafka-style consumers、offset 处理、窗口、重放和故障处理。
它引用哪些工具？
它引用 Airflow、Prefect、dbt、Spark、Great Expectations、Delta Lake、Iceberg、CloudWatch、Prometheus 和 Grafana。
它能优化管道成本吗？
可以。它会建议分区、文件大小、生命周期策略、计算选择和查询优化。
它适合用于生产决策吗？
将它用于规划和审查。生产变更仍然需要环境测试和专家批准。

开发者详情

作者

sickn33

许可证

MIT

Skillstore 修订

r2

版本提示

作者未声明版本。

仓库

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-engineering-data-pipeline

引用

f9e2c34b4f19c7f3e6b0a1e93227b5f77cc12526

维护新鲜度

2026/7/26

使用量

8 次下载 · 109 次浏览

文件结构

📄 SKILL.md

sickn33 的更多技能

查看全部

相关技能

查看全部