data-engineering-data-pipeline
构建可扩展的数据管道
设计生产级数据管道复杂且容易出错。本技能提供经过验证的架构模式以及ETL、流处理和湖仓系统的实施指导。
下载技能 ZIP
在 Claude 中上传
前往 设置 → 功能 → 技能 → 上传技能
开启并开始使用
测试它
正在使用“data-engineering-data-pipeline”。 Design a batch pipeline for daily customer data sync from MySQL to Snowflake
预期结果:
Architecture: ELT pattern with incremental loading. Components: (1) Extract using watermark column 'updated_at', (2) Load raw data to S3 staging, (3) Transform in Snowflake with dbt, (4) Validate with dbt tests, (5) Alert on failures via Slack. Key considerations: Handle late-arriving data, implement retry logic, monitor row count variance.
正在使用“data-engineering-data-pipeline”。 How do I handle schema evolution in a streaming pipeline?
预期结果:
Strategy: Use schema registry with compatibility checks. For additive changes, use default values. For breaking changes, implement dual-write during migration. Tools: Confluent Schema Registry for Kafka, Delta Lake schema evolution with mergeSchema option. Always test backward compatibility before deployment.
安全审计
低风险All static analyzer findings are false positives. The skill is documentation-only, providing architectural guidance and educational code examples. No executable code, external commands, or security risks detected. Safe for publication.
低风险问题 (3)
质量评分
你能构建什么
新建管道架构
为一家从电子表格迁移到现代数据技术栈的初创公司从头设计完整的数据管道。
流式迁移策略
使用Kafka和流处理框架将现有批量管道转换为实时流式架构。
数据质量框架实施
使用Great Expectations和dbt测试实施全面的数据质量检查，并配置自动告警。
试试这些提示
我需要构建一个数据管道，从PostgreSQL每日提取数据，进行转换，然后加载到数据仓库。我应该使用什么架构？关键组件有哪些？
我们拥有应用产生的高容量事件数据，需要近实时分析。请为我们的用例（每分钟100万事件）比较Lambda与Kappa架构。
向我展示如何使用Great Expectations为我们的订单表实施数据质量检查。我们需要验证订单ID的唯一性、客户ID的非空性以及订单金额为正数。
我们每月的数据管道成本翻倍了。请审查我们的架构，并提供在保持SLA的前提下降低成本的具体建议。当前技术栈：Airflow、Spark、S3、Redshift。
最佳实践
- 在选择架构模式之前，评估数据源、数据量、延迟要求和目标系统
- 使用水印列实施增量处理，避免重新处理整个数据集
- 在每个管道阶段添加数据质量关卡，并在验证失败时自动告警
避免
- 不根据特定数据量和速度需求进行调整就直接复制生产模式
- 根据趋势而非业务需求和团队能力选择架构
- 优先考虑功能而非监控、可观测性和运维手册