Compétences data-engineering-data-pipeline
📦

data-engineering-data-pipeline

Risque faible

Construa Pipelines de Dados Escaláveis

Projetar pipelines de dados prontos para produção é complexo e propenso a erros. Esta habilidade fornece padrões arquiteturais comprovados e orientação de implementação para sistemas ETL, streaming e lakehouse.

Prend en charge: Claude Codex Code(CC)
📊 71 Adéquat
1

Télécharger le ZIP du skill

2

Importer dans Claude

Allez dans Paramètres → Capacités → Skills → Importer un skill

3

Activez et commencez à utiliser

Tester

Utilisation de "data-engineering-data-pipeline". Design a batch pipeline for daily customer data sync from MySQL to Snowflake

Résultat attendu:

Arquitetura: padrão ELT com carregamento incremental. Componentes: (1) Extração usando coluna de marcação temporal 'updated_at', (2) Carregamento de dados brutos para staging no S3, (3) Transformação no Snowflake com dbt, (4) Validação com testes dbt, (5) Alerta em falhas via Slack. Considerações-chave: Lidar com dados que chegam atrasados, implementar lógica de repetição, monitorar variância de contagem de linhas.

Utilisation de "data-engineering-data-pipeline". How do I handle schema evolution in a streaming pipeline?

Résultat attendu:

Estratégia: Usar schema registry com verificações de compatibilidade. Para mudanças aditivas, usar valores padrão. Para mudanças disruptivas, implementar dual-write durante a migração. Ferramentas: Confluent Schema Registry para Kafka, evolução de esquema do Delta Lake com opção mergeSchema. Sempre teste compatibilidade retroativa antes do deployment.

Audit de sécurité

Risque faible
v1 • 2/24/2026

All static analyzer findings are false positives. The skill is documentation-only, providing architectural guidance and educational code examples. No executable code, external commands, or security risks detected. Safe for publication.

1
Fichiers analysés
204
Lignes analysées
3
résultats
1
Total des audits
Problèmes à risque faible (3)
SKILL.md:3SKILL.md:28SKILL.md:39SKILL.md:42SKILL.md:94SKILL.md:167
Static Analyzer False Positives - Weak Cryptographic Algorithm
Static analyzer flagged lines 3, 28, 39, 42, 94, and 167 as containing weak cryptographic algorithms. Review confirms these are false positives - the flagged lines contain architectural terms (ETL/ELT, Lambda, Kappa) and documentation headers, not cryptographic code.
SKILL.md:124-159
Static Analyzer False Positive - External Command Execution
Static analyzer flagged line 124 as Ruby/shell backtick execution. Review confirms this is a Python code example showing batch ingestion patterns, not shell command execution.
SKILL.md:49SKILL.md:116SKILL.md:184
Static Analyzer False Positives - Reconnaissance Patterns
Static analyzer flagged lines 49, 116, and 184 as system/network reconnaissance. Review confirms these are data pipeline terminology (metadata tracking fields, partitioning strategies, monitoring alerts), not reconnaissance activity.
Audité par: claude

Score de qualité

38
Architecture
100
Maintenabilité
87
Contenu
50
Communauté
84
Sécurité
91
Conformité aux spécifications

Ce que vous pouvez construire

Arquitetura de Pipeline Greenfield

Projetar um pipeline de dados completo do zero para uma startup migrando de planilhas para uma stack de dados moderna.

Estratégia de Migração para Streaming

Converter pipelines em batch existentes para arquitetura de streaming em tempo real usando Kafka e frameworks de processamento de streams.

Implementação de Framework de Qualidade de Dados

Implementar verificações abrangentes de qualidade de dados usando Great Expectations e testes dbt com alertas automatizados.

Essayez ces prompts

Design Básico de Pipeline 
I need to build a data pipeline that extracts data from PostgreSQL daily, transforms it, and loads it to a data warehouse. What architecture should I use and what are the key components?
Seleção de Arquitetura de Streaming 
We have high-volume event data from our application and need near-real-time analytics. Compare Lambda vs Kappa architecture for our use case with 1M events per minute.
Implementação de Qualidade de Dados 
Show me how to implement data quality checks for our orders table using Great Expectations. We need to validate uniqueness of order IDs, non-null customer IDs, and positive order amounts.
Revisão de Otimização de Custos 
Our monthly data pipeline costs have doubled. Review our architecture and provide specific recommendations to reduce costs while maintaining SLA. Current stack: Airflow, Spark, S3, Redshift.

Bonnes pratiques

  • Avaliar fontes de dados, volume, requisitos de latência e sistemas de destino antes de selecionar padrões de arquitetura
  • Implementar processamento incremental com colunas de marcação temporal para evitar reprocessamento de datasets inteiros
  • Adicionar gates de qualidade de dados em cada estágio do pipeline com alertas automatizados em falhas de validação

Éviter

  • Copiar padrões de produção sem adaptar aos requisitos específicos de volume e velocidade de dados
  • Escolher arquitetura baseada em tendências ao invés de necessidades de negócio e capacidades da equipe
  • Priorizar features ao invés de monitoramento, observabilidade e runbooks operacionais

Foire aux questions

Devo usar arquitetura Lambda ou Kappa para analytics em tempo real?
Escolha Lambda quando precisar de precisão de batch e views de baixa latência com agregações complexas. Escolha Kappa para processamento mais simples apenas com stream onde capacidade de replay é suficiente. Kappa reduz complexidade operacional mas requer infraestrutura robusta de processamento de streams.
Como lidar com dados que chegam atrasados em pipelines de streaming?
Use processamento por tempo de evento com watermarks para definir limites de atraso. Implemente side outputs para dados atrasados que podem ser reprocessados. Para dados críticos, mantenha um job de correção em batch que roda periodicamente para corrigir quaisquer registros perdidos.
Qual formato de arquivo devo usar para armazenamento em data lake?
Use Parquet para workloads analíticos colunares com compressão e predicate pushdown. Delta Lake ou Iceberg adicionam transações ACID, evolução de esquema e time travel sobre Parquet. Escolha baseado na sua necessidade de transações e gerenciamento de metadados.
Quando devo usar dbt versus Spark para transformações?
Use dbt para transformações baseadas em SQL no seu data warehouse com testes e documentação embutidos. Use Spark para processamento de dados em larga escala, transformações complexas que requerem Python/Scala, ou quando trabalhar com data lakes antes de carregar para warehouse.
Como alcançar processamento exactly-once em streaming?
Combine sinks idempotentes com processamento transacional. Use transações Kafka para escritas atômicas, checkpoint de estado para recuperação, e design de operações idempotentes. Para bancos de dados, use operações upsert com constraints únicas para prevenir duplicatas.
Quais métricas de monitoramento são essenciais para pipelines de dados?
Monitore: registros processados e com falha por estágio, latência end-to-end, atualidade dos dados, taxa de sucesso do pipeline e utilização de recursos. Configure alertas para violações de SLA, picos na taxa de erros e falhas de qualidade de dados. Monitore tendências para identificar questões de capacidade antes que causem interrupções.

Détails du développeur

Auteur

sickn33

Licence

MIT

Dépôt

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-engineering-data-pipeline

Réf

main

Structure de fichiers

📄 SKILL.md