Habilidades data-engineering-data-pipeline
📦

data-engineering-data-pipeline

Riesgo bajo

Construye Pipelines de Datos Escalables

Diseñar pipelines de datos listos para producción es complejo y propenso a errores. Esta skill proporciona patrones arquitectónicos probados y orientación de implementación para sistemas ETL, streaming y lakehouse.

Soporta: Claude Codex Code(CC)
⚠️ 68 Deficiente
1

Descargar el ZIP de la skill

2

Subir en Claude

Ve a Configuración → Capacidades → Skills → Subir skill

3

Activa y empieza a usar

Pruébalo

Usando "data-engineering-data-pipeline". Design a batch pipeline for daily customer data sync from MySQL to Snowflake

Resultado esperado:

Arquitectura: Patrón ELT con carga incremental. Componentes: (1) Extraer usando columna de marca de agua 'updated_at', (2) Cargar datos crudos a staging S3, (3) Transformar en Snowflake con dbt, (4) Validar con pruebas dbt, (5) Alertar sobre fallos via Slack. Consideraciones clave: Manejar datos que llegan tarde, implementar lógica de reintentos, monitorear varianza en conteo de filas.

Usando "data-engineering-data-pipeline". How do I handle schema evolution in a streaming pipeline?

Resultado esperado:

Estrategia: Usa schema registry con verificaciones de compatibilidad. Para cambios aditivos, usa valores por defecto. Para cambios rupturantes, implementa dual-write durante la migración. Herramientas: Confluent Schema Registry para Kafka, evolución de esquema Delta Lake con opción mergeSchema. Siempre prueba compatibilidad backward antes del despliegue.

Auditoría de seguridad

Riesgo bajo
v1 • 2/24/2026

All static analyzer findings are false positives. The skill is documentation-only, providing architectural guidance and educational code examples. No executable code, external commands, or security risks detected. Safe for publication.

1
Archivos escaneados
204
Líneas analizadas
3
hallazgos
1
Auditorías totales
Problemas de riesgo bajo (3)
SKILL.md:3SKILL.md:28SKILL.md:39SKILL.md:42SKILL.md:94SKILL.md:167
Static Analyzer False Positives - Weak Cryptographic Algorithm
Static analyzer flagged lines 3, 28, 39, 42, 94, and 167 as containing weak cryptographic algorithms. Review confirms these are false positives - the flagged lines contain architectural terms (ETL/ELT, Lambda, Kappa) and documentation headers, not cryptographic code.
SKILL.md:124-159
Static Analyzer False Positive - External Command Execution
Static analyzer flagged line 124 as Ruby/shell backtick execution. Review confirms this is a Python code example showing batch ingestion patterns, not shell command execution.
SKILL.md:49SKILL.md:116SKILL.md:184
Static Analyzer False Positives - Reconnaissance Patterns
Static analyzer flagged lines 49, 116, and 184 as system/network reconnaissance. Review confirms these are data pipeline terminology (metadata tracking fields, partitioning strategies, monitoring alerts), not reconnaissance activity.
Auditado por: claude

Puntuación de calidad

38
Arquitectura
100
Mantenibilidad
87
Contenido
32
Comunidad
84
Seguridad
91
Cumplimiento de la especificación

Lo que puedes crear

Arquitectura de Pipeline desde Cero

Diseña un pipeline de datos completo desde cero para una startup que migra de hojas de cálculo a un stack de datos moderno.

Estrategia de Migración a Streaming

Convierte pipelines batch existentes a arquitectura de streaming en tiempo real usando Kafka y frameworks de procesamiento de streams.

Implementación de Framework de Calidad de Datos

Implementa verificaciones de calidad de datos comprehensivas usando Great Expectations y pruebas dbt con alertas automatizadas.

Prueba estos prompts

Diseño Básico de Pipeline 
Necesito construir un pipeline de datos que extraiga datos de PostgreSQL diariamente, los transforme y los cargue en un data warehouse. ¿Qué arquitectura debo usar y cuáles son los componentes clave?
Selección de Arquitectura de Streaming 
Tenemos datos de eventos de alto volumen de nuestra aplicación y necesitamos analytics en tiempo casi real. Compara Lambda vs Kappa para nuestro caso de uso con 1M de eventos por minuto.
Implementación de Calidad de Datos 
Muéstrame cómo implementar verificaciones de calidad de datos para nuestra tabla de pedidos usando Great Expectations. Necesitamos validar la unicidad de IDs de pedidos, IDs de cliente no nulos y montos de pedidos positivos.
Revisión de Optimización de Costos 
Nuestros costos mensuales del pipeline de datos se han duplicado. Revisa nuestra arquitectura y proporciona recomendaciones específicas para reducir costos manteniendo el SLA. Stack actual: Airflow, Spark, S3, Redshift.

Mejores prácticas

  • Evalúa fuentes de datos, volumen, requisitos de latencia y sistemas objetivo antes de seleccionar patrones arquitectónicos
  • Implementa procesamiento incremental con columnas de marca de agua para evitar reprocesar datasets completos
  • Añade puertas de calidad de datos en cada etapa del pipeline con alertas automatizadas sobre fallos de validación

Evitar

  • Copiar patrones de producción sin adaptar a requisitos específicos de volumen y velocidad de datos
  • Elegir arquitectura basándose en tendencias en lugar de necesidades del negocio y capacidades del equipo
  • Priorizar características sobre monitoreo, observabilidad y runbooks operacionales

Preguntas frecuentes

¿Debo usar arquitectura Lambda o Kappa para analytics en tiempo real?
Elige Lambda cuando necesitas tanto precisión batch como vistas de baja latencia con agregaciones complejas. Elige Kappa para procesamiento stream-only más simple donde la capacidad de replay sea suficiente. Kappa reduce complejidad operacional pero requiere infraestructura de procesamiento de streams robusta.
¿Cómo manejo datos que llegan tarde en pipelines de streaming?
Usa procesamiento de event time con watermarks para definir umbrales de tardanza. Implementa salidas laterales para datos tardíos que pueden ser reprocesados. Para datos críticos, mantén un job de corrección batch que se ejecuta periódicamente para corregir registros faltantes.
¿Qué formato de archivo debo usar para almacenamiento en data lake?
Usa Parquet para workloads analíticos columnares con compresión y predicado pushdown. Delta Lake o Iceberg añaden transacciones ACID, evolución de esquema y time travel sobre Parquet. Elige basándote en tu necesidad de transacciones y gestión de metadatos.
¿Cuándo debo usar dbt versus Spark para transformaciones?
Usa dbt para transformaciones basadas en SQL en tu data warehouse con pruebas y documentación integradas. Usa Spark para procesamiento de datos a gran escala, transformaciones complejas que requieren Python/Scala, o cuando trabajas con data lakes antes de cargar al warehouse.
¿Cómo logro procesamiento exactly-once en streaming?
Combina sinks idempotentes con procesamiento transaccional. Usa transacciones Kafka para escrituras atómicas, checkpoint state para recuperación, y diseña operaciones idempotentes. Para bases de datos, usa operaciones upsert con restricciones únicas para prevenir duplicados.
¿Qué métricas de monitoreo son esenciales para pipelines de datos?
Monitorea: registros procesados y fallidos por etapa, latencia end-to-end, frescura de datos, tasa de éxito del pipeline, y utilización de recursos. Configura alertas sobre violaciones de SLA, picos en tasa de errores y fallos de calidad de datos. Monitorea tendencias para identificar problemas de capacidad antes de que causen interrupciones.

Detalles del desarrollador

Autor

sickn33

Licencia

MIT

Repositorio

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-engineering-data-pipeline

Ref.

main

Estructura de archivos

📄 SKILL.md