wap-ingestion
Ingestión de datos S3 con patrón Write-Audit-Publish
Carga datos de S3 de forma segura transfiriéndolos primero a una rama temporal. Verifica la calidad antes de fusionar con producción. Evita que datos defectuosos lleguen a tus tablas principales.
下载技能 ZIP
在 Claude 中上传
前往 设置 → 功能 → 技能 → 上传技能
开启并开始使用
测试它
正在使用“wap-ingestion”。 Ingest parquet files from s3://analytics-data/user-events/ into a table called user_events
预期结果:
- Created branch: alice.wap_user_events_1704067200
- Imported 15,234 rows from S3
- Quality check passed: 15,234 rows imported
- Branch ready for inspection
- To merge: client.merge_branch(source_ref='alice.wap_user_events_1704067200', into_branch='main')
正在使用“wap-ingestion”。 Import CSV data and auto-merge to main
预期结果:
- Created branch: bob.wap_orders_1704153600
- Imported 5,000 rows from S3
- Quality check passed: 5,000 rows imported
- Successfully published orders to main
- Cleaned up branch: bob.wap_orders_1704153600
正在使用“wap-ingestion”。 Load data for review before merge
预期结果:
- Created branch: carol.wap_products_1704240000
- Imported 2,500 rows from S3
- Quality check passed: 2,500 rows imported
- WAP completed successfully. Branch 'carol.wap_products_1704240000' ready for inspection.
- Run bauplan checkout main && bauplan branch merge carol.wap_products_1704240000 after review
安全审计
安全Legitimate data ingestion skill implementing the Write-Audit-Publish pattern. All 47 static findings are FALSE POSITIVES. The 'C2 keywords' detection was triggered by a git tree hash (hex string), 'weak crypto' by generic string patterns, and 'shell backtick' by markdown code formatting. The code uses only the bauplan SDK with hardcoded method names and no command injection vectors.
风险因素
🌐 网络访问 (2)
⚙️ 外部命令 (1)
⚡ 包含脚本 (1)
质量评分
你能构建什么
Carga segura de datos en producción
Carga nuevos lotes de datos con verificación automática de calidad antes de exponer a sistemas posteriores.
Actualizaciones de datos en etapas
Importar datos de investigación a rama temporal para revisión antes de fusionar con tablas principales de análisis.
Ingestión de características de modelo
Cargar de forma segura nuevos datos de características desde buckets S3 con verificaciones de auditoría antes del uso en producción.
试试这些提示
Use wap-ingestion to load data from s3://my-bucket/events/*.parquet into a table called events in the bauplan namespace.
Use wap-ingestion to import customer_data.csv from s3://data-bucket/exports/ into the customers table with on_success=merge.
Use wap-ingestion to append new monthly data from s3://bucket/2024-12/*.parquet to the existing sales table.
Use wap-ingestion to load data from s3://bucket/new-data/ into the products table with on_success=inspect so I can review before merging.
最佳实践
- Usa on_success='inspect' para cargas iniciales de datos para verificar esquema y contenido antes de fusionar
- Mantén on_failure='keep' para preservar ramas para depuración cuando las importaciones fallen
- Revisa cambios de rama con consultas bauplan antes de fusionar para detectar problemas de calidad de datos tempranamente
避免
- No uses WAP para sobrescribir tablas existentes - solo agrega o crea nuevas tablas
- No omitas la fase de auditoría - la verificación de conteo de filas detecta importaciones vacías
- No ejecutes múltiples operaciones WAP simultáneamente en el mismo nombre de tabla