wap-ingestion
Write-Audit-Publish 패턴으로 S3 데이터 수집
데이터를 먼저 임시 브랜치에 스테이징하여 S3에서 안전하게 로드합니다. 프로덕션에 병합하기 전에 품질을 검증합니다. 잘못된 데이터가 메인 테이블에 도달하는 것을 방지합니다.
下载技能 ZIP
在 Claude 中上传
前往 设置 → 功能 → 技能 → 上传技能
开启并开始使用
测试它
正在使用“wap-ingestion”。 s3://analytics-data/user-events/에서 parquet 파일을 user_events라는 테이블로 수집
预期结果:
- Created branch: alice.wap_user_events_1704067200
- Imported 15,234 rows from S3
- Quality check passed: 15,234 rows imported
- Branch ready for inspection
- To merge: client.merge_branch(source_ref='alice.wap_user_events_1704067200', into_branch='main')
正在使用“wap-ingestion”。 CSV 데이터 가져오기 및 메인으로 자동 병합
预期结果:
- Created branch: bob.wap_orders_1704153600
- Imported 5,000 rows from S3
- Quality check passed: 5,000 rows imported
- Successfully published orders to main
- Cleaned up branch: bob.wap_orders_1704153600
正在使用“wap-ingestion”。 병합 전 검토를 위해 데이터 로드
预期结果:
- Created branch: carol.wap_products_1704240000
- Imported 2,500 rows from S3
- Quality check passed: 2,500 rows imported
- WAP completed successfully. Branch 'carol.wap_products_1704240000' ready for inspection.
- Run bauplan checkout main && bauplan branch merge carol.wap_products_1704240000 after review
安全审计
安全Legitimate data ingestion skill implementing the Write-Audit-Publish pattern. All 47 static findings are FALSE POSITIVES. The 'C2 keywords' detection was triggered by a git tree hash (hex string), 'weak crypto' by generic string patterns, and 'shell backtick' by markdown code formatting. The code uses only the bauplan SDK with hardcoded method names and no command injection vectors.
风险因素
🌐 网络访问 (2)
⚙️ 外部命令 (1)
⚡ 包含脚本 (1)
质量评分
你能构建什么
안전한 프로덕션 데이터 로딩
다운스트림 시스템에 노출하기 전에 자동 품질 검증으로 새 데이터 배치를 로드합니다.
스테이징된 데이터 업데이트
메인 분석 테이블에 병합하기 전에 검토를 위해 연구 데이터를 임시 브랜치로 가져옵니다.
모델 피처 수집
프로덕션 사용 전 감사 검사와 함께 S3 버킷에서 새 피처 데이터를 안전하게 로드합니다.
试试这些提示
s3://my-bucket/events/*.parquet에서 bauplan 네임스페이스의 events라는 테이블로 데이터를 로드하려면 wap-ingestion을 사용하세요.
s3://data-bucket/exports/에서 customer_data.csv를 customers 테이블로 on_success=merge로 가져오려면 wap-ingestion을 사용하세요.
s3://bucket/2024-12/*.parquet에서 새 월간 데이터를 기존 sales 테이블에 추가하려면 wap-ingestion을 사용하세요.
s3://bucket/new-data/에서 데이터를 products 테이블로 on_success=inspect로 로드하여 병합하기 전에 검토하려면 wap-ingestion을 사용하세요.
最佳实践
- 병합하기 전에 스키마와 콘텐츠를 검증하려면 초기 데이터 로드에 on_success='inspect'를 사용하세요
- 가져오기 실패 시 디버깅을 위해 브랜치를 보존하려면 on_failure='keep'을 유지하세요
- 데이터 품질 문제를 조기에 발견하려면 병합하기 전에 bauplan 쿼리로 브랜치 변경 사항을 검토하세요
避免
- 기존 테이블 덮어쓰기에 WAP를 사용하지 마세요 - 새 테이블 생성 또는 추가만 가능합니다
- 감사 단계를 건너��지 마세요 - 행 개수 검사가 빈 가져오기를Catch합니다
- 동일한 테이블 이름에서 여러 WAP 작업을 동시에 실행하지 마세요