wap-ingestion
S3-Daten mit Write-Audit-Publish-Muster erfassen
Daten sicher von S3 laden, indem sie zunächst in einem temporären Branch gestaffelt werden. Qualität vor dem Zusammenführen in die Produktion überprüfen. Verhindert, dass fehlerhafte Daten Ihre Haupttabellen erreichen.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "wap-ingestion". Parquet-Dateien von s3://analytics-data/user-events/ in eine Tabelle namens user_events erfassen
Résultat attendu:
- Created branch: alice.wap_user_events_1704067200
- Imported 15,234 rows from S3
- Quality check passed: 15,234 rows imported
- Branch ready for inspection
- To merge: client.merge_branch(source_ref='alice.wap_user_events_1704067200', into_branch='main')
Utilisation de "wap-ingestion". CSV-Daten importieren und automatisch in main zusammenführen
Résultat attendu:
- Created branch: bob.wap_orders_1704153600
- Imported 5,000 rows from S3
- Quality check passed: 5,000 rows imported
- Successfully published orders to main
- Cleaned up branch: bob.wap_orders_1704153600
Utilisation de "wap-ingestion". Daten zur Überprüfung vor dem Zusammenführen laden
Résultat attendu:
- Created branch: carol.wap_products_1704240000
- Imported 2,500 rows from S3
- Quality check passed: 2,500 rows imported
- WAP completed successfully. Branch 'carol.wap_products_1704240000' ready for inspection.
- Run bauplan checkout main && bauplan branch merge carol.wap_products_1704240000 after review
Audit de sécurité
SûrLegitimate data ingestion skill implementing the Write-Audit-Publish pattern. All 47 static findings are FALSE POSITIVES. The 'C2 keywords' detection was triggered by a git tree hash (hex string), 'weak crypto' by generic string patterns, and 'shell backtick' by markdown code formatting. The code uses only the bauplan SDK with hardcoded method names and no command injection vectors.
Facteurs de risque
🌐 Accès réseau (2)
⚙️ Commandes externes (1)
⚡ Contient des scripts (1)
Score de qualité
Ce que vous pouvez construire
Sicheres Produktionsdatenladen
Neue Datenchargen mit automatischer Qualitätsverifikation laden, bevor sie downstream Systemen ausgesetzt werden.
Staffelte Datenaktualisierungen
Forschungsdaten in temporären Branch importieren zur Überprüfung, bevor sie in die Haupttabellen für Analysen zusammengeführt werden.
Modell-Feature-Erfassung
Neue Featurendaten sicher von S3-Buckets mit Prüfungen laden, bevor sie in der Produktion verwendet werden.
Essayez ces prompts
Use wap-ingestion to load data from s3://my-bucket/events/*.parquet into a table called events in the bauplan namespace.
Use wap-ingestion to import customer_data.csv from s3://data-bucket/exports/ into the customers table with on_success=merge.
Use wap-ingestion to append new monthly data from s3://bucket/2024-12/*.parquet to the existing sales table.
Use wap-ingestion to load data from s3://bucket/new-data/ into the products table with on_success=inspect so I can review before merging.
Bonnes pratiques
- Verwenden Sie on_success='inspect' für initiale Datenladungen, um Schema und Inhalt vor dem Zusammenführen zu verifizieren
- Behalten Sie on_failure='keep', um Branches bei fehlgeschlagenen Imports für das Debugging zu erhalten
- Überprüfen Sie Branch-Änderungen mit bauplan-Queries vor dem Zusammenführen, um Datenqualitätsprobleme frühzeitig zu erkennen
Éviter
- Verwenden Sie WAP nicht zum Überschreiben vorhandener Tabellen - es hängt nur an oder erstellt neue Tabellen
- Überspringen Sie nicht die Prüfungsphase - die Zeilenanzahlprüfung erkennt leere Importe
- Führen Sie nicht mehrere WAP-Operationen gleichzeitig auf demselben Tabellennamen aus