wap-ingestion
Загрузка данных S3 с паттерном Write-Audit-Publish
Безопасная загрузка данных из S3 с предварительной подготовкой во временную ветку. Проверка качества перед слиянием в production. Предотвращает попадание некорректных данных в основные таблицы.
تنزيل ZIP المهارة
رفع في Claude
اذهب إلى Settings → Capabilities → Skills → Upload skill
فعّل وابدأ الاستخدام
اختبرها
استخدام "wap-ingestion". Загрузить файлы parquet из s3://analytics-data/user-events/ в таблицу user_events
النتيجة المتوقعة:
- Created branch: alice.wap_user_events_1704067200
- Imported 15,234 rows from S3
- Quality check passed: 15,234 rows imported
- Branch ready for inspection
- To merge: client.merge_branch(source_ref='alice.wap_user_events_1704067200', into_branch='main')
استخدام "wap-ingestion". Импортировать данные CSV и автоматически слить в основную ветку
النتيجة المتوقعة:
- Created branch: bob.wap_orders_1704153600
- Imported 5,000 rows from S3
- Quality check passed: 5,000 rows imported
- Successfully published orders to main
- Cleaned up branch: bob.wap_orders_1704153600
استخدام "wap-ingestion". Загрузить данные для проверки перед слиянием
النتيجة المتوقعة:
- Created branch: carol.wap_products_1704240000
- Imported 2,500 rows from S3
- Quality check passed: 2,500 rows imported
- WAP completed successfully. Branch 'carol.wap_products_1704240000' ready for inspection.
- Run bauplan checkout main && bauplan branch merge carol.wap_products_1704240000 after review
التدقيق الأمني
آمنLegitimate data ingestion skill implementing the Write-Audit-Publish pattern. All 47 static findings are FALSE POSITIVES. The 'C2 keywords' detection was triggered by a git tree hash (hex string), 'weak crypto' by generic string patterns, and 'shell backtick' by markdown code formatting. The code uses only the bauplan SDK with hardcoded method names and no command injection vectors.
عوامل الخطر
🌐 الوصول إلى الشبكة (2)
⚙️ الأوامر الخارجية (1)
⚡ يحتوي على سكربتات (1)
درجة الجودة
ماذا يمكنك بناءه
Безопасная загрузка данных в production
Загрузка новых порций данных с автоматической проверкой качества перед передачей в системы-потребители.
Поэтапные обновления данных
Импорт исследовательских данных во временную ветку для проверки перед слиянием с основными аналитическими таблицами.
Загрузка признаков для моделей
Безопасная загрузка новых признаков из S3-корзин с проверками качества перед использованием в production.
جرّب هذه الموجهات
Use wap-ingestion to load data from s3://my-bucket/events/*.parquet into a table called events in the bauplan namespace.
Use wap-ingestion to import customer_data.csv from s3://data-bucket/exports/ into the customers table with on_success=merge.
Use wap-ingestion to append new monthly data from s3://bucket/2024-12/*.parquet to the existing sales table.
Use wap-ingestion to load data from s3://bucket/new-data/ into the products table with on_success=inspect so I can review before merging.
أفضل الممارسات
- Используйте on_success='inspect' для первоначальных загрузок данных для проверки схемы и содержимого перед слиянием
- Сохраняйте on_failure='keep' для сохранения веток для отладки при сбоях импорта
- Просматривайте изменения в ветке с помощью запросов bauplan перед слиянием для раннего обнаружения проблем качества данных
تجنب
- Не используйте WAP для перезаписи существующих таблиц - он только добавляет данные или создает новые таблицы
- Не пропускайте фазу проверки - проверка количества строк обнаруживает пустые импорты
- Не запускайте несколько операций WAP одновременно с одним именем таблицы