透過 Great Expectations、dbt 測試和資料合約確保可靠的資料管線使用全面的驗證。減少資料事件並使用可投入生產的品質模式建立分析信任。
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "data-quality-frameworks". Generate Great Expectations checkpoint for daily orders validation with Slack alerts
Résultat attendu:
- Checkpoint configured with daily validation schedule
- Actions: store results, update Data Docs, send Slack on failure
- Webhook integration using SLACK_WEBHOOK environment variable
- Run with: context.run_checkpoint(checkpoint_name='orders_checkpoint')
Utilisation de "data-quality-frameworks". Create data contract for user events with PII handling
Résultat attendu:
- Contract defines user_id (UUID, required, unique)
- email field marked as PII with indirect classification
- Quality checks: row_count > 0, duplicate_count = 0
- SLA: 99.9% availability, 1 hour freshness, 5 minute latency
Audit de sécurité
SûrThis is a documentation-only skill providing markdown guides for data quality frameworks. All static analysis findings are false positives: code blocks are markdown examples not executable code, URLs are documentation references, and pattern matches on SQL terms are not actual system calls.
Score de qualité
Ce que vous pouvez construire
建構 dbt 測試的分析工程師
為您的 dbt 模型建立全面的測試套件,包含欄位層級驗證、關係檢查和自訂業務規則。
建立合約的資料平台團隊
在資料生產者和消費者之間定義資料合約,包含明確的結構描述期望、品質 SLA 和所有權。
實作 Great Expectations 的資料品質負責人
部署企業級資料品質驗證,包含期望套件、檢查點和自動化報告儀表板。
Essayez ces prompts
Create a Great Expectations suite for an orders table with order_id as primary key. Include expectations for not null, unique, and valid order status values (pending, processing, shipped, delivered, cancelled).
Generate dbt schema.yml test configurations for a customer dimension table. Include unique and not_null tests for customer_id, accepted_values for status, and a relationship test to verify referential integrity.
Design a data contract for order events streaming from an e-commerce platform. Include schema fields with types, PII classifications, quality checks using SodaCL syntax, and SLA definitions for freshness and availability.
Write a custom dbt test that validates order totals are consistent: subtotal + tax + shipping must equal total_amount within a 0.01 tolerance. Include the full macro and usage example.
Bonnes pratiques
- 在管線早期進行測試 - 在轉換之前驗證來源資料,以便在擷取時發現問題
- 專注於關鍵欄位 - 優先處理高影響力欄位而非全面覆蓋
- 為每個期望清楚描述,以便團隊成員了解業務規則
Éviter
- 沒有備用方案就封鎖生產管線 - 對於關鍵資料流始終要有手動覆蓋路徑
- 單獨測試 - 驗證表格之間的關係,而不僅僅是個別欄位約束
- 硬編碼閾值 - 使用動態基線和可適應資料成長的統計範圍
Foire aux questions
Great Expectations 和 dbt 測試有什麼區別?
如何在驗證輸出中處理 PII 資料?
如何對資料合約進行版本控制?
我可以在 CI/CD 管線中執行 Great Expectations 嗎?
我應該追蹤哪些資料品質指標?
Détails du développeur
Auteur
sickn33Licence
MIT
Dépôt
https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-quality-frameworksRéf
main
Structure de fichiers