Compétences data-quality-frameworks
📦

data-quality-frameworks

Sûr

Construire des Pipelines de Qualité de Données avec des Frameworks de Validation

Également disponible depuis: wshobson

Assurez des pipelines de données fiables avec une validation complète en utilisant Great Expectations, les tests dbt et les contrats de données. Réduisez les incidents de données et construisez la confiance dans vos analyses avec des modèles prêts pour la production.

Prend en charge: Claude Codex Code(CC)
🥉 75 Bronze
1

Télécharger le ZIP du skill

2

Importer dans Claude

Allez dans Paramètres → Capacités → Skills → Importer un skill

3

Activez et commencez à utiliser

Tester

Utilisation de "data-quality-frameworks". Générer un checkpoint Great Expectations pour la validation quotidienne des commandes avec des alertes Slack

Résultat attendu:

  • Checkpoint configuré avec un planning de validation quotidienne
  • Actions : stocker les résultats, mettre à jour Data Docs, envoyer sur Slack en cas d'échec
  • Intégration webhook utilisant la variable d'environnement SLACK_WEBHOOK
  • Exécuter avec : context.run_checkpoint(checkpoint_name='orders_checkpoint')

Utilisation de "data-quality-frameworks". Créer un contrat de données pour des événements utilisateur avec gestion PII

Résultat attendu:

  • Le contrat définit user_id (UUID, requis, unique)
  • Champ email marqué comme PII avec classification indirecte
  • Vérifications de qualité : row_count > 0, duplicate_count = 0
  • SLA : 99.9% de disponibilité, 1 heure de fraîcheur, 5 minutes de latence

Audit de sécurité

Sûr
v1 • 2/24/2026

This is a documentation-only skill providing markdown guides for data quality frameworks. All static analysis findings are false positives: code blocks are markdown examples not executable code, URLs are documentation references, and pattern matches on SQL terms are not actual system calls.

2
Fichiers analysés
617
Lignes analysées
0
résultats
1
Total des audits
Aucun problème de sécurité trouvé
Audité par: claude

Score de qualité

38
Architecture
100
Maintenabilité
87
Contenu
50
Communauté
100
Sécurité
100
Conformité aux spécifications

Ce que vous pouvez construire

Ingénieur Analytique Construisant des Tests dbt

Créez des suites de tests complètes pour vos modèles dbt avec des validations au niveau des colonnes, des vérifications de relations et des règles métier personnalisées.

Équipe Plateforme de Données Établissant des Contrats

Définissez des contrats de données entre les producteurs et consommateurs de données avec des attentes de schéma claires, des SLA de qualité et une propriété définie.

Responsable Qualité de Données Implémentant Great Expectations

Déployez une validation de qualité de données de niveau entreprise avec des suites d'attentes, des checkpoints et des tableaux de bord de reporting automatisés.

Essayez ces prompts

Validation de Colonne de Base 
Créez une suite Great Expectations pour une table orders avec order_id comme clé primaire. Incluez des attentes pour not null, unique et des valeurs de statut de commande valides (pending, processing, shipped, delivered, cancelled).
Configuration de Test dbt 
Générez des configurations de test schema.yml pour une table de dimension customer. Incluez des tests unique et not_null pour customer_id, des accepted_values pour status, et un test de relation pour vérifier l'intégrité référentielle.
Spécification de Contrat de Données 
Concevez un contrat de données pour des événements de commande en streaming depuis une plateforme e-commerce. Incluez les champs de schéma avec types, classifications PII, vérifications de qualité utilisant la syntaxe SodaCL, et des définitions SLA pour la fraîcheur et la disponibilité.
Test de Règle Métier Personnalisé 
Écrivez un test dbt personnalisé qui valide la cohérence des totaux de commande : subtotal + tax + shipping doit égaler total_amount avec une tolérance de 0.01. Incluez la macro complète et un exemple d'utilisation.

Bonnes pratiques

  • Testez tôt dans le pipeline - validez les données source avant les transformations pour détecter les problèmes à l'ingestion
  • Concentrez-vous sur les colonnes critiques - priorisez les champs à fort impact plutôt qu'une couverture exhaustive
  • Documentez chaque attente avec des descriptions claires pour que les membres de l'équipe comprennent la règle métier

Éviter

  • Bloquer les pipelines de production sans solution de repli - ayez toujours un chemin de remplacement manuel pour les flux de données critiques
  • Tester en isolation - validez les relations entre les tables, pas seulement les contraintes de colonnes individuelles
  • Coder en dur les seuils - utilisez des lignes de base dynamiques et des plages statistiques qui s'adaptent à la croissance des données

Foire aux questions

Quelle est la différence entre Great Expectations et les tests dbt ?
Great Expectations fournit des suites d'attentes riches avec des rapports de validation détaillés et Data Docs. Les tests dbt sont basés sur SQL et s'exécutent dans le cadre du processus de build dbt. Utilisez les deux : dbt pour les vérifications au moment de la transformation, Great Expectations pour une validation plus approfondie.
Comment gérer les données PII dans les sorties de validation ?
N'incluez jamais de valeurs PII brutes dans les résultats de validation ou les rapports. Utilisez l'agrégation, le masquage, ou ne rapportez que les nombres de lignes et les résumés statistiques. Marquez les champs PII dans les contrats de données et appliquez des contrôles d'accès supplémentaires.
Que dois-je faire lorsqu'un contrôle de qualité de données échoue ?
Tout d'abord, vérifiez s'il s'agit d'un problème de données ou d'un problème de test. Alertez le propriétaire des données, mettez en quarantaine les données affectées si nécessaire, et documentez l'incident. Utilisez les échecs pour améliorer les tests et prévenir la récurrence.
Comment versionner les contrats de données ?
Traitez les contrats comme du code : stockez-les dans git, utilisez le versionnage sémantique et maintenez un changelog. Pour les changements majeurs, incrémentez la version majeure et fournissez un guide de migration aux consommateurs.
Puis-je exécuter Great Expectations dans mon pipeline CI/CD ?
Oui. Exécutez des suites d'attentes légères en CI pour détecter les changements de schéma et les violations critiques. Planifiez des suites complètes séparément pour éviter de ralentir les déploiements.
Quelles métriques devrais-je suivre pour la qualité des données ?
Suivez le taux de réussite par suite, le temps moyen de détection des échecs, le temps moyen de résolution et l'analyse des tendances au fil du temps. Surveillez séparément les dimensions de fraîcheur, de complétude et de validité.

Détails du développeur

Auteur

sickn33

Licence

MIT

Dépôt

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-quality-frameworks

Réf

main

Structure de fichiers

📁 resources/

📄 implementation-playbook.md

📄 SKILL.md