data-quality-frameworks
Implémenter des frameworks de qualité de données rapidement
Les problèmes de qualité de données entraînent des analyses échouées et des pipelines défaillants. Cette compétence fournit des patterns éprouvés de Great Expectations, de tests dbt et de contrats de données pour les prévenir.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "data-quality-frameworks". Donne-moi une suite Great Expectations minimale pour les données de commandes.
Résultat attendu:
- Définit les colonnes requises et les vérifications de clé primaire
- Valide les valeurs de statut et la plage de montant
- Ajoute des vérifications de fraîcheur et de nombre de lignes
Utilisation de "data-quality-frameworks". Comment tester les relations entre tables dans dbt ?
Résultat attendu:
- Utilise le test de relations pour la validation de clé étrangère
- Vérifie l'intégrité référentielle entre les modèles
- Valide que customer_id correspond à dim_customers
Utilisation de "data-quality-frameworks". Créer un contrat de données pour les données clients.
Résultat attendu:
- Spécifie le schéma avec les champs requis et optionnels
- Définit la classification PII pour les colonnes sensibles
- Définit le SLA de fraîcheur et les seuils de contrôle de qualité
Audit de sécurité
SûrThis skill is pure documentation containing educational examples for data quality frameworks. All 69 static findings are FALSE POSITIVES. The scanner incorrectly flagged Great Expectations library method names (e.g., 'expect_column_values_to_not_be_null') as shell backtick execution and weak cryptographic algorithms. The content has no executable code, network calls, file access, or sensitive operations.
Facteurs de risque
🌐 Accès réseau (5)
⚙️ Commandes externes (28)
Score de qualité
Ce que vous pouvez construire
Construire des suites de validation
Créer des suites et checkpoints Great Expectations pour les tables d'entrepôt.
Étendre les tests dbt
Ajouter des tests de schéma, de colonne et dbt personnalisés pour les marts.
Définir des contrats de données
Spécifier des contrats avec schéma, contrôles de qualité et SLAs.
Essayez ces prompts
Créer une suite Great Expectations basique pour une table de commandes avec des vérifications de clé primaire, statut, montant et created_at.
Rédiger des tests dbt pour fct_orders et dim_customers incluant la récence, les relations et les valeurs acceptées.
Rédiger un outline de contrat de données pour un dataset de commandes avec schéma, contrôles de qualité et SLAs.
Décrire un pipeline de qualité de données automatisé qui exécute des suites pour plusieurs tables et génère un rapport.
Bonnes pratiques
- Commencer par les colonnes critiques et développer les tests progressivement
- Documenter les attentes et la propriété pour chaque dataset
- Alerter sur les échecs et examiner les tendances régulièrement
Éviter
- Tester chaque colonne sans priorisation
- Hardcoder les seuils sans justification
- Sauter les vérifications de fraîcheur pour les données d'événements
Foire aux questions
Est-ce compatible avec Claude et Codex ?
Y a-t-il des limites sur la taille des datasets ?
Peut-on s'intégrer avec des outils CI ou d'orchestration ?
Accède-t-il ou stocke-t-il des données sensibles ?
Que faire si une vérification échoue de manière inattendue ?
Comment cela se compare-t-il à une configuration de framework complet ?
Détails du développeur
Auteur
wshobsonLicence
MIT
Dépôt
https://github.com/wshobson/agents/tree/main/plugins/data-engineering/skills/data-quality-frameworksRéf
main
Structure de fichiers
📄 SKILL.md