Compétences data-quality-frameworks
📦

data-quality-frameworks

Sûr

Data-Quality-Pipelines mit Validierungs-Frameworks erstellen

Également disponible depuis: wshobson

Sorgen Sie für zuverlässige Datenpipelines mit umfassender Validierung unter Verwendung von Great Expectations, dbt-Tests und Datenverträgen. Reduzieren Sie Datenincidents und bauen Sie Vertrauen in Ihre Analysen mit produktionsreifen Qualitätsmustern auf.

Prend en charge: Claude Codex Code(CC)
🥉 75 Bronze
1

Télécharger le ZIP du skill

2

Importer dans Claude

Allez dans Paramètres → Capacités → Skills → Importer un skill

3

Activez et commencez à utiliser

Tester

Utilisation de "data-quality-frameworks". Generate Great Expectations checkpoint for daily orders validation with Slack alerts

Résultat attendu:

  • Checkpoint mit täglichem Validierungszeitplan konfiguriert
  • Aktionen: Ergebnisse speichern, Data Docs aktualisieren, Slack bei Fehler senden
  • Webhook-Integration unter Verwendung der Umgebungsvariable SLACK_WEBHOOK
  • Ausführen mit: context.run_checkpoint(checkpoint_name='orders_checkpoint')

Utilisation de "data-quality-frameworks". Create data contract for user events with PII handling

Résultat attendu:

  • Vertrag definiert user_id (UUID, erforderlich, unique)
  • E-Mail-Feld als PII mit indirekter Klassifizierung gekennzeichnet
  • Qualitätsprüfungen: row_count > 0, duplicate_count = 0
  • SLA: 99,9% Verfügbarkeit, 1 Stunde Frische, 5 Minuten Latenz

Audit de sécurité

Sûr
v1 • 2/24/2026

This is a documentation-only skill providing markdown guides for data quality frameworks. All static analysis findings are false positives: code blocks are markdown examples not executable code, URLs are documentation references, and pattern matches on SQL terms are not actual system calls.

2
Fichiers analysés
617
Lignes analysées
0
résultats
1
Total des audits
Aucun problème de sécurité trouvé
Audité par: claude

Score de qualité

38
Architecture
100
Maintenabilité
87
Contenu
50
Communauté
100
Sécurité
100
Conformité aux spécifications

Ce que vous pouvez construire

Analytics Engineer erstellt dbt-Tests

Erstellen Sie umfassende Test-Suiten für Ihre dbt-Modelle mit Spaltenebenen-Validierungen, Beziehungsprüfungen und benutzerdefinierten Geschäftsregeln.

Data-Platform-Team etabliert Verträge

Definieren Sie Datenverträge zwischen Datenproduzenten und -konsumenten mit klaren Schemaerwartungen, Quality-SLAs und Ownership.

Data-Quality-Lead implementiert Great Expectations

Implementieren Sie Enterprise-Grade-Validierung mit Erwartungssuiten, Checkpoints und automatisierten Reporting-Dashboards.

Essayez ces prompts

Basis-Spaltenvalidierung 
Erstellen Sie eine Great-Expectations-Suite für eine orders-Tabelle mit order_id als Primärschlüssel. Fügen Sie Erwartungen für not null, unique und gültige order status-Werte hinzu (pending, processing, shipped, delivered, cancelled).
dbt-Testkonfiguration 
Generieren Sie dbt schema.yml Testkonfigurationen für eine customer dimension-Tabelle. Schließen Sie unique und not_null-Tests für customer_id, accepted_values für status und einen Beziehungstest zur Überprüfung der referentiellen Integrität ein.
Datenvertragsspezifikation 
Entwerfen Sie einen Datenvertrag für Order-Events, die von einer E-Commerce-Plattform gestreamt werden. Schließen Sie Schema-Felder mit Typen, PII-Klassifizierungen, Qualitätsprüfungen unter Verwendung von SodaCL-Syntax und SLA-Definitionen für Frische und Verfügbarkeit ein.
Benutzerdefinierter Geschäftsregeltest 
Schreiben Sie einen benutzerdefinierten dbt-Test, der die Konsistenz von Bestellgesamtbeträgen validiert: subtotal + tax + shipping muss gleich total_amount innerhalb einer Toleranz von 0,01 sein. Schließen Sie das vollständige Macro und ein Verwendungsbeispiel ein.

Bonnes pratiques

  • Testen Sie früh in der Pipeline – validieren Sie Quelldaten vor Transformationen, um Probleme bei der Erfassung zu erkennen
  • Konzentrieren Sie sich auf kritische Spalten – priorisieren Sie hochwirksame Felder gegenüber exhaustiver Abdeckung
  • Dokumentieren Sie jede Erwartung mit klaren Beschreibungen, damit Teammitglieder die Geschäftsregel verstehen

Éviter

  • Produktionspipelines ohne Fallback blockieren – haben Sie immer einen manuellen Override-Pfad für kritische Datenflüsse
  • In Isolation testen – validieren Sie Beziehungen zwischen Tabellen, nicht nur einzelne Spalteneinschränkungen
  • Schwellenwerte hartcodieren – verwenden Sie dynamische Baselines und statistische Bereiche, die sich an Datenwachstum anpassen

Foire aux questions

Was ist der Unterschied zwischen Great Expectations und dbt-Tests?
Great Expectations bietet umfassende Erwartungssuiten mit detaillierten Validierungsberichten und Data Docs. dbt-Tests sind SQL-basiert und werden als Teil des dbt-Build-Prozesses ausgeführt. Verwenden Sie beides: dbt für Transformationszeit-Prüfungen, Great Expectations für tiefere Validierung.
Wie gehe ich mit PII-Daten in Validierungsausgaben um?
Fügen Sie niemals rohe PII-Werte in Validierungsergebnisse oder Berichte ein. Verwenden Sie Aggregation, Maskierung oder melden Sie nur Zeilenanzahlen und statistische Zusammenfassungen. Markieren Sie PII-Felder in Datenverträgen und wenden Sie zusätzliche Zugriffskontrollen an.
Was sollte ich tun, wenn eine Datenqualitätsprüfung fehlschlägt?
Stellen Sie zunächst fest, ob es sich um ein Datenproblem oder ein Testproblem handelt. Benachrichtigen Sie den Datenverantwortlichen, isolieren Sie betroffene Daten, falls sie blockieren, und dokumentieren Sie den Vorfall. Nutzen Sie Fehler, um Tests zu verbessern und Wiederholungen zu verhindern.
Wie versioniere ich Datenverträge?
Behandeln Sie Verträge als Code: Speichern Sie sie in git, verwenden Sie semantische Versionierung und pflegen Sie ein Changelog. Für Breaking Changes erhöhen Sie die Hauptversion und bieten Migrationsanleitungen für Konsumenten.
Kann ich Great Expectations in meiner CI/CD-Pipeline ausführen?
Ja. Führen Sie leichtgewichtige Erwartungssuiten in CI aus, um Schemaänderungen und kritische Verstöße zu erkennen. Planen Sie umfassende Suiten separat, um Verzögerungen bei Deployments zu vermeiden.
Welche Metriken sollte ich für Datenqualität verfolgen?
Verfolgen Sie die Erfolgsrate nach Suite, die durchschnittliche Zeit bis zur Erkennung von Fehlern, die durchschnittliche Zeit bis zur Lösung und Trendanalyse über die Zeit. Überwachen Sie Frische, Vollständigkeit und Gültigkeitsdimensionen separat.

Détails du développeur

Auteur

sickn33

Licence

MIT

Dépôt

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-quality-frameworks

Réf

main

Structure de fichiers

📁 resources/

📄 implementation-playbook.md

📄 SKILL.md