data-quality-frameworks
بناء أنابيب جودة البيانات مع أطر التحقق من الصحة
Également disponible depuis: wshobson
ضمان أنابيب بيانات موثوقة مع تحقق شامل من الصحة باستخدام Great Expectations واختبارات dbt وعقود البيانات. تقليل حوادث البيانات وبناء الثقة في التحليلات الخاصة بك مع أنماط جاهزة للإنتاج.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "data-quality-frameworks". إنشاء نقطة تفتيش Great Expectations للتحقق اليومي من الطلبات مع تنبيهات Slack
Résultat attendu:
- نقطة التفتيش مهيئة بجدول تحقق يومي
- الإجراءات: تخزين النتائج وتحديث Data Docs وإرسال Slack عند الفشل
- تكامل Webhook باستخدام متغير البيئة SLACK_WEBHOOK
- التشغيل باستخدام: context.run_checkpoint(checkpoint_name='orders_checkpoint')
Utilisation de "data-quality-frameworks". إنشاء عقد بيانات لأحداث المستخدم مع معالجة PII
Résultat attendu:
- العقد يحدد user_id (UUID ومطلوب وفريد)
- حقل email معلم كـ PII مع تصنيف غير مباشر
- فحوصات الجودة: row_count > 0 و duplicate_count = 0
- SLA: توفر 99.9% وحداثة ساعة واحدة وزمن استجابة 5 دقائق
Audit de sécurité
SûrThis is a documentation-only skill providing markdown guides for data quality frameworks. All static analysis findings are false positives: code blocks are markdown examples not executable code, URLs are documentation references, and pattern matches on SQL terms are not actual system calls.
Score de qualité
Ce que vous pouvez construire
مهندس تحليلات يبني اختبارات dbt
إنشاء مجموعات اختبار شاملة لنماذج dbt الخاصة بك مع تحقيقات مستوى الأعمدة وفحوصات العلاقات وقواعد الأعمال المخصصة.
فريق منصة البيانات يؤسس العقود
تحديد عقود البيانات بين منتجي البيانات ومستهلكيها مع توقعات مخطط واضحة و SLA للجودة والملكية.
مسؤول جودة البيانات ينفذ Great Expectations
نشر التحقق من جودة البيانات على مستوى المؤسسة مع مجموعات التوقعات ونقاط التفتيش ولوحات التقارير المؤتمتة.
Essayez ces prompts
إنشاء مجموعة Great Expectations لجدول orders مع order_id كمفتاح أساسي. تضمين توقعات لـ not null و unique وقيم حالة الطلب الصالحة (pending و processing و shipped و delivered و cancelled).
إنشاء تكوينات ملف schema.yml لاختبارات dbt لجدول أبعاد العملاء. تضمين اختبارات unique و not_null لـ customer_id و accepted_values لـ status واختبار relationship للتحقق من السلامة المرجعية.
تصميم عقد بيانات لأحداث الطلبات المتدفقة من منصة تجارة إلكترونية. تضمين حقول المخطط مع الأنواع وتصنيفات PII وفحوصات الجودة باستخدام صياغة SodaCL وتعريفات SLA للحداثة والتوفر.
كتابة اختبار dbt مخصص يتحقق من اتساق مجاميع الطلبات: subtotal + tax + shipping يجب أن تساوي total_amount ضمن تفاوت 0.01. تضمين الماكرو الكامل ومثال الاستخدام.
Bonnes pratiques
- الاختبار مبكرًا في الأنبوب - التحقق من صحة بيانات المصدر قبل التحويلات لالتقاط المشكلات عند الإدخال
- التركيز على الأعمدة الحرجة - إعطاء الأولوية للحقول عالية التأثير بدلاً من التغطية الشاملة
- توثيق كل توقع بأوصاف واضحة حتى يفهم أعضاء الفريق قاعدة العمل
Éviter
- حجب أنابيب الإنتاج بدون مسار بديل - يجب دائمًا وجود مسار تجاوز يدوي لتدفقات البيانات الحرجة
- الاختبار بمعزل - التحقق من العلاقات بين الجداول وليس فقط قيود الأعمدة الفردية
- عتبات الترميز الثابت - استخدام خطوط أساس ديناميكية ونطاقات إحصائية تتكيف مع نمو البيانات
Foire aux questions
ما الفرق بين Great Expectations واختبارات dbt؟
كيف أتعامل مع بيانات PII في مخرجات التحقق من الصحة؟
ماذا يجب أن أفعل عند فشل فحص جودة البيانات؟
كيف أقوم بإصدار عقود البيانات؟
هل يمكنني تشغيل Great Expectations في أنبوب CI/CD الخاص بي؟
ما المقاييس التي يجب تتبعها لجودة البيانات؟
Détails du développeur
Auteur
sickn33Licence
MIT
Dépôt
https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/data-quality-frameworksRéf
main
Structure de fichiers