database-migrations-migration-observability
Créer l'observabilité des migrations et des pipelines CDC
Les migrations de bases de données manquent de visibilité sur leur progression, les erreurs et la cohérence des données. Cette skill fournit une observabilité de qualité entreprise avec des métriques en temps réel, la détection d'anomalies et des alertes automatisées.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "database-migrations-migration-observability". Set up MongoDB migration with metrics
Résultat attendu:
Classe de migration observable avec histogrammes Prometheus pour la durée, compteurs pour les documents traités, et journalisation winston vers fichier et console. Point de terminaison des métriques exposé pour le scraping Prometheus.
Utilisation de "database-migrations-migration-observability". Configure Debezium CDC for PostgreSQL
Résultat attendu:
Configuration du connecteur Kafka Connect avec plugin pgoutput, intervalles de pulsation et métriques pour le décalage des consommateurs et le décalage de réplication. Événements diffusés vers le sujet database.changes.
Utilisation de "database-migrations-migration-observability". Create Grafana dashboard for migrations
Résultat attendu:
Tableau de bord Grafana avec panneaux pour le taux de migration (lignes par seconde), le décalage des données en secondes avec seuils de couleur, et le taux d'erreur dans le temps. Provisionné automatiquement via l'API Grafana.
Audit de sécurité
Risque faibleStatic analyzer flagged 24 patterns but all are false positives. The skill uses standard monitoring libraries (prometheus-client, kafka-python, requests) for legitimate observability purposes. Network calls target infrastructure APIs (Kafka Connect, Grafana, Slack webhooks) as expected for monitoring. No shell execution, cryptographic operations, or suspicious patterns found. Minor risk due to network access for webhook integrations.
Problèmes à risque faible (1)
Facteurs de risque
⚙️ Commandes externes (1)
🌐 Accès réseau (3)
🔑 Variables d’environnement (1)
Score de qualité
Ce que vous pouvez construire
Migrations de production sans interruption
Surveiller les migrations de bases de données à grande échelle en temps réel avec des alertes automatisées lorsque le décalage des données dépasse les seuils ou que les taux d'erreur augmentent.
Implémentation de pipeline CDC
Configurer la capture de données modifiées (CDC) de PostgreSQL vers les systèmes cibles avec Debezium, en suivant le décalage de réplication et le débit d'événements.
Automatisation du tableau de bord des migrations
Générer des tableaux de bord Grafana programmatiquement montrant la progression des migrations, le décalage des données et les taux d'erreur avec des alertes basées sur des seuils.
Essayez ces prompts
Créer un script de migration MongoDB observable avec des métriques Prometheus pour la durée et le nombre de documents. Inclure la journalisation structurée avec winston.
Configurer un connecteur CDC Debezium pour PostgreSQL avec Kafka. Configurer les métriques pour les événements traités, le décalage des consommateurs et le décalage de réplication.
Implémenter la détection d'anomalies pour le débit des migrations et les taux d'erreur. Envoyer des alertes à Slack lorsque le débit descend en dessous de 50% de ce qui est attendu ou que le taux d'erreur dépasse 1%.
Créer une solution complète d'observabilité des migrations avec des métriques Prometheus, automatisation du tableau de bord Grafana, alertes Slack et intégration CI/CD pour les vérifications de santé.
Bonnes pratiques
- Toujours utiliser des transactions avec exécution basée sur des sessions pour l'atomicité des migrations et le support de la restauration
- Définir des intervalles de pulsation (10 secondes) dans les connecteurs CDC pour détecter rapidement les arrestations de réplication
- Configurer plusieurs canaux d'alertes (Slack, email) avec routage basé sur la sévérité pour les alertes critiques vs d'avertissement
Éviter
- Ne pas sauter l'enregistrement des métriques - les migrations non observables ne peuvent pas être surveillées pour les anomalies
- Éviter les intervalles de interrogation supérieurs à 30 secondes pour le suivi de la progression - retarder la détection des anomalies
- Ne jamais envoyer d'identifiants dans les configurations des tableaux de bord - utiliser des variables d'environnement ou la gestion des secrets