database-migrations-migration-observability
Создание наблюдаемости миграций и CDC-конвейеров
Миграции баз данных не обеспечивают достаточной видимости прогресса, ошибок и целостности данных. Этот навык предоставляет наблюдаемость корпоративного уровня с метриками в реальном времени, обнаружением аномалий и автоматическим оповещением.
Скачать ZIP навыка
Загрузить в Claude
Перейдите в Settings → Capabilities → Skills → Upload skill
Включите и начните использовать
Протестировать
Использование «database-migrations-migration-observability». Настроить миграцию MongoDB с метриками
Ожидаемый результат:
Наблюдаемый класс миграции с гистограммами Prometheus для длительности, счетчиками обработанных документов и логированием winston в файл и консоль. Эндпоинт метрик открыт для сбора Prometheus.
Использование «database-migrations-migration-observability». Настроить Debezium CDC для PostgreSQL
Ожидаемый результат:
Конфигурация коннектора Kafka Connect с плагином pgoutput, интервалами heartbeat и метриками для задержки потребителя и задержки репликации. События передаются в топик database.changes.
Использование «database-migrations-migration-observability». Создать дашборд Grafana для миграций
Ожидаемый результат:
Дашборд Grafana с панелями для скорости миграции (строк в секунду), задержки данных в секундах с цветовыми порогами и уровня ошибок во времени. Автоматическое предоставление через Grafana API.
Аудит безопасности
Низкий рискStatic analyzer flagged 24 patterns but all are false positives. The skill uses standard monitoring libraries (prometheus-client, kafka-python, requests) for legitimate observability purposes. Network calls target infrastructure APIs (Kafka Connect, Grafana, Slack webhooks) as expected for monitoring. No shell execution, cryptographic operations, or suspicious patterns found. Minor risk due to network access for webhook integrations.
Проблемы низкого риска (1)
Факторы риска
⚙️ Внешние команды (1)
🌐 Доступ к сети (3)
🔑 Переменные окружения (1)
Оценка качества
Что вы можете построить
Миграции в production без простоев
Мониторинг крупномасштабных миграций баз данных в реальном времени с автоматическим оповещением при превышении порогов задержки данных или скачках уровня ошибок.
Реализация CDC-конвейера
Настройка Change Data Capture из PostgreSQL в целевые системы с помощью Debezium с отслеживанием задержки репликации и пропускной способности событий.
Автоматизация дашбордов миграций
Программная генерация дашбордов Grafana, отображающих прогресс миграции, задержку данных и уровень ошибок с оповещением на основе пороговых значений.
Попробуйте эти промпты
Create an observable MongoDB migration script with Prometheus metrics for duration and document count. Include structured logging with winston.
Set up a Debezium CDC connector for PostgreSQL with Kafka. Configure metrics for events processed, consumer lag, and replication lag.
Implement anomaly detection for migration throughput and error rates. Send alerts to Slack when throughput drops below 50% of expected or error rate exceeds 1%.
Create a complete migration observability solution with Prometheus metrics, Grafana dashboard automation, Slack alerting, and CI/CD integration for health checks.
Лучшие практики
- Всегда используйте транзакции с сессионным выполнением для атомарности миграции и поддержки отката
- Устанавливайте интервалы heartbeat (10 секунд) в CDC-коннекторах для быстрого обнаружения остановок репликации
- Настраивайте несколько каналов оповещения (Slack, email) с маршрутизацией на основе серьезности для критических и предупреждающих警报
Избегать
- Не пропускайте регистрацию метрик - ненаблюдаемые миграции нельзя мониторить на аномалии
- Избегайте интервалов опроса длиннее 30 секунд для отслеживания прогресса - это задерживает обнаружение аномалий
- Никогда не передавайте учетные данные в конфигурациях дашбордов - используйте переменные окружения или управление секретами