ml-pipeline-workflow
Создание производственных ML-пайплайнов со сквозной оркестрацией
Команды машинного обучения испытывают трудности с объединением подготовки данных, обучения, валидации и развёртывания в надёжные рабочие процессы для продакшена. Этот навык предоставляет комплексное руководство по созданию сквозных MLOps-пайплайнов с правильной оркестрацией, мониторингом и стратегиями развёртывания.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "ml-pipeline-workflow". Design a batch training pipeline for a recommendation model that retrains weekly
Résultat attendu:
Архитектура пайплайна с запланированным извлечением данных из продакшен-базы данных, конструированием признаков на основе исторических пользовательских взаимодействий, распределённым обучением на GPU-кластере, валидацией на отложенном тестовом наборе и автоматическим развёртыванием в инфраструктуру обслуживания, если пороги производительности достигнуты. Включает отслеживание экспериментов MLflow и интеграцию с реестром моделей.
Utilisation de "ml-pipeline-workflow". How do I implement A/B testing for comparing two ML models in production?
Résultat attendu:
Фреймворк A/B-тестирования с распределением трафика между версиями моделей, сбором метрик для обеих моделей, проверкой статистической значимости и автоматическим выбором победителя на основе бизнес-метрик. Реализация использует feature flags для маршрутизации трафика и дашборды реального времени для мониторинга.
Utilisation de "ml-pipeline-workflow". What monitoring should I set up for a production ML pipeline?
Résultat attendu:
Комплексная стратегия мониторинга, включающая обнаружение дрейфа данных для входных признаков, метрики производительности модели, задержку и пропускную способность предсказаний, частоту ошибок и режимы отказов, использование ресурсов и проверки качества данных. Настроены оповещения при нарушении порогов с возможностью автоматического отката.
Audit de sécurité
SûrThis skill contains only documentation and guidance for ML pipeline workflows with no executable code. All static findings are false positives from pattern matching on markdown file extensions and documentation examples. The skill provides templates and best practices for MLOps workflows with no security concerns.
Score de qualité
Ce que vous pouvez construire
Создание нового ML-пайплайна с нуля
Проектирование и реализация полного MLOps-пайплайна для нового проекта машинного обучения с этапами загрузки данных, обучения, валидации и развёртывания.
Модернизация устаревших ML-рабочих процессов
Рефакторинг существующих ручных или фрагментированных ML-процессов в автоматизированные, оркестрируемые пайплайны с правильным версионированием и мониторингом.
Реализация стратегии развёртывания для продакшена
Настройка безопасных рабочих процессов развёртывания моделей с канареечными релизами, A/B-тестированием и автоматическим откатом для продакшен ML-систем.
Essayez ces prompts
Помогите спроектировать простой ML-пайплайн для модели классификации, который включает этапы валидации данных, обучения и развёртывания. Пайплайн должен работать на Airflow.
Создайте пайплайн подготовки данных, который проверяет качество входных данных, конструирует признаки и версионирует наборы данных для воспроизводимости. Включите Great Expectations для валидации.
Спроектируйте рабочий процесс валидации модели, который сравнивает новые модели с базовыми показателями, запускает тесты производительности и генерирует отчёты об одобрении перед развёртыванием.
Реализуйте рабочий процесс канареечного развёртывания ML-моделей с постепенным переносом трафика, автоматическим мониторингом производительности и триггерами отката, если метрики деградируют.
Bonnes pratiques
- Проектируйте пайплайны с модульными этапами, которые можно тестировать независимо, и реализуйте идемпотентность, чтобы повторный запуск этапов был безопасен без побочных эффектов.
- Версионируйте все артефакты, включая наборы данных, трансформации признаков, код моделей и обученные модели, используя такие инструменты, как DVC, MLflow или пользовательские системы версионирования.
- Реализуйте стратегии постепенного внедрения, начиная с теневых развёртываний, переходя к канареечным релизам и сохраняя возможности автоматического отката для продакшен-моделей.
Éviter
- Избегайте тесной связности этапов пайплайна или жёстко закодированных зависимостей, которые затрудняют тестирование компонентов изолированно или модификацию рабочего процесса.
- Не пропускайте этапы валидации и не развёртывайте модели напрямую в продакшен без надлежащего тестирования, сравнения с базовыми показателями и рабочих процессов одобрения.
- Никогда не игнорируйте мониторинг и оповещения для продакшен-моделей, так как это приводит к необнаруженной деградации производительности, дрейфу данных и отказам моделей.