ml-pipeline-workflow
Construire des pipelines ML de production avec orchestration de bout en bout
Les équipes de machine learning ont du mal à connecter la préparation des données, l'entraînement, la validation et le déploiement en flux de travail de production fiables. Cette compétence fournit des conseils complets pour construire des pipelines MLOps de bout en bout avec des stratégies appropriées d'orchestration, de surveillance et de déploiement.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "ml-pipeline-workflow". Conçois un pipeline d'entraînement par lot pour un modèle de recommandation qui se réentraîne chaque semaine
Résultat attendu:
Architecture de pipeline avec ingestion de données planifiée depuis la base de données de production, ingénierie des caractéristiques avec interactions utilisateur historiques, entraînement distribué sur cluster GPU, validation contre ensemble de test isolé, et déploiement automatisé vers l'infrastructure de service si les seuils de performance sont atteints. Inclut l'intégration du suivi des expériences MLflow et du registre de modèles.
Utilisation de "ml-pipeline-workflow". Comment implémenter des tests A/B pour comparer deux modèles ML en production ?
Résultat attendu:
Framework de tests A/B avec répartition du trafic entre versions de modèles, collecte de métriques pour les deux modèles, tests de signification statistique, et sélection automatisée du gagnant basée sur les métriques métier. L'implémentation utilise des feature flags pour le routage du trafic et des tableaux de bord de surveillance en temps réel.
Utilisation de "ml-pipeline-workflow". Quelle surveillance devrais-je mettre en place pour un pipeline ML de production ?
Résultat attendu:
Stratégie de surveillance complète incluant la détection de dérive des données pour les caractéristiques d'entrée, les métriques de performance du modèle, la latence et le débit des prédictions, les taux d'erreur et modes de défaillance, l'utilisation des ressources, et les vérifications de qualité des données. Alertes configurées pour les violations de seuils avec capacités de rollback automatisé.
Audit de sécurité
SûrThis skill contains only documentation and guidance for ML pipeline workflows with no executable code. All static findings are false positives from pattern matching on markdown file extensions and documentation examples. The skill provides templates and best practices for MLOps workflows with no security concerns.
Score de qualité
Ce que vous pouvez construire
Construire un nouveau pipeline ML depuis zéro
Concevoir et implémenter un pipeline MLOps complet pour un nouveau projet de machine learning avec des étapes d'ingestion de données, d'entraînement, de validation et de déploiement.
Moderniser les flux de travail ML existants
Refactoriser les processus ML manuels ou fragmentés existants en pipelines automatisés et orchestrés avec versionnage et surveillance appropriés.
Implémenter une stratégie de déploiement en production
Configurer des flux de travail de déploiement de modèles sécurisés avec versions canary, tests A/B et rollback automatisé pour les systèmes ML de production.
Essayez ces prompts
Aide-moi à concevoir un pipeline ML simple pour un modèle de classification qui inclut des étapes de validation des données, d'entraînement et de déploiement. Le pipeline devrait s'exécuter sur Airflow.
Crée un pipeline de préparation des données qui valide la qualité des données d'entrée, ingénie les caractéristiques et versionne les ensembles de données pour la reproductibilité. Inclus Great Expectations pour la validation.
Conçois un flux de travail de validation de modèle qui compare les nouveaux modèles aux références, exécute des tests de performance et génère des rapports d'approbation avant le déploiement.
Implémente un flux de travail de déploiement canary pour les modèles ML avec déploiement progressif du trafic, surveillance automatisée des performances et déclencheurs de rollback si les métriques se dégradent.
Bonnes pratiques
- Concevoir les pipelines avec des étapes modulaires pouvant être testées indépendamment et implémenter l'idempotence pour que la réexécution des étapes soit sûre sans effets secondaires.
- Versionner tous les artefacts incluant les ensembles de données, les transformations de caractéristiques, le code du modèle et les modèles entraînés en utilisant des outils comme DVC, MLflow ou des systèmes de versionnage personnalisés.
- Implémenter des stratégies de déploiement progressif en commençant par des déploiements shadow, en progressant vers des versions canary, et en maintenant des capacités de rollback automatisé pour les modèles de production.
Éviter
- Éviter de coupler étroitement les étapes du pipeline ou de coder en dur les dépendances, ce qui rend difficile le test des composants de manière isolée ou la modification du flux de travail.
- Ne pas ignorer les étapes de validation ni déployer des modèles directement en production sans tests appropriés, comparaison avec les références et flux d'approbation.
- Ne jamais ignorer la surveillance et les alertes pour les modèles de production car cela conduit à une dégradation des performances non détectée, une dérive des données et des défaillances de modèles.