ml-pipeline-workflow
Construire des Pipelines ML de Production
Également disponible depuis: wshobson
La construction de pipelines ML fiables nécessite l'orchestration des étapes de préparation des données, d'entraînement, de validation et de déploiement tout en maintenant la reproductibilité et la surveillance. Cette compétence fournit des modèles éprouvés et des meilleures pratiques pour créer des flux de travail MLOps de bout en bout qui évoluent du prototype à la production.
Télécharger le ZIP du skill
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
Activez et commencez à utiliser
Tester
Utilisation de "ml-pipeline-workflow". Concevoir un pipeline ML de base pour la classification d'images
Résultat attendu:
Voici une architecture de pipeline à 4 étapes : Étape 1 - Ingestion des données (charger les images, diviser train/val/test), Étape 2 - Ingénierie des features (augmentation, normalisation), Étape 3 - Entraînement du modèle (entraîner CNN avec journalisation des hyperparamètres), Étape 4 - Déploiement (emballer le modèle, déployer vers le endpoint de service). Chaque étape a une logique de retry indépendante et produit des artifacts versionnés.
Utilisation de "ml-pipeline-workflow". Comment implémenter un déploiement canary pour mon modèle ?
Résultat attendu:
Stratégie de déploiement canary : 1) Déployer le nouveau modèle sur 10% du traffic en utilisant le routage pondéré, 2) Surveiller les métriques clés (latence, taux d'erreur, qualité des prédictions) pendant 1-2 heures, 3) Si les métriques restent dans les seuils, augmenter progressivement à 50%, puis 100%, 4) Si des anomalies sont détectées, revenir automatiquement au modèle précédent. Utiliser MLflow ou similaire pour tracker les versions de modèles et la performance.
Audit de sécurité
SûrStatic analysis detected 17 potential issues (external_commands and weak cryptographic patterns), all of which are false positives. The flagged backtick patterns are markdown code formatting for file path references (e.g., `resources/implementation-playbook.md`), not shell execution. The cryptographic algorithm flags do not correspond to actual cryptographic code in the skill file. This is a documentation-only skill with no executable code, no network access, no file system operations, and no security risks.
Problèmes à risque faible (1)
Score de qualité
Ce que vous pouvez construire
Construire un Nouveau Pipeline ML
Créer un pipeline ML complet à partir de zéro avec une orchestration appropriée, une validation et des étapes de déploiement pour un système de machine learning de production.
Orchestrer les Workflows ML
Concevoir et implémenter l'automatisation de workflow basée sur des DAG pour des composants ML existants en utilisant des outils comme Airflow, Dagster ou Kubeflow Pipelines.
Déployer des Modèles en Production
Implémenter des stratégies de déploiement sûres incluant des déploiements canary, blue-green et des mécanismes de rollback automatique pour les modèles ML.
Essayez ces prompts
Concevoir un pipeline ML simple qui traite les données, entraîne un modèle et le déploie. Inclure les étapes clés et les dépendances.
Aidez-moi à mettre en place un workflow ML basé sur DAG en utilisant [Airflow/Dagster/Kubeflow]. J'ai des étapes [traitement des données/entraînement/validation] qui doivent s'exécuter en séquence.
Concevoir une stratégie de déploiement pour mon modèle ML qui inclut le testing canary et le rollback automatique. Le modèle sert des prédictions [description].
Créer un pipeline d'entraînement continu qui réentraîne mon modèle quand une dérive des données est détectée. Inclure les déclencheurs de surveillance et les portes de validation.
Bonnes pratiques
- Concevoir chaque étape du pipeline pour être modulaire et testable indépendamment pour un débogage et une maintenance plus faciles
- Implémenter des étapes idempotentes pour que réexécuter n'importe quelle partie du pipeline soit sûr et produise des résultats cohérents
- Versionner tous les artifacts incluant les datasets, modèles et configurations pour une reproductibilité complète et des capacités de rollback
Éviter
- Éviter les étapes de pipeline monolithiques qui combinent de multiples responsabilités, car cela rend le débogage difficile et réduit la réutilisabilité
- Ne pas sauter la validation des données entre les étapes, car des données invalides peuvent causer des échecs silencieux en aval difficiles à diagnostiquer
- Ne jamais déployer des modèles directement à 100% du traffic de production sans testing de validation ou mécanismes de déploiement progressif