ml-pipeline-workflow
Construye Pipelines de ML de Producción con Orquestación End-to-End
Los equipos de aprendizaje automático tienen dificultades para conectar la preparación de datos, el entrenamiento, la validación y el despliegue en flujos de trabajo de producción confiables. Esta skill proporciona orientación integral para construir pipelines de MLOps end-to-end con estrategias adecuadas de orquestación, monitoreo y despliegue.
Descargar el ZIP de la skill
Subir en Claude
Ve a Configuración → Capacidades → Skills → Subir skill
Activa y empieza a usar
Pruébalo
Usando "ml-pipeline-workflow". Diseña un pipeline de entrenamiento por lotes para un modelo de recomendación que se reentrene semanalmente
Resultado esperado:
Arquitectura de pipeline con ingesta programada de datos desde base de datos de producción, ingeniería de características con interacciones históricas de usuarios, entrenamiento distribuido en clúster GPU, validación contra conjunto de prueba retenido y despliegue automatizado a infraestructura de servicio si se cumplen los umbrales de rendimiento. Incluye seguimiento de experimentos MLflow e integración con registro de modelos.
Usando "ml-pipeline-workflow". ¿Cómo implemento pruebas A/B para comparar dos modelos de ML en producción?
Resultado esperado:
Framework de pruebas A/B con división de tráfico entre versiones de modelos, recopilación de métricas para ambos modelos, pruebas de significancia estadística y selección automatizada del ganador basada en métricas de negocio. La implementación usa feature flags para enrutamiento de tráfico y dashboards de monitoreo en tiempo real.
Usando "ml-pipeline-workflow". ¿Qué monitoreo debería configurar para un pipeline de ML en producción?
Resultado esperado:
Estrategia integral de monitoreo que incluye detección de drift de datos para características de entrada, métricas de rendimiento del modelo, latencia y rendimiento de predicciones, tasas de error y modos de fallo, utilización de recursos y verificaciones de calidad de datos. Alertas configuradas para violaciones de umbrales con capacidades de rollback automatizado.
Auditoría de seguridad
SeguroThis skill contains only documentation and guidance for ML pipeline workflows with no executable code. All static findings are false positives from pattern matching on markdown file extensions and documentation examples. The skill provides templates and best practices for MLOps workflows with no security concerns.
Puntuación de calidad
Lo que puedes crear
Construir un Nuevo Pipeline de ML desde Cero
Diseñar e implementar un pipeline completo de MLOps para un nuevo proyecto de aprendizaje automático con etapas de ingesta de datos, entrenamiento, validación y despliegue.
Modernizar Flujos de Trabajo de ML Heredados
Refactorizar procesos de ML existentes manuales o fragmentados en pipelines automatizados y orquestados con versionado y monitoreo adecuados.
Implementar Estrategia de Despliegue en Producción
Configurar flujos de trabajo seguros de despliegue de modelos con lanzamientos canary, pruebas A/B y rollback automatizado para sistemas de ML en producción.
Prueba estos prompts
Ayúdame a diseñar un pipeline de ML simple para un modelo de clasificación que incluya etapas de validación de datos, entrenamiento y despliegue. El pipeline debería ejecutarse en Airflow.
Crea un pipeline de preparación de datos que valide la calidad de los datos de entrada, ingeniera características y versione conjuntos de datos para reproducibilidad. Incluye Great Expectations para validación.
Diseña un flujo de trabajo de validación de modelos que compare nuevos modelos contra líneas base, ejecute pruebas de rendimiento y genere reportes de aprobación antes del despliegue.
Implementa un flujo de trabajo de despliegue canary para modelos de ML con despliegue gradual de tráfico, monitoreo automatizado de rendimiento y activadores de rollback si las métricas se degradan.
Mejores prácticas
- Diseña pipelines con etapas modulares que puedan probarse independientemente e implementa idempotencia para que re-ejecutar etapas sea seguro sin efectos secundarios.
- Versiona todos los artefactos incluyendo conjuntos de datos, transformaciones de características, código del modelo y modelos entrenados usando herramientas como DVC, MLflow o sistemas de versionado personalizados.
- Implementa estrategias de despliegue gradual comenzando con despliegues shadow, progresando a lanzamientos canary y manteniendo capacidades de rollback automatizado para modelos en producción.
Evitar
- Evita acoplar fuertemente las etapas del pipeline o codificar dependencias de forma rígida que dificulten probar componentes de forma aislada o modificar el flujo de trabajo.
- No omitas etapas de validación ni despliegues modelos directamente a producción sin pruebas adecuadas, comparación contra líneas base y flujos de trabajo de aprobación.
- Nunca ignores el monitoreo y alertas para modelos en producción ya que esto conduce a degradación de rendimiento no detectada, drift de datos y fallas del modelo.
Preguntas frecuentes
¿Qué herramienta de orquestación debería usar para pipelines de ML?
¿Cómo manejo el versionado y rollback de modelos?
¿Cuál es la diferencia entre pipelines de ML por lotes y en tiempo real?
¿Cómo implemento validación de datos en pipelines de ML?
¿Qué métricas debería rastrear para la salud del pipeline de ML?
¿Cómo pruebo pipelines de ML antes del despliegue en producción?
Detalles del desarrollador
Autor
wshobsonLicencia
MIT
Repositorio
https://github.com/wshobson/agents/tree/main/plugins/machine-learning-ops/skills/ml-pipeline-workflowRef.
main
Estructura de archivos
📄 SKILL.md