ml-pipeline-workflow
使用端到端協調建構生產級機器學習管線
機器學習團隊苦於無法將資料準備、訓練、驗證和部署連接成可靠的生产流程。本技能提供全面的指導，教您如何建構具有適當協調、監控和部署策略的端到端 MLOps 管線。
下載技能 ZIP
在 Claude 中上傳
前往 設定 → 功能 → 技能 → 上傳技能
開啟並開始使用
測試它
正在使用「ml-pipeline-workflow」。 設計一個每週重新訓練的推薦模型批次訓練管線
預期結果:
具有排程資料擷取的管線架構，從生產資料庫獲取資料，使用歷史用戶互動進行特徵工程，在 GPU 叢集上進行分散式訓練，針對保留測試集進行驗證，如果效能閾值達標則自動部署到服務基礎設施。包含 MLflow 實驗追蹤和模型註冊表整合。
正在使用「ml-pipeline-workflow」。 如何在生產環境中實作 A/B 測試來比較兩個機器學習模型？
預期結果:
A/B 測試框架，在模型版本之間進行流量分流，收集兩個模型的指標，進行統計顯著性測試，並根據業務指標自動選擇贏家。實作使用功能標誌進行流量路由和即時監控儀表板。
正在使用「ml-pipeline-workflow」。 我應該為生產機器學習管線設置什麼監控？
預期結果:
全面的監控策略，包含輸入特徵的資料漂移檢測、模型效能指標、預測延遲和吞吐量、錯誤率和失敗模式、資源利用率，以及資料品質檢查。為閾值違規配置警報，並具有自動化 rollback 功能。
安全審計
安全This skill contains only documentation and guidance for ML pipeline workflows with no executable code. All static findings are false positives from pattern matching on markdown file extensions and documentation examples. The skill provides templates and best practices for MLOps workflows with no security concerns.
品質評分
你能建構什麼
從頭開始建構新的機器學習管線
為新的機器學習專案設計和實作完整的 MLOps 管線，包含資料擷取、訓練、驗證和部署階段。
現代化既有機器學習工作流程
將現有手動或零散的機器學習流程重構為自動化、協調的管線，並具有適當的版本控制和監控。
實作生產部署策略
為生產機器學習系統設置安全的模型部署工作流程，包含金絲雀發布、A/B 測試和自動化 rollback。
試試這些提示
幫我設計一個簡單的機器學習管線，用於分類模型，包含資料驗證、訓練和部署階段。管線應該在 Airflow 上運行。
建立一個資料準備管線，驗證輸入資料品質、工程化特徵，並對資料集進行版本控制以確保可重現性。包含用於驗證的 Great Expectations。
設計一個模型驗證工作流程，將新模型與基準比較，運行效能測試，並在部署前生成審批報告。
實作機器學習模型的金絲雀部署工作流程，包含漸進式流量推出、自動化效能監控，以及如果指標惡化時的 rollback 觸發器。
最佳實務
- 設計管線時採用可獨立測試的模組化階段，並實作等冪性，使重新運行階段是安全的，不會產生副作用。
- 對所有工件進行版本控制，包括資料集、特徵轉換、模型程式碼和訓練過的模型，使用 DVC、MLflow 或自訂版本控制系統。
- 實作漸進式推出策略，從 shadow 部署開始，逐步進行金絲雀發布，並為生產模型維護自動化 rollback 功能。
避免
- 避免緊密耦合管線階段或硬編碼依賴關係，這會使元件難以隔離測試或修改工作流程。
- 不要跳過驗證階段或在沒有適當測試、與基準比較和審批工作流程的情況下直接將模型部署到生產環境。
- 永遠不要忽視生產模型的監控和警報，因為這會導致未檢測到的效能下降、資料漂移和模型失敗。