airunway-aks-setup
从裸集群到模型运行:AKS 上的 AI Runway 完整部署指南
在 Azure Kubernetes Service 上部署 LLM 需要协调多个组件,包括 GPU 节点、推理服务提供程序和模型制品。本技能将引导您完成从集群验证到首个模型部署的完整设置流程。
下载技能 ZIP
在 Claude 中上传
前往 设置 → 功能 → 技能 → 上传技能
开启并开始使用
测试它
正在使用“airunway-aks-setup”。 Set up AI Runway on my AKS cluster
预期结果:
Step 1 - 集群验证:
✓ kubectl 已找到
✓ make 已找到
✓ curl 已找到
✓ 集群上下文: my-cluster
✓ 节点: 共 3 个,已检测到 1 个 GPU 节点
- GPU 节点: Standard_A100_80GB
- VRAM: 80 GB
- bfloat16: 支持
准备好继续第 2 步了吗?
正在使用“airunway-aks-setup”。 Deploy a model with 8B parameters on my cluster
预期结果:
推荐: meta-llama/Llama-3.1-8B-Instruct
服务提供程序: KAITO (vLLM)
原因: 您的 A100-80GB 有能力运行 8B 模型,支持张量并行选项。
这是一个需要 HuggingFace 访问令牌才能使用的受控模型。是否继续收集令牌?
安全审计
低风险This is a legitimate Microsoft-published documentation skill for AI Runway AKS setup. Static scanner flagged documentation files containing bash/PowerShell code examples as potential security issues. After evaluation, all findings are false positives: the skill provides markdown documentation with command examples for human execution, not executable code. No actual command injection, path traversal vulnerabilities, or malicious patterns exist. The skill is safe for publication with low risk level.
低风险问题 (1)
质量评分
你能构建什么
首次 AI Runway 部署
AI Runway on AKS 新手指南。从集群验证到使用 GPU 加速的首个模型部署,全程详解。
GPU 能力评估
了解可用的 GPU 硬件、检查 dtype 支持(bfloat16、float16),并根据集群 VRAM 容量获取模型推荐。
排查部署失败问题
从特定步骤恢复以继续部分完成的设置,或按照回滚步骤撤销失败的部署并重新开始。
试试这些提示
Set up AI Runway on my AKS cluster. I have an existing cluster with GPU nodes.
Skip to step 4 and set up the KAITO inference provider on my AKS cluster.
Check what GPUs are available in my AKS cluster and tell me which models I can run.
Deploy the Llama-3.1-8B model to my AKS cluster using AI Runway. I have an A100-80GB node.
最佳实践
- 在选择模型大小之前,始终确认 GPU 节点可用性和 VRAM 容量
- 首先使用 Phi-3 或 Gemma 等非受控模型验证设置,然后再使用受控模型
- 使用跳过步骤参数在中断后从特定步骤恢复
避免
- 在首先确认您了解 Azure 上的 GPU 计算成本之前,请勿运行此技能
- 请勿跳过集群验证——了解您的 GPU 硬件是选择模型的必要前提
- 在用非受控模型验证设置之前,请勿尝试受控模型(如 Llama 等)