Fähigkeiten airunway-aks-setup
📦

airunway-aks-setup

Niedriges Risiko

Настройка AI Runway на AKS: от пустого кластера до работающей модели

Развёртывание LLM в Azure Kubernetes Service требует оркестрации нескольких компонентов, включая GPU-узлы, провайдеры инференса и артефакты моделей. Этот навык проведёт вас через полный процесс настройки — от проверки кластера до первого успешного развёртывания модели.

Unterstützt: Claude Codex Code(CC)
🥉 72 Bronze
1

Die Skill-ZIP herunterladen

2

In Claude hochladen

Gehe zu Einstellungen → Fähigkeiten → Skills → Skill hochladen

3

Einschalten und loslegen

Teste es

Verwendung von "airunway-aks-setup". Set up AI Runway on my AKS cluster

Erwartetes Ergebnis:

Шаг 1 - Проверка кластера:
✓ kubectl найден
✓ make найден
✓ curl найден
✓ Контекст кластера: my-cluster
✓ Узлы: 3 всего, обнаружен 1 GPU-узел
- GPU-узел: Standard_A100_80GB
- VRAM: 80 GB
- bfloat16: Поддерживается

Готовы перейти к шагу 2?

Verwendung von "airunway-aks-setup". Deploy a model with 8B parameters on my cluster

Erwartetes Ergebnis:

Рекомендация: meta-llama/Llama-3.1-8B-Instruct
Провайдер: KAITO (vLLM)
Причина: Ваш A100-80GB имеет ёмкость для 8B-моделей с опциями тензорного параллелизма.


Это gated-модель, требующая HuggingFace access token. Продолжить с сбором токена?

Sicherheitsaudit

Niedriges Risiko
v1 • 4/24/2026

This is a legitimate Microsoft-published documentation skill for AI Runway AKS setup. Static scanner flagged documentation files containing bash/PowerShell code examples as potential security issues. After evaluation, all findings are false positives: the skill provides markdown documentation with command examples for human execution, not executable code. No actual command injection, path traversal vulnerabilities, or malicious patterns exist. The skill is safe for publication with low risk level.

11
Gescannte Dateien
619
Analysierte Zeilen
1
befunde
1
Gesamtzahl Audits
Probleme mit niedrigem Risiko (1)
Documentation Code Examples Misidentified as Shell Execution
Static scanner flagged markdown files with bash/PowerShell code blocks as 'Ruby/shell backtick execution'. These are documentation files providing command examples for users to execute manually. No actual shell execution occurs. Pattern matchers cannot distinguish between executable code and human-readable documentation.
Auditiert von: claude

Qualitätsbewertung

50
Architektur
100
Wartbarkeit
87
Inhalt
31
Community
88
Sicherheit
91
Spezifikationskonformität

Was du bauen kannst

Первое развёртывание AI Runway

Вы впервые работаете с AI Runway на AKS. Полное пошаговое руководство от проверки кластера до первого работающего развёртывания модели с GPU-ускорением.

Оценка GPU-возможностей

Обнаружение доступного GPU-оборудования, проверка поддержки dtype (bfloat16, float16) и получение рекомендаций по моделям на основе объёма VRAM вашего кластера.

Устранение неудачных развёртываний

Продолжение с определённого шага после частичной настройки или выполнение процедур отката для отмены неудачного развёртывания и начала с чистого листа.

Probiere diese Prompts

Базовая настройка AI Runway
Set up AI Runway on my AKS cluster. I have an existing cluster with GPU nodes.
Продолжение с определённого шага
Skip to step 4 and set up the KAITO inference provider on my AKS cluster.
Только оценка GPU
Check what GPUs are available in my AKS cluster and tell me which models I can run.
Развёртывание конкретной модели
Deploy the Llama-3.1-8B model to my AKS cluster using AI Runway. I have an A100-80GB node.

Bewährte Verfahren

  • Всегда подтверждайте доступность GPU-узлов и объём VRAM перед выбором размера модели
  • Начните с не-gated моделей, таких как Phi-3 или Gemma, чтобы проверить настройку перед использованием gated-моделей
  • Используйте параметр skip-to-step для продолжения с определённых шагов после прерываний

Vermeiden

  • Не запускайте этот навык без предварительного подтверждения, что вы понимаете стоимость GPU-вычислений в Azure
  • Не пропускайте проверку кластера — понимание вашего GPU-оборудования необходимо для выбора модели
  • Не пытайтесь использовать gated-модели (Llama и др.), пока не проверили настройку с не-gated моделью

Häufig gestellte Fragen

Что такое AI Runway?
AI Runway — это фреймворк для Kubernetes, предназначенный для развёртывания и управления LLM-инференсом в Azure Kubernetes Service. Он предоставляет Custom Resource Definitions для развёртывания моделей и интегрируется с провайдерами инференса, такими как KAITO, Dynamo и KubeRay.
Нужен ли мне существующий AKS-кластер?
Да. Этот навык предполагает, что у вас уже есть AKS-кластер. Если вам нужно создать кластер, сначала используйте навык azure-kubernetes для создания кластера с GPU-узлами, а затем вернитесь к этому навыку.
Какие GPU поддерживаются?
AI Runway поддерживает NVIDIA GPU, включая T4, V100, A10, A10G, L4, L40S, A100, H100 и H200. Каждый из них имеет разную поддержку dtype — старые GPU, такие как T4 и V100, не поддерживают bfloat16.
Почему моё развёртывание завершилось с ошибками bfloat16?
GPU T4 и V100 не поддерживают точность bfloat16. Добавьте --dtype float16 к аргументам serving или переключитесь на бэкенд xformers attention. Проверьте gpu-profiles.md для конкретных ограничений вашего GPU.
Сколько времени занимает развёртывание модели?
Небольшие модели (1B-8B) обычно развёртываются за 5-10 минут. Большие модели (70B+) могут занять 20-40+ минут, поскольку веса модели должны сначала быть загружены с HuggingFace. Проверьте логи pod для отслеживания прогресса загрузки.
Как выполнить откат неудачного развёртывания?
Используйте kubectl delete для развёртываний моделей и секретов. Для провайдеров и контроллеров используйте команды make из корня репозитория AI Runway. См. troubleshooting.md для полной последовательности отката.