Навыки voice-ai-development
🎙️

voice-ai-development

Безопасно

Создание приложений голосового ИИ в реальном времени

Приложения голосового ИИ требуют тщательной координации распознавания речи, языковых моделей и синтеза речи. Этот навык предоставляет экспертные рекомендации по созданию отзывчивых голосовых агентов с использованием OpenAI Realtime API, Vapi, Deepgram и ElevenLabs.

Поддерживает: Claude Codex Code(CC)
📊 69 Адекватно
1

Скачать ZIP навыка

2

Загрузить в Claude

Перейдите в Settings → Capabilities → Skills → Upload skill

3

Включите и начните использовать

Протестировать

Использование «voice-ai-development». How do I set up a voice agent with Vapi?

Ожидаемый результат:

Вот как создать базового голосового агента с Vapi:

1. Установите Vapi SDK: `pip install vapi`
2. Создайте клиент Vapi с вашим API-ключом
3. Определите вашего ассистента с настройками модели, голоса и транскрибера
4. Настройте webhook для обработки событий разговора

Конфигурация ассистента включает выбор провайдера (OpenAI, Anthropic), выбор голоса (голоса ElevenLabs) и настройки транскрипции (модели Deepgram).

Использование «voice-ai-development». What is the best approach for low-latency voice AI?

Ожидаемый результат:

Для оптимальной задержки:

1. Транслируйте всё — используйте промежуточные результаты STT, потоковую передачу токенов LLM и чанковый вывод TTS
2. Запускайте TTS до завершения LLM — начинайте говорить во время генерации
3. Используйте близость — развёртывайте сервисы в регионах рядом с пользователями
4. Выбирайте быстрые модели — eleven_turbo_v2_5 для TTS, nova-2 для STT
5. Реализуйте правильное разбиение аудио — отправляйте небольшие буферы часто

Цель — удерживать воспринимаемую задержку ниже 700 мс для естественного разговора.

Аудит безопасности

Безопасно
v1 • 2/25/2026

Security analysis confirms this is a legitimate voice AI development skill. Static findings for external_commands, env_access, and weak_crypto are all false positives - the scanner misidentified markdown code fences as shell commands and placeholder API key patterns as actual secrets. No malicious code detected.

1
Просканировано файлов
307
Проанализировано строк
2
находки
1
Всего аудитов

Проблемы высокого риска (2)

SKILL.md:48SKILL.md:53SKILL.md:118SKILL.md:196SKILL.md:229
Environment Variable Access Pattern (False Positive)
Scanner detected API key patterns at SKILL.md lines 48, 53, 118, 196, 229. These are placeholder examples showing API key usage structure, not actual secrets. Values like 'sk-...' and '...' are documentation placeholders.
SKILL.md:42SKILL.md:103SKILL.md:111SKILL.md:182SKILL.md:190SKILL.md:256SKILL.md:303
External Command Execution (False Positive)
Scanner detected 'Ruby/shell backtick execution' at 8 locations. These are markdown code fences (```python) in the SKILL.md documentation, not actual shell commands being executed.
Проверено: claude

Оценка качества

38
Архитектура
100
Сопровождаемость
87
Контент
32
Сообщество
85
Безопасность
91
Соответствие спецификации

Что вы можете построить

Голосовой агент поддержки клиентов

Создайте интерактивного голосового агента, который обрабатывает запросы клиентов, маршрутизирует звонки и обеспечивает круглосуточную поддержку с использованием Vapi и Deepgram.

Голосовой ассистент в реальном времени

Создайте голосового ассистента с минимальной задержкой с использованием OpenAI Realtime API для естественного разговорного опыта в веб- или мобильных приложениях.

Голосовой интерфейс для доступности

Добавьте голосовой ввод и вывод в существующие приложения для улучшения доступности для пользователей, предпочитающих голосовое взаимодействие.

Попробуйте эти промпты

Базовая настройка голосового агента 
Помогите мне настроить базового голосового агента ИИ с использованием Vapi. Я хочу создать простого агента, который может отвечать на вопросы о моём продукте, используя модель OpenAI и голос ElevenLabs.
Интеграция OpenAI Realtime API 
Покажите, как реализовать OpenAI Realtime API для голосового приложения. Мне нужно обработать аудиоввод с микрофона, отправить его в GPT-4o и транслировать аудиоответ обратно.
Оптимизация задержки 
Мой голосовой агент работает медленно. Пользователь говорит, затем следует долгая пауза перед ответом. Как я могу оптимизировать мой конвейер, чтобы уменьшить воспринимаемую задержку? Я использую Deepgram для STT и ElevenLabs для TTS.
Обработка прерываний 
Как реализовать обнаружение перебивания, чтобы пользователи могли прерывать голосовой агент во время его речи? Я хочу, чтобы агент немедленно останавливался, когда пользователь начинает говорить.

Лучшие практики

  • Всегда транслируйте аудио на каждом этапе конвейера — промежуточные результаты STT, потоковую передачу токенов LLM и чанковый вывод TTS
  • Начинайте генерацию TTS до завершения ответа LLM, чтобы минимизировать воспринимаемую задержку
  • Реализуйте правильную обработку прерываний с VAD для определения, когда пользователи хотят говорить

Избегать

  • Ожидание полной транскрипции STT перед отправкой в LLM — это добавляет секунды задержки
  • Игнорирование прерываний пользователей — неспособность остановить TTS, когда пользователь начинает говорить, создаёт разочаровывающие разговоры
  • Использование одного провайдера для всего — комбинирование специализированных провайдеров (Deepgram для STT, ElevenLabs для TTS) даёт лучшие результаты

Часто задаваемые вопросы

В чём разница между OpenAI Realtime API и Vapi?
OpenAI Realtime API обеспечивает собственные возможности голосовой связи, интегрированные с GPT-4o. Vapi — это платформа, упрощающая развёртывание голосовых агентов с готовой инфраструктурой, поддержкой телефонии и более простой настройкой. OpenAI даёт больше контроля; Vapi обеспечивает более быструю настройку.
Как уменьшить задержку в моём голосовом приложении?
Ключевые стратегии: транслируйте все компоненты (STT, LLM, TTS), запускайте TTS до завершения LLM, используйте быстрые модели (nova-2 для Deepgram, turbo для ElevenLabs), развёртывайте рядом с пользователями и реализуйте правильное разбиение аудио.
Могу ли я использовать свой собственный голос с ElevenLabs?
Да, ElevenLabs позволяет загружать образцы голоса для создания клона пользовательского голоса. Вам нужны чистые аудиозаписи целевого голоса. Это требует согласия владельца голоса.
Как обрабатывать несколько пользователей одновременно?
Каждый пользовательский сеанс требует отдельного WebRTC-соединения. Отслеживайте состояние сеанса для каждого пользователя, управляйте одновременными API-соединениями и реализуйте правильную масштабируемую инфраструктуру, такую как LiveKit, для обработки нескольких голосовых потоков.
Что такое перебивание и почему это важно?
Перебивание позволяет пользователям прерывать голосового агента во время его речи. Это важно, потому что ожидание завершения речи агента раздражает. Реализуйте с помощью определения голосовой активности (VAD) для обнаружения речи пользователя и немедленной остановки вывода TTS.
Какие провайдеры лучше всего работают вместе?
Распространённая высококачественная комбинация: Deepgram для STT (быстрый, точный), ElevenLabs для TTS (естественные голоса), и OpenAI или Anthropic для LLM. Каждый провайдер превосходен в своей конкретной задаче.

Сведения для разработчиков

Автор

sickn33

Лицензия

MIT

Репозиторий

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/voice-ai-development

Ссылка

main

Структура файлов

📄 SKILL.md