rag-engineer
Создание производственных RAG-систем
RAG-системы часто не работают из-за плохих стратегий чанкования и наивного поиска. Этот навык предоставляет экспертные паттерны для семантического чанкования, гибридного поиска и оптимизации контекста для создания производственных систем поиска.
Скачать ZIP навыка
Загрузить в Claude
Перейдите в Settings → Capabilities → Skills → Upload skill
Включите и начните использовать
Протестировать
Использование «rag-engineer». Как мне следует чанковать PDF-документы с заголовками и таблицами для RAG-системы?
Ожидаемый результат:
Используйте семантическое чанкование, учитывающее структуру документа: (1) Распарсите PDF для извлечения заголовков, абзацев и границ таблиц, (2) Чанкуйте на уровне абзацев, сохраняя метаданные заголовков, (3) Добавьте 10-20% перекрытия между чанками для непрерывности контекста, (4) Сохраните структурные метаданные для фильтрации при поиске. Этот подход сохраняет смысл лучше, чем чанкование фиксированным числом токенов.
Использование «rag-engineer». Моя RAG-система возвращает релевантные документы, но ответы всё равно плохие. Как мне это отладить?
Ожидаемый результат:
Разделите оценку поиска и генерации: (1) Проверьте точность поиска, вручную проверив top-k результаты, (2) Измерьте hit rate и MRR на тестовом наборе, (3) Если поиск в порядке, проблема в вашем промпте или выборе LLM. Частое решение: добавьте этап переранжирования между первоначальным поиском и финальной генерацией.
Аудит безопасности
БезопасноAll 16 static findings evaluated as false positives. The skill is a legitimate RAG (Retrieval-Augmented Generation) engineering documentation skill. External commands flagged are markdown code fence syntax (backticks) showing JavaScript examples. Cryptographic and reconnaissance warnings match keywords in context of semantic search and data pipelines, not security-relevant code.
Критические проблемы (3)
Оценка качества
Что вы можете построить
Построение системы вопрос-ответ для документов
Создание RAG-системы вопрос-ответ, которая точно извлекает релевантный контекст из больших коллекций документов
Улучшение точности существующей RAG-системы
Диагностика и исправление проблем качества поиска в существующей RAG-реализации с использованием продвинутого чанкования и гибридного поиска
Проектирование системы многошагового рассуждения
Архитектура системы, способной отвечать на сложные вопросы, требующие информации из нескольких исходных документов
Попробуйте эти промпты
Как мне следует чанковать мои [document type] для RAG-системы? Какие стратегии сохраняют смысл и контекст?
Спроектируйте систему гибридного поиска, сочетающую сопоставление ключевых слов BM25 с векторным сходством. Как объединить оценки?
Как мне оценить мою систему поиска отдельно от генерации LLM? Какие метрики следует отслеживать?
Мой извлечённый контекст превышает контекстное окно LLM. Как выбрать наиболее релевантные чанки, сохранив связность?
Лучшие практики
- Всегда оценивайте качество поиска отдельно от генерации, используя метрики вроде hit rate и MRR
- Используйте семантическое чанкование, учитывающее структуру документа, а не фиксированное количество токенов
- Реализуйте гибридный поиск для объединения семантического понимания с точным сопоставлением ключевых слов
Избегать
- Использование чанкования фиксированного размера независимо от структуры контента — это разрывает предложения и теряет смысл
- Эмбеддинг всего без фильтрации — увеличивает стоимость и снижает релевантность
- Пропуск оценки поиска — предположение, что проблемы генерации всегда являются проблемами LLM