Оценивайте LLM-приложения с помощью надежных метрик
Командам, работающим с LLM, нужны воспроизводимые способы измерять качество, безопасность и регрессии. Этот навык помогает проектировать наборы оценок с метриками, экспертной проверкой, LLM-судьями, бенчмарками и A/B-тестами.
Скопируйте этот запрос в своего Агента. Он содержит каноническую страницу Skill и манифест.
Review the Skillstore skill "llm-evaluation" from https://skillstore.io/skills/sickn33-llm-evaluation.md and its manifest at https://skillstore.io/api/skills/sickn33-llm-evaluation/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.Ваш Агент по-прежнему должен показать план и запросить все подтверждения, требуемые политикой безопасности.
Используйте эти ссылки, когда AI-агенту, crawler или script нужен чистый контекст вместо полной страницы.
Использование «llm-evaluation». Оценить чат-бота службы поддержки перед релизом.
Ожидаемый результат:
Сбалансированный план с точностью распознавания намерений, обоснованностью на источниках, проверкой безопасности, формами человеческой оценки, базовыми порогами и еженедельными отчетами о регрессиях.
Использование «llm-evaluation». Сравнить два промпта для retrieval-augmented generation.
Ожидаемый результат:
Процесс сравнения с использованием релевантности, верности ответа источникам, попарной оценки, доверительных интервалов и явного правила принятия решения о продвижении.
Использование «llm-evaluation». Обнаружить падение качества после изменения промпта.
Ожидаемый результат:
Чеклист регрессии с базовыми оценками, порогами относительного изменения, неудачными примерами и рекомендуемыми шагами расследования.
All static findings appear to be false positives from Markdown backticks, fenced Python examples, a dictionary keys() call, and ordinary evaluation terminology. I found no evidence of prompt injection, malicious intent, command execution, credential material, or network reconnaissance in SKILL.md.
Делитесь версионным отчетом об оценке, нейтральным значком, встраиваемой карточкой и цитатами. Skillstore публикует доказательства, не решая, безопасен ли этот Skill.
https://skillstore.io/skills/sickn33-llm-evaluation/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report[](https://skillstore.io/skills/sickn33-llm-evaluation?utm_source=security_passport_badge)<a href="https://skillstore.io/skills/sickn33-llm-evaluation?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/sickn33-llm-evaluation/security.svg" alt="Skillstore security assessment" loading="lazy"></a><iframe src="https://skillstore.io/embed/skills/sickn33-llm-evaluation.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>sickn33. (2026). llm-evaluation security audit report (audit version 4) [Author version unspecified]. Skillstore. https://skillstore.io/skills/sickn33-llm-evaluation/audits/4@techreport{sickn33-sickn33-llm-evaluation-2026,
author = {sickn33},
title = {llm-evaluation security audit report (audit version 4)},
institution = {Skillstore},
year = {2026},
number = {4},
url = {https://skillstore.io/skills/sickn33-llm-evaluation/audits/4},
note = {Author version unspecified}
}cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "llm-evaluation security audit report (audit version 4)"
version: "unspecified"
type: report
authors:
- name: "sickn33"
date-released: "2026-07-07"
url: "https://skillstore.io/skills/sickn33-llm-evaluation/audits/4"
identifiers:
- type: other
value: "skillstore:sickn33-llm-evaluation:audit:4"
description: "Skillstore immutable audit report identifier"
Навык каждого автора остаётся отдельным устанавливаемым вариантом. Рекомендуемый вариант ранжируется по данным Skillstore.
Почему этот вариант первый
wshobson-llm-evaluation
2026-09-09
sickn33-llm-evaluation
2026-09-09
Создайте базовые метрики и регрессионные проверки перед развертыванием нового LLM-процесса.
Используйте попарную оценку, A/B-тестирование и отслеживание метрик, чтобы выбрать более сильные варианты.
Определите измерения аннотации, шкалы оценок и проверки согласованности для экспертов-рецензентов.
Помогите мне выбрать метрики оценки для LLM-приложения, которое выполняет [task]. Включите автоматизированные метрики, измерения экспертной проверки и данные, которые мне нужны.
Спроектируйте план базовой оценки для нашего текущего LLM-процесса. Включите тестовые случаи, метрики, пороговые значения прохождения и способ отслеживать результаты со временем.
Создайте подход к оценке для сравнения варианта A и варианта B. Включите критерии попарной оценки, статистическое тестирование и правила принятия решения.
Спроектируйте производственный фреймворк оценки LLM для [product]. Включите автоматизированные метрики, человеческую оценку, проверки LLM-as-judge, обнаружение регрессий и интеграцию с CI/CD.
Автор
sickn33Лицензия
MIT
Ревизия Skillstore
r1
Примечание о версии
Автор не указал версию.
Ссылка
816c62b2546ddb1c6a0453e7c781b5e095117819
Актуальность поддержки
18.07.2026
Использование
9 загрузок · 89 просмотров
Структура файлов
📄 SKILL.md
Создание маркетингового контента в едином стиле бренда
Маркетинговым командам нужен контент, который остается согласованным во всех каналах. Этот навык помогает планировать, писать, анализировать и оптимизировать контент с учетом голоса бренда и SEO.
Улучшайте LLM-промпты с помощью проверенных паттернов
Непоследовательные промпты тратят время и снижают доверие к результатам AI. Этот навык помогает проектировать промпты с использованием переиспользуемых паттернов, примеров, этапов оценки и рабочих процессов оптимизации.
Проектируйте масштабируемые архитектуры ПО
Архитектурные решения сложно сравнивать для веб-, мобильных, backend- и облачных систем. Этот навык предоставляет структурированные руководства и локальные скрипты-заготовки для отчетов, анализа зависимостей и документирования компромиссов.
Создавайте fullstack-приложения с senior-паттернами
Командам нужны единые рекомендации по настройке, архитектуре и ревью для современных веб-приложений. Этот skill предоставляет scaffolders, справочные материалы по рабочим процессам и quality prompts для проектов на React, Next.js, Node.js, GraphQL и PostgreSQL.
Оптимизируйте AI-промпты с Prompt Engineer
Писать понятные промпты сложно, когда цели расплывчаты или комплексны. Этот навык превращает черновые запросы в структурированные промпты с использованием проверенных фреймворков для промптинга.
Приоритизируйте продуктовую работу с помощью исследовательских инсайтов
Продуктовым командам нужны более быстрые способы ранжировать функции, обобщать интервью и документировать решения. Этот навык предоставляет RICE-оценку, анализ интервью и шаблоны PRD для структурированного планирования.
Оптимизация производительности Go с помощью профилирования
от 89jobrien
Сервисы Go могут становиться медленными или потреблять много памяти без очевидных доказательств причины. Этот навык помогает с профилированием, анализом аллокаций, настройкой конкурентности и оптимизацией на основе бенчмарков.
Проектируйте более качественные LLM-промпты
от alirezarezvani
Качество промптов часто страдает из-за неясных требований, примеров и критериев оценки. Этот навык помогает командам проектировать, тестировать и проверять production-промпты для Claude, Codex и Claude Code.
Диагностика деградации контекста в ИИ-агентах
от ChakshuGautam
Длинные диалоги и большие промпты могут приводить к тому, что ИИ-агенты теряют важную информацию или следуют противоречивому контексту. Этот навык помогает Claude, Codex и Claude Code выявлять паттерны деградации и выбирать стратегии смягчения.
Анализ сложности кода
от CuriousLearner
Сложный код трудно проверять, тестировать и поддерживать. Этот навык помогает Claude, Codex и Claude Code измерять метрики сложности и давать сфокусированные рекомендации по рефакторингу.
Оптимизация производительности Python с помощью профилирования
от wshobson
Медленные Python-сервисы и задачи обработки данных трудно исправлять без измерений. Этот навык помогает Claude, Codex и Claude Code выполнять профилирование, бенчмаркинг, анализ памяти и целевую оптимизацию.
Detect LLM Prompt Regressions with Promptfoo
от 7alexhale5-rgb
Prompt changes can silently reduce output quality. This skill builds golden datasets, runs Promptfoo evaluations, and summarizes failures and recent trends.