Compétences advanced-evaluation
📊
advanced-evaluation
Sûr ⚙️
Commandes externes🌐
Accès réseau
Оценка выходных данных LLM с помощью надежного подсчета баллов
Également disponible depuis: ChakshuGautam
Ручная оценка выходных данных LLM медленная и непоследовательная между рецензентами. Этот навык предоставляет производственные методы автоматизированной оценки с использованием LLM в качестве судей. Он включает прямые оценочные рубрики, попарное сравнение с устранением позиционной погрешности и калибровку достоверности.
Prend en charge: Claude Codex Code(CC)
1
Télécharger le ZIP du skill
2
Importer dans Claude
Allez dans Paramètres → Capacités → Skills → Importer un skill
3
Activez et commencez à utiliser
Tester
Utilisation de "advanced-evaluation". Оцените по точности, ясности, полноте: 'Квантовая запутанность похожа на две связанные монеты. Когда одна показывает орла, другая показывает решку мгновенно.'
Résultat attendu:
- Точность: 4/5 - Правильно описывает коррелированные результаты, но упрощает квантовую механику
- Ясность: 5/5 - Отличная аналогия для широкой аудитории
- Полнота: 3/5 - Отсутствуют ключевые детали о квантовых системах
- Общее: 4/5 - Хорошо для начинающих, но может включать больше научной глубины
Utilisation de "advanced-evaluation". Сравните эти два объяснения машинного обучения. A: Техническое определение с алгоритмами. B: Аналогия с дрессировкой собак.
Résultat attendu:
- Ясность: B выигрывает - Аналогия более доступна для начинающих
- Точность: Ничья - Оба передают правильные основные концепции
- Случай использования: Выберите A для технической аудитории, B для широкой аудитории
Audit de sécurité
Sûrv4 • 1/17/2026
Pure documentation skill containing evaluation methodologies, prompt templates, and pseudocode examples. All static findings are false positives: markdown code fences are misidentified as shell backticks, statistical formulas are misidentified as weak crypto, and academic reference URLs are not network calls. No executable code, file I/O, or data exfiltration patterns exist.
7
Fichiers analysés
2,084
Lignes analysées
2
résultats
4
Total des audits
Facteurs de risque
⚙️ Commandes externes (122)
references/bias-mitigation.md:16-45 references/bias-mitigation.md:45-51 references/bias-mitigation.md:51-72 references/bias-mitigation.md:72-87 references/bias-mitigation.md:87-93 references/bias-mitigation.md:93-97 references/bias-mitigation.md:97-112 references/bias-mitigation.md:112-118 references/bias-mitigation.md:118-124 references/bias-mitigation.md:124-136 references/bias-mitigation.md:136-145 references/bias-mitigation.md:145-151 references/bias-mitigation.md:151-164 references/bias-mitigation.md:164-174 references/bias-mitigation.md:174-188 references/bias-mitigation.md:188-194 references/bias-mitigation.md:194-208 references/bias-mitigation.md:208-220 references/bias-mitigation.md:220-228 references/bias-mitigation.md:228-234 references/bias-mitigation.md:234-249 references/bias-mitigation.md:249-255 references/bias-mitigation.md:255-277 references/implementation-patterns.md:9-11 references/implementation-patterns.md:11-22 references/implementation-patterns.md:22-35 references/implementation-patterns.md:35-41 references/implementation-patterns.md:41-51 references/implementation-patterns.md:51-57 references/implementation-patterns.md:57-70 references/implementation-patterns.md:70-76 references/implementation-patterns.md:76-100 references/implementation-patterns.md:100-106 references/implementation-patterns.md:106-108 references/implementation-patterns.md:108-112 references/implementation-patterns.md:112-122 references/implementation-patterns.md:122-126 references/implementation-patterns.md:126-136 references/implementation-patterns.md:136-142 references/implementation-patterns.md:142-172 references/implementation-patterns.md:172-178 references/implementation-patterns.md:178-194 references/implementation-patterns.md:194-200 references/implementation-patterns.md:200-229 references/implementation-patterns.md:229-235 references/implementation-patterns.md:235-249 references/implementation-patterns.md:249-253 references/implementation-patterns.md:253-264 references/implementation-patterns.md:264-270 references/implementation-patterns.md:270-281 references/implementation-patterns.md:281-285 references/implementation-patterns.md:285-297 references/implementation-patterns.md:297-301 references/implementation-patterns.md:301-314 references/metrics-guide.md:13-15 references/metrics-guide.md:15-21 references/metrics-guide.md:21-26 references/metrics-guide.md:26-30 references/metrics-guide.md:30-32 references/metrics-guide.md:32-38 references/metrics-guide.md:38-43 references/metrics-guide.md:43-47 references/metrics-guide.md:47-49 references/metrics-guide.md:49-55 references/metrics-guide.md:55-60 references/metrics-guide.md:60-68 references/metrics-guide.md:68-70 references/metrics-guide.md:70-80 references/metrics-guide.md:80-84 references/metrics-guide.md:84-90 references/metrics-guide.md:90-94 references/metrics-guide.md:94-112 references/metrics-guide.md:112-117 references/metrics-guide.md:117-125 references/metrics-guide.md:125-130 references/metrics-guide.md:130-138 references/metrics-guide.md:138-143 references/metrics-guide.md:143-149 references/metrics-guide.md:149-151 references/metrics-guide.md:151-155 references/metrics-guide.md:155-159 references/metrics-guide.md:159-163 references/metrics-guide.md:163-165 references/metrics-guide.md:165-169 references/metrics-guide.md:169-173 references/metrics-guide.md:173-177 references/metrics-guide.md:177-194 references/metrics-guide.md:194-207 references/metrics-guide.md:207-221 references/metrics-guide.md:221-232 references/metrics-guide.md:232-245 references/metrics-guide.md:245-256 references/metrics-guide.md:256-286 references/metrics-guide.md:286-308 references/metrics-guide.md:308-330 SKILL.md:76-80 SKILL.md:80-88 SKILL.md:88-112 SKILL.md:112-127 SKILL.md:127-155 SKILL.md:155-185 SKILL.md:185-216 SKILL.md:216-244 SKILL.md:244-255 SKILL.md:255-278 SKILL.md:278-284 SKILL.md:284-287 SKILL.md:287-301 SKILL.md:301-306 SKILL.md:306-311 SKILL.md:311-314 SKILL.md:314-316 SKILL.md:316-319 SKILL.md:319-321 SKILL.md:321-325 SKILL.md:325-327 SKILL.md:327-330 SKILL.md:330-340 SKILL.md:340-345 SKILL.md:345-351 SKILL.md:351-354 SKILL.md:354-395
🌐 Accès réseau (5)
Audité par: claude Voir l’historique des audits →
Score de qualité
68
Architecture
100
Maintenabilité
87
Contenu
21
Communauté
100
Sécurité
91
Conformité aux spécifications
Ce que vous pouvez construire
Автоматизировать сравнение моделей
Сравнивать выходные данные нескольких моделей для выбора лучшего ответа для производственных подсказок
Оценивать новые техники
Систематически оценивать, улучшают ли стратегии подсказок качество выходных данных
Отслеживать качество выходных данных
Отслеживать метрики качества в производственных развертываниях с течением времени
Essayez ces prompts
Прямой подсчет баллов
Оцените этот ответ по шкале от 1 до 5 по точности, ясности и полноте. Предоставьте баллы с конкретными доказательствами и предложениями по улучшению. Ответ: {response}Попарное сравнение
Сравните Ответ A и Ответ B для данной подсказки. Игнорируйте длину. Укажите, какой лучше, и объясните почему с конкретными критериями. A: {response_a}, B: {response_b}Создание рубрики
Создайте рубрику от 1 до 5 для оценки {criterion} в {domain}. Включите описания уровней и конкретные наблюдаемые характеристики для каждого балла.Оценка погрешности
Проанализируйте этот результат оценки на наличие позиционной погрешности, погрешности по длине или погрешности по авторитету. Проверьте, применялись ли критерии последовательно. Оценка: {evaluation_result}Bonnes pratiques
- Всегда требуйте обоснование перед баллами - цепочка мыслей повышает надежность на 15-25%
- Используйте замену позиций в попарном сравнении для устранения позиционной погрешности
- Отделяйте объективные критерии (используйте прямой подсчет) от субъективных предпочтений (используйте попарное сравнение)
Éviter
- Однопроходное попарное сравнение без замены позиций создает систематическую позиционную погрешность
- Подсчет баллов без требования доказательств делает оценки неотлаживаемыми и ненадежными
- Использование одной и той же модели для генерации и оценки вызывает погрешность самопродвижения
Foire aux questions
Какие модели лучше всего работают для LLM-как-судья?
GPT-4 и Claude 3 показывают наивысшее согласие с человеческими судьями. Меньшие модели подходят для первичного отсева.
Сколько критериев должны иметь рубрики?
Ограничьте 5-7 критериями на рубрику. Больше критериев снижает надежность и увеличивает когнитивную нагрузку.
Могу ли я использовать это с моим собственным LLM API?
Да. Этот навык предоставляет подсказки и шаблоны. Интегрируйте с вашим LLM API для фактического подсчета баллов.
Отправляет ли это данные внешним системам?
Нет. Этот навык генерирует только оценочные подсказки. Сетевые вызовы или передача данных не происходят.
Почему сравнения приводят к ничьим?
Ничьи указывают на обнаруженную позиционную погрешность или на то, что ответы действительно эквивалентны. Возвращайте ничью с пониженной достоверностью.
Как это сравнивается с человеческой оценкой?
Оценка LLM хорошо коррелирует с людьми во многих задачах, но не может заменить человеческое суждение для субъективных решений.