Habilidades advanced-evaluation
📊
advanced-evaluation
Seguro ⚙️
Comandos externos🌐
Acesso à rede
Evaluar salidas de LLM con puntuación confiable
Também disponível em: ChakshuGautam
La evaluación manual de salidas de LLM es lenta e inconsistente entre revisores. Esta habilidad proporciona técnicas de grado de producción para evaluación automatizada usando LLMs como jueces. Incluye rúbricas de puntuación directa, comparación por pares con mitigación de sesgo de posición y calibración de confianza.
Suporta: Claude Codex Code(CC)
1
Baixar o ZIP da skill
2
Upload no Claude
Vá em Configurações → Capacidades → Skills → Upload skill
3
Ative e comece a usar
Testar
A utilizar "advanced-evaluation". Evaluate on accuracy, clarity, completeness: 'Quantum entanglement is like two connected coins. When one shows heads, the other shows tails instantly.'
Resultado esperado:
- Accuracy: 4/5 - Correctly describes correlated outcomes but oversimplifies quantum mechanics
- Clarity: 5/5 - Excellent analogy for general audience
- Completeness: 3/5 - Missing key details about quantum systems
- Overall: 4/5 - Good for beginners but could include more scientific depth
A utilizar "advanced-evaluation". Compare these two explanations of machine learning. A: Technical definition with algorithms. B: Dog training analogy.
Resultado esperado:
- Clarity: B wins - Analogy is more accessible for beginners
- Accuracy: Tie - Both convey correct core concepts
- Use case: Choose A for technical audience, B for general audience
Auditoria de Segurança
Segurov4 • 1/17/2026
Pure documentation skill containing evaluation methodologies, prompt templates, and pseudocode examples. All static findings are false positives: markdown code fences are misidentified as shell backticks, statistical formulas are misidentified as weak crypto, and academic reference URLs are not network calls. No executable code, file I/O, or data exfiltration patterns exist.
7
Arquivos analisados
2,084
Linhas analisadas
2
achados
4
Total de auditorias
Fatores de risco
⚙️ Comandos externos (122)
references/bias-mitigation.md:16-45 references/bias-mitigation.md:45-51 references/bias-mitigation.md:51-72 references/bias-mitigation.md:72-87 references/bias-mitigation.md:87-93 references/bias-mitigation.md:93-97 references/bias-mitigation.md:97-112 references/bias-mitigation.md:112-118 references/bias-mitigation.md:118-124 references/bias-mitigation.md:124-136 references/bias-mitigation.md:136-145 references/bias-mitigation.md:145-151 references/bias-mitigation.md:151-164 references/bias-mitigation.md:164-174 references/bias-mitigation.md:174-188 references/bias-mitigation.md:188-194 references/bias-mitigation.md:194-208 references/bias-mitigation.md:208-220 references/bias-mitigation.md:220-228 references/bias-mitigation.md:228-234 references/bias-mitigation.md:234-249 references/bias-mitigation.md:249-255 references/bias-mitigation.md:255-277 references/implementation-patterns.md:9-11 references/implementation-patterns.md:11-22 references/implementation-patterns.md:22-35 references/implementation-patterns.md:35-41 references/implementation-patterns.md:41-51 references/implementation-patterns.md:51-57 references/implementation-patterns.md:57-70 references/implementation-patterns.md:70-76 references/implementation-patterns.md:76-100 references/implementation-patterns.md:100-106 references/implementation-patterns.md:106-108 references/implementation-patterns.md:108-112 references/implementation-patterns.md:112-122 references/implementation-patterns.md:122-126 references/implementation-patterns.md:126-136 references/implementation-patterns.md:136-142 references/implementation-patterns.md:142-172 references/implementation-patterns.md:172-178 references/implementation-patterns.md:178-194 references/implementation-patterns.md:194-200 references/implementation-patterns.md:200-229 references/implementation-patterns.md:229-235 references/implementation-patterns.md:235-249 references/implementation-patterns.md:249-253 references/implementation-patterns.md:253-264 references/implementation-patterns.md:264-270 references/implementation-patterns.md:270-281 references/implementation-patterns.md:281-285 references/implementation-patterns.md:285-297 references/implementation-patterns.md:297-301 references/implementation-patterns.md:301-314 references/metrics-guide.md:13-15 references/metrics-guide.md:15-21 references/metrics-guide.md:21-26 references/metrics-guide.md:26-30 references/metrics-guide.md:30-32 references/metrics-guide.md:32-38 references/metrics-guide.md:38-43 references/metrics-guide.md:43-47 references/metrics-guide.md:47-49 references/metrics-guide.md:49-55 references/metrics-guide.md:55-60 references/metrics-guide.md:60-68 references/metrics-guide.md:68-70 references/metrics-guide.md:70-80 references/metrics-guide.md:80-84 references/metrics-guide.md:84-90 references/metrics-guide.md:90-94 references/metrics-guide.md:94-112 references/metrics-guide.md:112-117 references/metrics-guide.md:117-125 references/metrics-guide.md:125-130 references/metrics-guide.md:130-138 references/metrics-guide.md:138-143 references/metrics-guide.md:143-149 references/metrics-guide.md:149-151 references/metrics-guide.md:151-155 references/metrics-guide.md:155-159 references/metrics-guide.md:159-163 references/metrics-guide.md:163-165 references/metrics-guide.md:165-169 references/metrics-guide.md:169-173 references/metrics-guide.md:173-177 references/metrics-guide.md:177-194 references/metrics-guide.md:194-207 references/metrics-guide.md:207-221 references/metrics-guide.md:221-232 references/metrics-guide.md:232-245 references/metrics-guide.md:245-256 references/metrics-guide.md:256-286 references/metrics-guide.md:286-308 references/metrics-guide.md:308-330 SKILL.md:76-80 SKILL.md:80-88 SKILL.md:88-112 SKILL.md:112-127 SKILL.md:127-155 SKILL.md:155-185 SKILL.md:185-216 SKILL.md:216-244 SKILL.md:244-255 SKILL.md:255-278 SKILL.md:278-284 SKILL.md:284-287 SKILL.md:287-301 SKILL.md:301-306 SKILL.md:306-311 SKILL.md:311-314 SKILL.md:314-316 SKILL.md:316-319 SKILL.md:319-321 SKILL.md:321-325 SKILL.md:325-327 SKILL.md:327-330 SKILL.md:330-340 SKILL.md:340-345 SKILL.md:345-351 SKILL.md:351-354 SKILL.md:354-395
🌐 Acesso à rede (5)
Auditado por: claude Ver Histórico de Auditoria →
Pontuação de qualidade
68
Arquitetura
100
Manutenibilidade
87
Conteúdo
21
Comunidade
100
Segurança
91
Conformidade com especificações
O Que Você Pode Construir
Automatizar comparación de modelos
Comparar salidas de múltiples modelos para seleccionar la mejor respuesta para prompts de producción
Evaluar nuevas técnicas
Evaluar sistemáticamente si las estrategias de prompting mejoran la calidad de salida
Monitorear calidad de salida
Rastree métricas de calidad a través de despliegues de producción a lo largo del tiempo
Tente Estes Prompts
Puntuación directa
Evaluate this response on a 1-5 scale for accuracy, clarity, and completeness. Provide scores with specific evidence and improvement suggestions. Response: {response}Comparación por pares
Compare Response A and Response B for the given prompt. Ignore length. State which is better and explain why with specific criteria. A: {response_a}, B: {response_b}Generación de rúbrica
Create a 1-5 rubric for evaluating {criterion} in {domain}. Include level descriptions and specific observable characteristics for each score.Evaluación de sesgo
Analyze this evaluation result for position bias, length bias, or authority bias. Check if criteria were applied consistently. Evaluation: {evaluation_result}Melhores Práticas
- Siempre requiere justificación antes de las puntuaciones - chain-of-thought mejora la confiabilidad en un 15-25%
- Usa intercambio de posición en comparación por pares para mitigar sesgo de posición
- Separa criterios objetivos (usa puntuación directa) de preferencias subjetivas (usa comparación por pares)
Evitar
- Comparación por pares de pasada única sin intercambio de posición introduce sesgo sistemático de posición
- Puntuación sin requerir evidencia hace las evaluaciones no depurables y poco confiables
- Usar el mismo modelo para generación y evaluación causa sesgo de auto-mejora
Perguntas Frequentes
¿Qué modelos funcionan mejor para LLM-as-Judge?
GPT-4 y Claude 3 muestran mayor acuerdo con jueces humanos. Modelos más pequeños funcionan para tamizado inicial.
¿Cuántos criterios deben tener las rúbricas?
Limita a 5-7 criterios por rúbrica. Más criterios reducen la confiabilidad y aumentan la carga cognitiva.
¿Puedo usar esto con mi propia API de LLM?
Sí. Esta habilidad proporciona prompts y patrones. Integra con tu API de LLM para puntuación real.
¿Esto envía datos externamente?
No. Esta habilidad solo genera prompts de evaluación. No ocurren llamadas de red ni transmisión de datos.
¿Por qué las comparaciones resultan en empates?
Los empates indican que se detectó sesgo de posición o que las respuestas son genuinamente equivalentes. Devuelve empate con confianza reducida.
¿Cómo se compara esto con evaluación humana?
La evaluación de LLM se correlaciona bien con humanos para muchas tareas pero no puede reemplazar el juicio humano para decisiones subjetivas.
Detalhes do Desenvolvedor
Autor
muratcankoylanLicença
MIT
Repositório
https://github.com/muratcankoylan/Agent-Skills-for-Context-Engineering/tree/main/skills/advanced-evaluationReferência
main
Estrutura de arquivos