llm-evaluation
Evalúa aplicaciones LLM con métricas fiables
Los equipos de LLM necesitan formas repetibles de medir la calidad, la seguridad y las regresiones. Esta skill ayuda a diseñar conjuntos de evaluación con métricas, revisión humana, jueces LLM, benchmarks y pruebas A/B.
Instalar con mi Agente
Copia esta solicitud en tu Agente. Incluye la página canónica del Skill y el manifiesto.
Review the Skillstore skill "llm-evaluation" from https://skillstore.io/skills/sickn33-llm-evaluation.md and its manifest at https://skillstore.io/api/skills/sickn33-llm-evaluation/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.Tu Agente debe seguir mostrando su plan y solicitar cualquier confirmación exigida por la política de seguridad.
Recursos legibles por agentes
Usa estos enlaces cuando un agente de IA, crawler o script necesite contexto limpio en vez de leer la página completa.
Pruébalo
Usando "llm-evaluation". Evalúa un chatbot de atención al cliente antes del lanzamiento.
Resultado esperado:
Un plan equilibrado con precisión de intención, fundamentación, revisión de seguridad, formularios de calificación humana, umbrales de línea base e informes semanales de regresión.
Usando "llm-evaluation". Compara dos prompts de generación aumentada por recuperación.
Resultado esperado:
Un flujo de trabajo de comparación que usa relevancia, fidelidad de la respuesta, evaluación por pares, intervalos de confianza y una regla explícita de decisión de promoción.
Usando "llm-evaluation". Detecta caídas de calidad después de un cambio de prompt.
Resultado esperado:
Una lista de comprobación de regresión con puntuaciones de línea base, umbrales de cambio relativo, ejemplos fallidos y pasos de investigación recomendados.
Auditoría de seguridad
SeguroAll static findings appear to be false positives from Markdown backticks, fenced Python examples, a dictionary keys() call, and ordinary evaluation terminology. I found no evidence of prompt injection, malicious intent, command execution, credential material, or network reconnaissance in SKILL.md.
Factores de riesgo
⚙️ Comandos externos (24)
Compartir y citar este informe
Comparte el informe de evaluación versionado, la insignia neutral, la tarjeta insertable y las citas. Skillstore presenta evidencias sin decidir si este Skill es seguro.
Copiar enlace del informe
https://skillstore.io/skills/sickn33-llm-evaluation/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportInsignia Markdown
[](https://skillstore.io/skills/sickn33-llm-evaluation?utm_source=security_passport_badge)Insignia HTML
<a href="https://skillstore.io/skills/sickn33-llm-evaluation?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/sickn33-llm-evaluation/security.svg" alt="Skillstore security assessment" loading="lazy"></a>Tarjeta para insertar
<iframe src="https://skillstore.io/embed/skills/sickn33-llm-evaluation.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>Citas académicas (APA · BibTeX · CFF)
Cita APA
sickn33. (2026). llm-evaluation security audit report (audit version 4) [Author version unspecified]. Skillstore. https://skillstore.io/skills/sickn33-llm-evaluation/audits/4Cita BibTeX
@techreport{sickn33-sickn33-llm-evaluation-2026,
author = {sickn33},
title = {llm-evaluation security audit report (audit version 4)},
institution = {Skillstore},
year = {2026},
number = {4},
url = {https://skillstore.io/skills/sickn33-llm-evaluation/audits/4},
note = {Author version unspecified}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "llm-evaluation security audit report (audit version 4)"
version: "unspecified"
type: report
authors:
- name: "sickn33"
date-released: "2026-07-07"
url: "https://skillstore.io/skills/sickn33-llm-evaluation/audits/4"
identifiers:
- type: other
value: "skillstore:sickn33-llm-evaluation:audit:4"
description: "Skillstore immutable audit report identifier"
Comparar variantes
2 variantes instalablesCada autor sigue siendo un skill instalable independiente. La variante recomendada se ordena según la evidencia de Skillstore.
Por qué esta variante es la primera
wshobson-llm-evaluation
2026-09-09
sickn33-llm-evaluation
2026-09-09
Puntuación de Skillstore
Por qué esta puntuación Confianza de la evidencia: AltoLo que puedes crear
Crear una puerta de evaluación para lanzamientos
Crea métricas de línea base y comprobaciones de regresión antes de desplegar un nuevo flujo de trabajo LLM.
Comparar variantes de prompts y modelos
Usa evaluación por pares, pruebas A/B y seguimiento de métricas para elegir variantes más sólidas.
Diseñar programas de revisión humana
Define dimensiones de anotación, escalas de calificación y comprobaciones de acuerdo para revisores expertos.
Prueba estos prompts
Ayúdame a elegir métricas de evaluación para una aplicación LLM que hace [task]. Incluye métricas automatizadas, dimensiones de revisión humana y los datos que necesito.
Diseña un plan de evaluación de línea base para nuestro flujo de trabajo LLM actual. Incluye casos de prueba, métricas, umbrales de aprobación y cómo hacer seguimiento de los resultados a lo largo del tiempo.
Crea un enfoque de evaluación para comparar la variante A y la variante B. Incluye criterios de evaluación por pares, pruebas estadísticas y reglas de decisión.
Diseña un marco de evaluación LLM de producción para [product]. Incluye métricas automatizadas, evaluación humana, comprobaciones LLM-as-judge, detección de regresiones e integración CI/CD.
Mejores prácticas
- Usa varias métricas que coincidan con el objetivo del producto y el riesgo para el usuario.
- Mantén un conjunto de datos de línea base estable y añade casos reales de fallo con el tiempo.
- Combina la puntuación automatizada con revisión humana para flujos de trabajo de alto impacto.
Evitar
- No optimices una sola métrica ignorando los resultados del usuario.
- No saques conclusiones a partir de conjuntos de prueba diminutos o poco representativos.
- No uses jueces LLM sin rúbricas claras y comprobaciones puntuales.