Habilidades google-agents-cli-eval
📦

google-agents-cli-eval

v0.5.1 Revisión del contenido r1 Riesgo medio 🔑 Variables de entorno⚙️ Comandos externos🌐 Acceso a red

Evalúa agentes de Google ADK con agents-cli

Los equipos de agentes necesitan evidencia repetible antes de cambiar prompts, herramientas o ajustes de despliegue. Esta skill guía el diseño de datasets, la selección de métricas, la calificación, la comparación y el análisis de fallos para agentes de Google ADK.

Compatible con: Claude Codex Code(CC)
📊 71 Adecuado

Instalar con mi Agente

Copia esta solicitud en tu Agente. Incluye la página canónica del Skill y el manifiesto.

Solicitud de agente
Review the Skillstore skill "google-agents-cli-eval" from https://skillstore.io/skills/google-google-agents-cli-eval.md and its manifest at https://skillstore.io/api/skills/google-google-agents-cli-eval/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

Tu Agente debe seguir mostrando su plan y solicitar cualquier confirmación exigida por la política de seguridad.

Recursos legibles por agentes

Usa estos enlaces cuando un agente de IA, crawler o script necesite contexto limpio en vez de leer la página completa.

Detalle Markdown GET /skills/google-google-agents-cli-eval.md Manifest firmado GET /api/skills/google-google-agents-cli-eval/manifest Lockfile firmado GET /api/skills/google-google-agents-cli-eval/lockfile

Pruébalo

Usando "google-agents-cli-eval". Un usuario pregunta qué métricas usar para un agente de atención al cliente.

Resultado esperado:

  • Recomienda éxito de la tarea para la resolución completa del problema.
  • Añade calidad del uso de herramientas para verificar búsquedas de casos y llamadas de escalación.
  • Usa métricas de alucinación y seguridad para respuestas fundamentadas y conformes.

Usando "google-agents-cli-eval". Un usuario informa que la calidad del uso de herramientas bajó después de un cambio de prompt.

Resultado esperado:

  • Inspecciona el informe de calificación más reciente para encontrar elementos de rúbrica fallidos.
  • Compara la traza fallida con la traza anterior aprobada.
  • Actualiza las descripciones de herramientas o las instrucciones de enrutamiento, luego vuelve a ejecutar generate y grade.

Usando "google-agents-cli-eval". Un usuario quiere probar un agente que maneja entradas de imagen.

Resultado esperado:

  • Usa la guía de datasets multimodales del archivo de referencia.
  • Selecciona un juez con capacidad de visión para una puntuación consciente de imágenes.
  • Evita métricas solo de texto cuando el medio original debe evaluarse.

Auditoría de seguridad

Riesgo medio
v4 • 5/7/2026 Abrir el informe versionado

Most static findings are false positives caused by Markdown inline code, fenced examples, and documentation links rather than executable skill code. The remaining medium-risk issue is documented local custom metric execution with the CLI process privileges. No prompt injection or secret exfiltration intent was found.

6
Archivos escaneados
1,248
Líneas analizadas
0
Elementos de revisión
0
Falsos positivos ignorados

Preocupaciones de seguridad confirmadas (1)

Medio
SKILL.md:383-393
Local Custom Metric Code Execution
The guide states that code-based metrics run locally in process and that evaluate(instance) executes with the CLI process privileges. This is a legitimate feature, but untrusted custom metric code could read files, environment variables, or network resources available to the user.
The documented text explicitly says custom_function creates a CodeExecutionMetric and local execution uses the CLI privileges. The risk is user-initiated and disclosed, so severity is medium.

Factores de riesgo

🔑 Variables de entorno (3)
references/builtin-tools-eval.md:141 references/builtin-tools-eval.md:141 references/builtin-tools-eval.md:142
⚙️ Comandos externos (127)
SKILL.md:23 SKILL.md:25 SKILL.md:31 SKILL.md:32 SKILL.md:33 SKILL.md:34 SKILL.md:35 SKILL.md:45 SKILL.md:47 SKILL.md:51 SKILL.md:55 SKILL.md:57 SKILL.md:61 SKILL.md:63 SKILL.md:69 SKILL.md:71 SKILL.md:75 SKILL.md:86 SKILL.md:95 SKILL.md:96 SKILL.md:97 SKILL.md:98 SKILL.md:99 SKILL.md:100 SKILL.md:101 SKILL.md:103 SKILL.md:109 SKILL.md:113 SKILL.md:114 SKILL.md:115 SKILL.md:116 SKILL.md:117 SKILL.md:118 SKILL.md:119 SKILL.md:120 SKILL.md:122 SKILL.md:128 SKILL.md:130 SKILL.md:134-140 SKILL.md:140-142 SKILL.md:142-144 SKILL.md:144 SKILL.md:146-152 SKILL.md:152-160 SKILL.md:160-164 SKILL.md:164-166 SKILL.md:166 SKILL.md:168-170 SKILL.md:170-172 SKILL.md:172-174 SKILL.md:174-176 SKILL.md:176-178 SKILL.md:178-180 SKILL.md:180-182 SKILL.md:182 SKILL.md:184-194 SKILL.md:194-196 SKILL.md:196-198 SKILL.md:198 SKILL.md:200-212 SKILL.md:212-214 SKILL.md:214 SKILL.md:216-218 SKILL.md:218 SKILL.md:220-226 SKILL.md:226-228 SKILL.md:228 SKILL.md:230 SKILL.md:232-238 SKILL.md:238-244 SKILL.md:244 SKILL.md:246-247 SKILL.md:247 SKILL.md:249-255 SKILL.md:255-257 SKILL.md:257-276 SKILL.md:276-278 SKILL.md:278-280 SKILL.md:280-311 SKILL.md:311-315 SKILL.md:315 SKILL.md:317-344 SKILL.md:344-346 SKILL.md:346 SKILL.md:352 SKILL.md:354 SKILL.md:355 SKILL.md:359-379 SKILL.md:379-381 SKILL.md:381 SKILL.md:383 SKILL.md:385 SKILL.md:387-388 SKILL.md:388 SKILL.md:389 SKILL.md:391 SKILL.md:393 SKILL.md:404 SKILL.md:408 SKILL.md:410-416 SKILL.md:416-420 SKILL.md:420 SKILL.md:424 SKILL.md:426-428 SKILL.md:428-430 SKILL.md:430-432 SKILL.md:432 SKILL.md:434-436 SKILL.md:436-438 SKILL.md:438-449 SKILL.md:449-453 SKILL.md:453 SKILL.md:461-462 SKILL.md:462-463 SKILL.md:463-464 SKILL.md:464-465 SKILL.md:465 SKILL.md:473 SKILL.md:474-476 SKILL.md:476-477 SKILL.md:477-487 SKILL.md:487 SKILL.md:488-494 SKILL.md:494-495 SKILL.md:495-496 SKILL.md:496 SKILL.md:497-498
🌐 Acceso a red (2)
SKILL.md:23 SKILL.md:103
Auditado por: codex Ver historial de auditorías →
Compartir y citar este informe

Comparte el informe de evaluación versionado, la insignia neutral, la tarjeta insertable y las citas. Skillstore presenta evidencias sin decidir si este Skill es seguro.

Abrir el informe versionado
Evaluación de seguridad

Copiar enlace del informe

https://skillstore.io/skills/google-google-agents-cli-eval/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Insignia Markdown

[![Skillstore security assessment](https://skillstore.io/badges/skills/google-google-agents-cli-eval/security.svg)](https://skillstore.io/skills/google-google-agents-cli-eval?utm_source=security_passport_badge)

Insignia HTML

<a href="https://skillstore.io/skills/google-google-agents-cli-eval?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/google-google-agents-cli-eval/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

Tarjeta para insertar

<iframe src="https://skillstore.io/embed/skills/google-google-agents-cli-eval.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>
Citas académicas (APA · BibTeX · CFF)

Cita APA

google. (2026). google-agents-cli-eval security audit report (audit version 4) [Author version 0.5.1]. Skillstore. https://skillstore.io/skills/google-google-agents-cli-eval/audits/4

Cita BibTeX

@techreport{google-google-google-agents-cli-eval-2026, author = {google}, title = {google-agents-cli-eval security audit report (audit version 4)}, institution = {Skillstore}, year = {2026}, number = {4}, url = {https://skillstore.io/skills/google-google-agents-cli-eval/audits/4}, note = {Author version 0.5.1} }

CITATION.cff

cff-version: 1.2.0 message: "If you use this Skill, cite its author and this versioned security audit report." title: "google-agents-cli-eval security audit report (audit version 4)" version: "0.5.1" type: report authors: - name: "google" date-released: "2026-07-05" url: "https://skillstore.io/skills/google-google-agents-cli-eval/audits/4" identifiers: - type: other value: "skillstore:google-google-agents-cli-eval:audit:4" description: "Skillstore immutable audit report identifier"

Puntuación de Skillstore

Por qué esta puntuación Confianza de la evidencia: Alto
45
Arquitectura
100
Mantenibilidad
87
Contenido
67
Comunidad
100
Cumplimiento de la especificación

Lo que puedes crear

Validar cambios de prompt

Ejecuta trazas generadas y compara resultados de calificación antes de fusionar actualizaciones de prompts o descripciones de herramientas.

Crear cobertura de evaluación

Crea datasets y selecciona métricas que midan el éxito de la tarea, el comportamiento de las herramientas, la seguridad y los riesgos de alucinación.

Revisar flujos de evaluación en la nube

Usa flujos gestionados de envío y resultados cuando la calificación local es demasiado pequeña para pruebas a escala de producción.

Prueba estos prompts

Elegir métricas 
Estoy evaluando un agente ADK de [type]. Ayúdame a elegir métricas integradas de agents-cli eval y explica qué detectará cada métrica.
Redactar un plan de dataset 
Crea un plan de evaluación para estos objetivos de usuario: [goals]. Incluye tipos de casos, evidencia esperada y errores comunes de datasets que se deben evitar.
Analizar fallos 
Dados estos síntomas de resultados de calificación: [symptoms]. Identifica causas raíz probables y sugiere cambios en el agente o en el dataset antes de la próxima ejecución de evaluación.
Optimizar el ciclo de evaluación 
Diseña un flujo de trabajo avanzado de Quality Flywheel para [agent]. Incluye síntesis de datasets, selección de métricas, puertas de comparación y cuándo usar optimización de prompts.

Mejores prácticas

  • Empieza con un dataset pequeño, corrige fallos y luego amplía la cobertura después de que los casos aprobados sean estables.
  • Usa ejecuciones de comparación para confirmar que un cambio mejora la métrica objetivo sin generar regresiones en otras métricas.
  • Prefiere la ejecución en sandbox remoto para métricas personalizadas basadas en código no confiable.

Evitar

  • Bajar umbrales para hacer que un agente apruebe en lugar de corregir el comportamiento.
  • Eliminar casos inestables sin diagnosticar no determinismo o rúbricas poco claras.
  • Ejecutar ciclos de optimización costosos antes de hacer correcciones manuales y obtener evidencia de evaluación específica.

Preguntas frecuentes

¿Esta skill ejecuta evaluaciones por sí sola?
No. Guía al asistente de IA y al usuario a través de flujos de trabajo y comandos de agents-cli eval.
¿Qué herramientas admite?
Está marcada como compatible con Claude, Codex y Claude Code.
¿Reemplaza la ayuda oficial de comandos?
No. Indica a los usuarios que consulten la ayuda de agents-cli porque las flags pueden cambiar.
¿Puede manejar evaluaciones multimodales?
Sí. Incluye orientación para patrones de evaluación de imágenes, audio, archivos y video.
¿Requiere servicios en la nube?
Los flujos locales de generate y grade pueden ejecutarse localmente, pero synthesize, submit, results y algunas métricas usan servicios gestionados.
¿Qué cuidado de seguridad se necesita?
No ejecutes código de métricas personalizadas local no confiable. Usa ejecución en sandbox remoto o revisa el código antes de calificar.

Detalles del desarrollador

Autor

google

Licencia

MIT

Versión del autor

v0.5.1

Revisión de Skillstore

r1

Repositorio

https://github.com/google/agents-cli/tree/main/skills/google-agents-cli-eval/

Ref.

30c73eac2afe762f6aa9c4553158769369d47351

Actualidad del mantenimiento

25/7/2026

Uso

5 descargas · 0 vistas

Estructura de archivos

📁 references/

📄 builtin-tools-eval.md

📄 dataset_schema.md

📄 metrics-guide.md

📄 multimodal-eval.md

📄 user-simulation.md

📄 SKILL.md