技能 google-agents-cli-eval
📦
google-agents-cli-eval
v0.5.1 內容修訂 r1 中風險 🔑 環境變數⚙️ 外部命令🌐 網路存取
使用 agents-cli 評估 Google ADK Agents
Agent 團隊在變更提示、工具或部署設定之前，需要可重複的證據。此技能會指引 Google ADK agents 的資料集設計、指標選擇、評分、比較與失敗分析。
支援: Claude Codex Code(CC)
使用我的智慧代理安裝
將此請求複製給你的智慧代理，其中包含權威 Skill 頁面和清單。
智能體請求
Review the Skillstore skill "google-agents-cli-eval" from https://skillstore.io/skills/google-google-agents-cli-eval.md and its manifest at https://skillstore.io/api/skills/google-google-agents-cli-eval/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.你的智慧代理仍應顯示其計畫，並依安全政策請求必要確認。
Agent 可讀資源
當 AI Agent、爬蟲或腳本需要乾淨脈絡、而不是讀取完整頁面時，請使用這些連結。
測試它
正在使用「google-agents-cli-eval」。 使用者詢問客戶支援 agent 應使用哪些指標。
預期結果:
- 建議使用任務成功率來衡量完整的問題解決。
- 加入工具使用品質，以驗證案例查詢與升級呼叫。
- 使用幻覺與安全性指標，確保回應有依據且符合法規要求。
正在使用「google-agents-cli-eval」。 使用者回報工具使用品質在提示變更後下降。
預期結果:
- 檢查最新評分報告中失敗的 rubric items。
- 將失敗的 trace 與先前通過的 trace 進行比較。
- 更新工具描述或路由指示，然後重新執行 generate 與 grade。
正在使用「google-agents-cli-eval」。 使用者想測試處理影像輸入的 agent。
預期結果:
- 使用參考檔案中的多模態資料集指引。
- 選擇具備視覺能力的 judge 來進行影像感知評分。
- 當必須評估原始媒體時，避免使用純文字指標。
安全審計
中風險v4 • 2026/7/5 開啟版本化報告
Most static findings are false positives caused by Markdown inline code, fenced examples, and documentation links rather than executable skill code. The remaining medium-risk issue is documented local custom metric execution with the CLI process privileges. No prompt injection or secret exfiltration intent was found.
6
已掃描檔案
1,248
分析行數
0
複核項目
0
已忽略的誤報
已確認的安全問題 (1)
中
Local Custom Metric Code Execution
The guide states that code-based metrics run locally in process and that evaluate(instance) executes with the CLI process privileges. This is a legitimate feature, but untrusted custom metric code could read files, environment variables, or network resources available to the user.
The documented text explicitly says custom_function creates a CodeExecutionMetric and local execution uses the CLI privileges. The risk is user-initiated and disclosed, so severity is medium.
風險因素
🔑 環境變數 (3)
⚙️ 外部命令 (127)
SKILL.md:23 SKILL.md:25 SKILL.md:31 SKILL.md:32 SKILL.md:33 SKILL.md:34 SKILL.md:35 SKILL.md:45 SKILL.md:47 SKILL.md:51 SKILL.md:55 SKILL.md:57 SKILL.md:61 SKILL.md:63 SKILL.md:69 SKILL.md:71 SKILL.md:75 SKILL.md:86 SKILL.md:95 SKILL.md:96 SKILL.md:97 SKILL.md:98 SKILL.md:99 SKILL.md:100 SKILL.md:101 SKILL.md:103 SKILL.md:109 SKILL.md:113 SKILL.md:114 SKILL.md:115 SKILL.md:116 SKILL.md:117 SKILL.md:118 SKILL.md:119 SKILL.md:120 SKILL.md:122 SKILL.md:128 SKILL.md:130 SKILL.md:134-140 SKILL.md:140-142 SKILL.md:142-144 SKILL.md:144 SKILL.md:146-152 SKILL.md:152-160 SKILL.md:160-164 SKILL.md:164-166 SKILL.md:166 SKILL.md:168-170 SKILL.md:170-172 SKILL.md:172-174 SKILL.md:174-176 SKILL.md:176-178 SKILL.md:178-180 SKILL.md:180-182 SKILL.md:182 SKILL.md:184-194 SKILL.md:194-196 SKILL.md:196-198 SKILL.md:198 SKILL.md:200-212 SKILL.md:212-214 SKILL.md:214 SKILL.md:216-218 SKILL.md:218 SKILL.md:220-226 SKILL.md:226-228 SKILL.md:228 SKILL.md:230 SKILL.md:232-238 SKILL.md:238-244 SKILL.md:244 SKILL.md:246-247 SKILL.md:247 SKILL.md:249-255 SKILL.md:255-257 SKILL.md:257-276 SKILL.md:276-278 SKILL.md:278-280 SKILL.md:280-311 SKILL.md:311-315 SKILL.md:315 SKILL.md:317-344 SKILL.md:344-346 SKILL.md:346 SKILL.md:352 SKILL.md:354 SKILL.md:355 SKILL.md:359-379 SKILL.md:379-381 SKILL.md:381 SKILL.md:383 SKILL.md:385 SKILL.md:387-388 SKILL.md:388 SKILL.md:389 SKILL.md:391 SKILL.md:393 SKILL.md:404 SKILL.md:408 SKILL.md:410-416 SKILL.md:416-420 SKILL.md:420 SKILL.md:424 SKILL.md:426-428 SKILL.md:428-430 SKILL.md:430-432 SKILL.md:432 SKILL.md:434-436 SKILL.md:436-438 SKILL.md:438-449 SKILL.md:449-453 SKILL.md:453 SKILL.md:461-462 SKILL.md:462-463 SKILL.md:463-464 SKILL.md:464-465 SKILL.md:465 SKILL.md:473 SKILL.md:474-476 SKILL.md:476-477 SKILL.md:477-487 SKILL.md:487 SKILL.md:488-494 SKILL.md:494-495 SKILL.md:495-496 SKILL.md:496 SKILL.md:497-498
🌐 網路存取 (2)
審計單位: codex 檢視審計紀錄 →
分享與引用此報告
分享版本化評估報告、中性徽章、嵌入卡片與引用。Skillstore 只報告證據，不判斷該 Skill 是否安全。
複製報告連結
https://skillstore.io/skills/google-google-agents-cli-eval/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdown 徽章
[](https://skillstore.io/skills/google-google-agents-cli-eval?utm_source=security_passport_badge)HTML 徽章
<a href="https://skillstore.io/skills/google-google-agents-cli-eval?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/google-google-agents-cli-eval/security.svg" alt="Skillstore security assessment" loading="lazy"></a>嵌入卡片
<iframe src="https://skillstore.io/embed/skills/google-google-agents-cli-eval.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>學術引用 (APA · BibTeX · CFF)
APA 引用
google. (2026). google-agents-cli-eval security audit report (audit version 4) [Author version 0.5.1]. Skillstore. https://skillstore.io/skills/google-google-agents-cli-eval/audits/4BibTeX 引用
@techreport{google-google-google-agents-cli-eval-2026,
author = {google},
title = {google-agents-cli-eval security audit report (audit version 4)},
institution = {Skillstore},
year = {2026},
number = {4},
url = {https://skillstore.io/skills/google-google-agents-cli-eval/audits/4},
note = {Author version 0.5.1}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "google-agents-cli-eval security audit report (audit version 4)"
version: "0.5.1"
type: report
authors:
- name: "google"
date-released: "2026-07-05"
url: "https://skillstore.io/skills/google-google-agents-cli-eval/audits/4"
identifiers:
- type: other
value: "skillstore:google-google-agents-cli-eval:audit:4"
description: "Skillstore immutable audit report identifier"
Skillstore 評分
評分依據 證據置信度: 高 45
架構
100
可維護性
87
內容
67
社群
100
規範符合度
你可以打造什麼
驗證提示變更
在合併提示或工具描述更新之前，執行產生的 traces 並比較評分結果。
建立評估覆蓋範圍
建立資料集並選擇可衡量任務成功率、工具行為、安全性與幻覺風險的指標。
檢視雲端 eval 工作流程
當本機評分規模太小、不足以進行生產規模測試時，使用受管理的提交與結果流程。
試試這些提示
選擇指標
我正在評估一個 [type] ADK agent。請協助我選擇內建 agents-cli eval metrics，並說明每個指標會捕捉到什麼問題。
起草資料集計畫
為這些使用者目標建立評估計畫：[goals]。包含案例類型、預期證據，以及應避免的常見資料集錯誤。
分析失敗
根據這些評分結果症狀：[symptoms]。找出可能的根本原因，並建議下一次 eval run 前應進行的 agent 或資料集變更。
最佳化 eval 迴圈
為 [agent] 設計進階 Quality Flywheel 工作流程。包含資料集合成、指標選擇、比較關卡，以及何時使用提示最佳化。
最佳實務
- 從小型資料集開始，修正失敗案例，等通過案例穩定後再擴大覆蓋範圍。
- 使用比較執行來確認變更能改善目標指標，同時不造成其他指標退步。
- 對不受信任的程式碼型自訂指標，優先使用遠端沙箱執行。
避免
- 降低門檻讓 agent 通過，而不是修正行為。
- 未診斷非決定性或不清楚的 rubrics，就刪除不穩定案例。
- 在手動修正與目標式 eval 證據之前，就執行昂貴的最佳化迴圈。
常見問題
此技能會自行執行評估嗎？
不會。它會引導 AI assistant 與使用者完成 agents-cli eval 工作流程與命令。
它支援哪些工具？
它標示為與 Claude、Codex 和 Claude Code 相容。
它會取代官方 command help 嗎？
不會。它會告知使用者檢查 agents-cli help，因為 flags 可能會變更。
它能處理多模態評估嗎？
可以。它包含影像、音訊、檔案與影片評估模式的指引。
它需要雲端服務嗎？
本機 generate 與 grade 流程可以在本機執行，但 synthesize、submit、results 以及部分指標會使用受管理服務。
需要注意哪些安全事項？
請勿執行不受信任的本機自訂指標程式碼。請使用遠端沙箱執行，或在評分前審查程式碼。
開發者詳細資訊
作者
google授權
MIT
作者版本
v0.5.1
Skillstore 修訂
r1
引用
30c73eac2afe762f6aa9c4553158769369d47351
維護新鮮度
2026/7/18
使用量
5 次下載 · 0 次瀏覽