llm-evaluation
評估 LLM 應用程式品質
LLM 團隊需要可重複的方法，在變更觸及使用者之前衡量品質。此技能有助於建構自動化指標、人工審查、評判、基準測試與迴歸檢查。
自分のエージェントでインストール
このリクエストをエージェントにコピーしてください。正規の Skill ページとマニフェストが含まれています。
Review the Skillstore skill "llm-evaluation" from https://skillstore.io/skills/wshobson-llm-evaluation.md and its manifest at https://skillstore.io/api/skills/wshobson-llm-evaluation/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.エージェントは引き続き計画を提示し、セキュリティポリシーで必要な確認を求める必要があります。
エージェントが読めるリソース
AI エージェント、クローラー、スクリプトがページ全体ではなく整理されたコンテキストを必要とする場合は、これらのリンクを使ってください。
テストする
「llm-evaluation」を使用しています。 在發布前評估客服聊天機器人。
期待される結果:
一份包含準確性、相關性、安全性與有用性指標、代表性客服情境、人工審查評分規準，以及發布門檻的計畫。
「llm-evaluation」を使用しています。 比較 RAG assistant 的兩個檢索 prompt。
期待される結果:
一套使用檢索精確率、答案 groundedness、成對評判、錯誤類別與迴歸檢查的比較工作流程。
「llm-evaluation」を使用しています。 為模型更新設定監控。
期待される結果:
一套包含基準線分數、警示閾值、基準測試執行、審查者抽樣與發布決策規則的迴歸策略。
セキュリティ監査
安全The static external-command findings are markdown Python code fences in SKILL.md, not executable Ruby or shell backtick use. The certificate/key and network reconnaissance findings are false positives from ordinary evaluation text and resource names. No prompt injection attempt, data exfiltration intent, or malicious behavior was found.
リスク要因
⚙️ 外部コマンド (23)
このレポートを共有・引用
バージョン付き評価レポート、中立的なバッジ、埋め込みカード、引用を共有できます。Skillstore は証拠を報告しますが、この Skill が安全かどうかは判断しません。
レポートリンクをコピー
https://skillstore.io/skills/wshobson-llm-evaluation/audits/7?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdownバッジ
[](https://skillstore.io/skills/wshobson-llm-evaluation?utm_source=security_passport_badge)HTMLバッジ
<a href="https://skillstore.io/skills/wshobson-llm-evaluation?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/wshobson-llm-evaluation/security.svg" alt="Skillstore security assessment" loading="lazy"></a>埋め込みカード
<iframe src="https://skillstore.io/embed/skills/wshobson-llm-evaluation.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>学術引用 (APA · BibTeX · CFF)
APA形式の引用
wshobson. (2026). llm-evaluation security audit report (audit version 7) [Author version unspecified]. Skillstore. https://skillstore.io/skills/wshobson-llm-evaluation/audits/7BibTeX形式の引用
@techreport{wshobson-wshobson-llm-evaluation-2026,
author = {wshobson},
title = {llm-evaluation security audit report (audit version 7)},
institution = {Skillstore},
year = {2026},
number = {7},
url = {https://skillstore.io/skills/wshobson-llm-evaluation/audits/7},
note = {Author version unspecified}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "llm-evaluation security audit report (audit version 7)"
version: "unspecified"
type: report
authors:
- name: "wshobson"
date-released: "2026-07-07"
url: "https://skillstore.io/skills/wshobson-llm-evaluation/audits/7"
identifiers:
- type: other
value: "skillstore:wshobson-llm-evaluation:audit:7"
description: "Skillstore immutable audit report identifier"
バリアントを比較
インストール可能なバリアント 2 件各作者のスキルは個別のインストール項目として維持されます。推奨バリアントは Skillstore の証拠で順位付けされます。
このバリアントが首位の理由
Skillstore スコア
このスコアの理由 証拠の信頼度: 高作成できるもの
驗證 Prompt 變更
在發布前，透過指標、人工審查與迴歸檢查比較舊 prompt 與新 prompt。
基準測試模型選項
在候選模型之間執行一致的測試集，並總結品質差異。
設計審查工作流程
為人工審查者建立標註表單、評分維度與評分者間一致性檢查。
これらのプロンプトを試す
幫我為處理 [task] 的 LLM 應用程式選擇評估指標。包含自動化指標、人工審查標準與風險。
為 [application] 設計評估資料集計畫。包含樣本類別、預期輸出、邊界案例與最低樣本數。
為 prompt A 和 prompt B 建立 A/B 評估計畫。包含指標、人工評分、顯著性檢查與發布標準。
為 [system] 設計持續性的 LLM 迴歸測試工作流程。包含基準線、閾值、儀表板、失敗分診與治理。
ベストプラクティス
- 使用多種指標，因為單一分數很少能完整捕捉 LLM 品質。
- 使用具代表性的範例進行測試，並包含邊界案例與常見失敗情境。
- 針對高影響工作流程，將自動化結果與人工審查結合。
回避
- 不要只針對單一自動化指標進行最佳化。
- 不要根據小型或有偏差的測試集得出發布結論。
- 未經核准前，不要將敏感評估資料傳送給外部 judge models。
よくある質問
此技能會自動執行評估嗎？
它可以比較兩個 prompt 嗎？
它涵蓋人工評估嗎？
我可以將它與 Claude、Codex 和 Claude Code 搭配使用嗎？
我應避免使用哪些資料？
主要的安全考量是什麼？
開発者情報
作成者
wshobsonライセンス
MIT
Skillstore リビジョン
r1
バージョンに関する注意
作者はバージョンを宣言していません。
リポジトリ
https://github.com/wshobson/agents/tree/main/plugins/llm-application-dev/skills/llm-evaluation参照
36e07d5e13068e5be64447e8f20b427cf2cbd21a
メンテナンスの新しさ
2026/7/20
利用状況
16 ダウンロード · 297 閲覧
ファイル構成
📄 SKILL.md