スキル llm-evaluation
📦

llm-evaluation

コンテンツリビジョン r1 安全 ⚙️ 外部コマンド

信頼性の高い指標で LLM アプリケーションを評価する

LLM チームには、品質、安全性、リグレッションを測定するための再現可能な方法が必要です。このスキルは、指標、人間によるレビュー、LLM ジャッジ、ベンチマーク、A/B テストを用いた評価スイートの設計を支援します。

対応: Claude Codex Code(CC)
🥉 78 ブロンズ

自分のエージェントでインストール

このリクエストをエージェントにコピーしてください。正規の Skill ページとマニフェストが含まれています。

エージェントリクエスト
Review the Skillstore skill "llm-evaluation" from https://skillstore.io/skills/sickn33-llm-evaluation.md and its manifest at https://skillstore.io/api/skills/sickn33-llm-evaluation/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

エージェントは引き続き計画を提示し、セキュリティポリシーで必要な確認を求める必要があります。

エージェントが読めるリソース

AI エージェント、クローラー、スクリプトがページ全体ではなく整理されたコンテキストを必要とする場合は、これらのリンクを使ってください。

Markdown詳細 GET /skills/sickn33-llm-evaluation.md 署名済み manifest GET /api/skills/sickn33-llm-evaluation/manifest 署名済み lockfile GET /api/skills/sickn33-llm-evaluation/lockfile

テストする

「llm-evaluation」を使用しています。 リリース前にカスタマーサポートチャットボットを評価する。

期待される結果:

意図の正確性、根拠性、安全性レビュー、人間による評価フォーム、ベースラインしきい値、週次リグレッションレポートを含むバランスの取れた計画。

「llm-evaluation」を使用しています。 2つの retrieval-augmented generation プロンプトを比較する。

期待される結果:

関連性、回答の忠実性、ペアワイズ判定、信頼区間、明示的な昇格判断ルールを使用した比較ワークフロー。

「llm-evaluation」を使用しています。 プロンプト変更後の品質低下を検出する。

期待される結果:

ベースラインスコア、相対変化しきい値、失敗例、推奨される調査手順を含むリグレッションチェックリスト。

セキュリティ監査

安全
v4 • 2026/7/7 バージョン別レポートを開く

All static findings appear to be false positives from Markdown backticks, fenced Python examples, a dictionary keys() call, and ordinary evaluation terminology. I found no evidence of prompt injection, malicious intent, command execution, credential material, or network reconnaissance in SKILL.md.

1
スキャンされたファイル
484
解析済み行数
0
レビュー項目
0
誤検知を無視

リスク要因

⚙️ 外部コマンド (24)
SKILL.md:20 SKILL.md:78-107 SKILL.md:107-112 SKILL.md:112-130 SKILL.md:130-133 SKILL.md:133-146 SKILL.md:146-149 SKILL.md:149-166 SKILL.md:166-169 SKILL.md:169-194 SKILL.md:194-199 SKILL.md:199-226 SKILL.md:226-229 SKILL.md:229-257 SKILL.md:257-262 SKILL.md:262-298 SKILL.md:298-301 SKILL.md:301-321 SKILL.md:321-326 SKILL.md:326-378 SKILL.md:378-383 SKILL.md:383-416 SKILL.md:416-421 SKILL.md:421-453
最新の完了済み静的・セマンティック監査では、確認済みのセキュリティ検出事項は見つかりませんでした。これは、スキルに副作用がないことを証明するものではありません。
監査者: codex 監査履歴を表示 →
このレポートを共有・引用

バージョン付き評価レポート、中立的なバッジ、埋め込みカード、引用を共有できます。Skillstore は証拠を報告しますが、この Skill が安全かどうかは判断しません。

バージョン別レポートを開く
セキュリティ評価

レポートリンクをコピー

https://skillstore.io/skills/sickn33-llm-evaluation/audits/4?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Markdownバッジ

[![Skillstore security assessment](https://skillstore.io/badges/skills/sickn33-llm-evaluation/security.svg)](https://skillstore.io/skills/sickn33-llm-evaluation?utm_source=security_passport_badge)

HTMLバッジ

<a href="https://skillstore.io/skills/sickn33-llm-evaluation?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/sickn33-llm-evaluation/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

埋め込みカード

<iframe src="https://skillstore.io/embed/skills/sickn33-llm-evaluation.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>
学術引用 (APA · BibTeX · CFF)

APA形式の引用

sickn33. (2026). llm-evaluation security audit report (audit version 4) [Author version unspecified]. Skillstore. https://skillstore.io/skills/sickn33-llm-evaluation/audits/4

BibTeX形式の引用

@techreport{sickn33-sickn33-llm-evaluation-2026, author = {sickn33}, title = {llm-evaluation security audit report (audit version 4)}, institution = {Skillstore}, year = {2026}, number = {4}, url = {https://skillstore.io/skills/sickn33-llm-evaluation/audits/4}, note = {Author version unspecified} }

CITATION.cff

cff-version: 1.2.0 message: "If you use this Skill, cite its author and this versioned security audit report." title: "llm-evaluation security audit report (audit version 4)" version: "unspecified" type: report authors: - name: "sickn33" date-released: "2026-07-07" url: "https://skillstore.io/skills/sickn33-llm-evaluation/audits/4" identifiers: - type: other value: "skillstore:sickn33-llm-evaluation:audit:4" description: "Skillstore immutable audit report identifier"

バリアントを比較

インストール可能なバリアント 2 件

各作者のスキルは個別のインストール項目として維持されます。推奨バリアントは Skillstore の証拠で順位付けされます。

このバリアントが首位の理由

Skillstore での利用が多い
wshobson 推奨

wshobson-llm-evaluation

Skillstore スコア 78
証拠の信頼度 高
Skillstore 利用状況 21
更新済み

2026-09-09

sickn33 現在

sickn33-llm-evaluation

Skillstore スコア 78
証拠の信頼度 高
Skillstore 利用状況 12
更新済み

2026-09-09

Skillstore スコア

このスコアの理由 証拠の信頼度: 高
55
アーキテクチャ
85
保守性
87
コンテンツ
68
コミュニティ
83
仕様準拠

作成できるもの

リリース評価ゲートを構築する

新しい LLM ワークフローをデプロイする前に、ベースライン指標とリグレッションチェックを作成します。

プロンプトとモデルのバリアントを比較する

ペアワイズ判定、A/B テスト、指標トラッキングを使用して、より強力なバリアントを選択します。

人間によるレビュープログラムを設計する

専門レビュアー向けに、アノテーションの観点、評価尺度、一致度チェックを定義します。

これらのプロンプトを試す

初期指標を選ぶ 
[task] を行う LLM アプリケーションの評価指標を選ぶのを手伝ってください。自動指標、人間によるレビューの観点、必要なデータを含めてください。
ベースライン計画を作成する 
現在の LLM ワークフロー向けのベースライン評価計画を設計してください。テストケース、指標、合格しきい値、結果を時系列で追跡する方法を含めてください。
2つのバリアントを比較する 
バリアント A とバリアント B を比較するための評価アプローチを作成してください。ペアワイズ判定基準、統計的検定、意思決定ルールを含めてください。
本番評価システムを構築する 
[product] 向けの本番 LLM 評価フレームワークを設計してください。自動指標、人間による評価、LLM-as-judge チェック、リグレッション検出、CI/CD 統合を含めてください。

ベストプラクティス

  • プロダクト目標とユーザーリスクに合った複数の指標を使用します。
  • 安定したベースラインデータセットを維持し、実際の失敗ケースを時間とともに追加します。
  • 影響の大きいワークフローでは、自動スコアリングと人間によるレビューを組み合わせます。

回避

  • ユーザー成果を無視して、1つの指標だけを最適化しないでください。
  • 小さすぎる、または代表性のないテストセットから結論を導かないでください。
  • 明確なルーブリックと抜き取りチェックなしに LLM ジャッジを使用しないでください。

よくある質問

このスキルではどのような LLM システムを評価できますか？
チャットボット、RAG システム、分類タスク、要約、プロンプトバリアント、モデル比較をサポートします。
このスキルは評価を自動実行しますか？
いいえ。評価ワークフローを構築するためのガイダンスとサンプルスニペットを提供します。
人間によるレビューの代わりになりますか？
いいえ。ニュアンスのある品質と安全性のチェックには、自動指標と人間の判断を組み合わせることを推奨します。
ベンチマークデータセットは含まれていますか？
スキャンされたパッケージには SKILL.md のみが含まれています。参照されているベンチマークファイルはファイル構造内に存在しませんでした。
Claude Code や Codex で使用できますか？
はい。メタデータには Claude、Codex、Claude Code のサポートが記載されています。
使用前に何を準備すべきですか？
代表的なテストケース、期待される結果、プロダクト目標、リスク領域、既存のベースライン結果があれば準備してください。

開発者情報

作成者

sickn33

ライセンス

MIT

Skillstore リビジョン

r1

バージョンに関する注意

作者はバージョンを宣言していません。

リポジトリ

https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/llm-evaluation

参照

816c62b2546ddb1c6a0453e7c781b5e095117819

メンテナンスの新しさ

2026/7/18

利用状況

9 ダウンロード · 89 閲覧

ファイル構成

📄 SKILL.md

sickn33 のその他のスキル

すべて表示
📦

senior-fullstack

81

シニアレベルのパターンでフルスタックアプリを構築

チームには、モダンなWebアプリケーション向けに一貫したセットアップ、アーキテクチャ、レビュー指針が必要です。このスキルは、React、Next.js、Node.js、GraphQL、PostgreSQLプロジェクト向けのスキャフォールダー、ワークフローのリファレンス、品質向上のためのプロンプトを提供します。

コーディング＆開発 表示

関連スキル

すべて表示