📦
prompt-engineering-patterns
86本番環境向けLLMプロンプトを最適化
LLMプロンプトは、指示、例、評価基準が不明確なために失敗することがよくあります。このスキルは、Claude、Codex、Claude Code、および同様のツールでプロンプトを改善するためのテンプレートとワークフローを提供します。
生産性 表示
スキル llm-evaluation
📦
llm-evaluation
コンテンツリビジョン r1 安全 ⚙️ 外部コマンド
LLMアプリケーション品質の評価
LLMチームには、変更がユーザーに届く前に品質を測定するための再現可能な方法が必要です。このスキルは、自動メトリクス、人によるレビュー、判定、ベンチマーク、回帰チェックの構成を支援します。
対応: Claude Codex Code(CC)
自分のエージェントでインストール
このリクエストをエージェントにコピーしてください。正規の Skill ページとマニフェストが含まれています。
エージェントリクエスト
Review the Skillstore skill "llm-evaluation" from https://skillstore.io/skills/wshobson-llm-evaluation.md and its manifest at https://skillstore.io/api/skills/wshobson-llm-evaluation/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.エージェントは引き続き計画を提示し、セキュリティポリシーで必要な確認を求める必要があります。
エージェントが読めるリソース
AI エージェント、クローラー、スクリプトがページ全体ではなく整理されたコンテキストを必要とする場合は、これらのリンクを使ってください。
テストする
「llm-evaluation」を使用しています。 リリース前にサポートチャットボットを評価する。
期待される結果:
正確性、関連性、安全性、有用性のメトリクス、代表的なサポートシナリオ、人によるレビュー用ルーブリック、リリースしきい値を含む計画。
「llm-evaluation」を使用しています。 RAGアシスタント向けに2つの検索プロンプトを比較する。
期待される結果:
検索精度、回答の根拠性、ペアワイズ判定、エラーカテゴリ、回帰チェックを使用した比較ワークフロー。
「llm-evaluation」を使用しています。 モデル更新の監視を設定する。
期待される結果:
ベースラインスコア、アラートしきい値、ベンチマーク実行、レビュアーサンプリング、リリース判断ルールを含む回帰戦略。
セキュリティ監査
安全v7 • 2026/7/7 バージョン別レポートを開く
The static external-command findings are markdown Python code fences in SKILL.md, not executable Ruby or shell backtick use. The certificate/key and network reconnaissance findings are false positives from ordinary evaluation text and resource names. No prompt injection attempt, data exfiltration intent, or malicious behavior was found.
1
スキャンされたファイル
472
解析済み行数
0
レビュー項目
0
誤検知を無視
リスク要因
⚙️ 外部コマンド (23)
SKILL.md:66-95 SKILL.md:95-100 SKILL.md:100-118 SKILL.md:118-121 SKILL.md:121-134 SKILL.md:134-137 SKILL.md:137-154 SKILL.md:154-157 SKILL.md:157-182 SKILL.md:182-187 SKILL.md:187-214 SKILL.md:214-217 SKILL.md:217-245 SKILL.md:245-250 SKILL.md:250-286 SKILL.md:286-289 SKILL.md:289-309 SKILL.md:309-314 SKILL.md:314-366 SKILL.md:366-371 SKILL.md:371-404 SKILL.md:404-409 SKILL.md:409-441
最新の完了済み静的・セマンティック監査では、確認済みのセキュリティ検出事項は見つかりませんでした。これは、スキルに副作用がないことを証明するものではありません。
監査者: codex 監査履歴を表示 →
このレポートを共有・引用
バージョン付き評価レポート、中立的なバッジ、埋め込みカード、引用を共有できます。Skillstore は証拠を報告しますが、この Skill が安全かどうかは判断しません。
レポートリンクをコピー
https://skillstore.io/skills/wshobson-llm-evaluation/audits/7?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdownバッジ
[](https://skillstore.io/skills/wshobson-llm-evaluation?utm_source=security_passport_badge)HTMLバッジ
<a href="https://skillstore.io/skills/wshobson-llm-evaluation?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/wshobson-llm-evaluation/security.svg" alt="Skillstore security assessment" loading="lazy"></a>埋め込みカード
<iframe src="https://skillstore.io/embed/skills/wshobson-llm-evaluation.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>学術引用 (APA · BibTeX · CFF)
APA形式の引用
wshobson. (2026). llm-evaluation security audit report (audit version 7) [Author version unspecified]. Skillstore. https://skillstore.io/skills/wshobson-llm-evaluation/audits/7BibTeX形式の引用
@techreport{wshobson-wshobson-llm-evaluation-2026,
author = {wshobson},
title = {llm-evaluation security audit report (audit version 7)},
institution = {Skillstore},
year = {2026},
number = {7},
url = {https://skillstore.io/skills/wshobson-llm-evaluation/audits/7},
note = {Author version unspecified}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "llm-evaluation security audit report (audit version 7)"
version: "unspecified"
type: report
authors:
- name: "wshobson"
date-released: "2026-07-07"
url: "https://skillstore.io/skills/wshobson-llm-evaluation/audits/7"
identifiers:
- type: other
value: "skillstore:wshobson-llm-evaluation:audit:7"
description: "Skillstore immutable audit report identifier"
バリアントを比較
インストール可能なバリアント 2 件各作者のスキルは個別のインストール項目として維持されます。推奨バリアントは Skillstore の証拠で順位付けされます。
このバリアントが首位の理由
Skillstore での利用が多い
Skillstore スコア
このスコアの理由 証拠の信頼度: 高 55
アーキテクチャ
85
保守性
87
コンテンツ
71
コミュニティ
83
仕様準拠
作成できるもの
プロンプト変更の検証
リリース前に、メトリクス、人によるレビュー、回帰チェックを使用して新旧のプロンプトを比較します。
モデル候補のベンチマーク
候補モデル全体で一貫したテストセットを実行し、品質差を要約します。
レビューワークフローの設計
人間のレビュアー向けに、アノテーションフォーム、スコアリング観点、評価者間一致度チェックを作成します。
これらのプロンプトを試す
メトリクスを選ぶ
[task]を扱うLLMアプリケーションの評価メトリクス選定を手伝ってください。自動メトリクス、人によるレビュー基準、リスクを含めてください。
テストセットを構築する
[application]の評価データセット計画を設計してください。サンプルカテゴリ、期待される出力、エッジケース、最小サンプルサイズを含めてください。
2つのプロンプトを比較する
prompt Aとprompt BのA/B評価計画を作成してください。メトリクス、人によるスコアリング、有意性チェック、リリース基準を含めてください。
回帰プログラムを作成する
[system]向けの継続的なLLM回帰テストワークフローを設計してください。ベースライン、しきい値、ダッシュボード、失敗時のトリアージ、ガバナンスを含めてください。
ベストプラクティス
- 単一のスコアだけでLLM品質全体を捉えられることはまれなため、複数のメトリクスを使用します。
- エッジケースや一般的な失敗を含む代表的な例でテストします。
- 影響の大きいワークフローでは、自動結果と人によるレビューを組み合わせます。
回避
- 単一の自動メトリクスだけに最適化しないでください。
- 小規模または偏りのあるテストセットからリリース判断を下さないでください。
- 承認なしに、機密性の高い評価データを外部のjudgeモデルに送信しないでください。
よくある質問
このスキルは評価を自動的に実行しますか？
いいえ。評価ワークフローを構築するためのパターンとサンプル構造を提供します。
2つのプロンプトを比較できますか？
はい。A/Bテスト、ペアワイズ判定、統計的チェック、リリース基準について説明します。
人による評価も扱っていますか？
はい。評価観点、アノテーションフォーム構造、評価者間一致度が含まれています。
Claude、Codex、Claude Codeで使用できますか？
はい。このガイダンスはツールに依存せず、Claude、Codex、Claude Codeでのワークフローをサポートできます。
どのようなデータの使用を避けるべきですか？
評価環境が承認されていない限り、機密情報、規制対象情報、またはユーザーを識別できるデータの使用は避けてください。
主なセキュリティ上の考慮事項は何ですか？
例では外部モデルAPIを呼び出す場合があるため、チームは評価データが環境外に出る範囲を管理する必要があります。
開発者情報
作成者
wshobsonライセンス
MIT
Skillstore リビジョン
r1
バージョンに関する注意
作者はバージョンを宣言していません。
リポジトリ
https://github.com/wshobson/agents/tree/main/plugins/llm-application-dev/skills/llm-evaluation参照
36e07d5e13068e5be64447e8f20b427cf2cbd21a
メンテナンスの新しさ
2026/7/22
利用状況
16 ダウンロード · 297 閲覧
ファイル構成
📄 SKILL.md
wshobson のその他のスキル
すべて表示📦
context-driven-development
81コンテキスト駆動開発を管理する
AI支援プロジェクトでは、プロダクト目標、スタック選定、ワークフロールールが散在すると一貫性が失われます。このスキルは、Conductor のコンテキスト成果物を通じて Claude、Codex、Claude Code を導きます。
コーディング＆開発 表示
📦
startup-financial-modeling
80スタートアップ向け財務モデルを構築する
スタートアップチームは、採用、資金調達、資金使途を計画する前に、明確な予測を必要とします。このスキルは、収益、コスト、ランウェイ、シナリオを実務的な財務計画アウトプットとして整理します。
データ＆アナリティクス 表示
📦
kpi-dashboard-design
79意思決定を促進するKPIダッシュボードを設計する
チームは多くの数値を表示するだけで、行動につながらないダッシュボードを作りがちです。このスキルは、Claude、Codex、Claude Codeが意味のあるKPIを選定し、ビューを構成し、指標を明確に提示するのに役立ちます。
デザイン＆クリエイティブ 表示
📦
postmortem-writing
79非難しないインシデント事後分析を書く
インシデントレビューは、一貫性がなくなったり、非難に焦点が当たったり、実行に移しにくくなったりしがちです。このスキルは、Claude、Codex、Claude Code が、明確なタイムライン、根本原因、担当者を含む構造化された事後分析を作成するのに役立ちます。
ライティング＆コンテンツ 表示
📦
data-storytelling
79明確なデータストーリーを構築
生の指標だけでは、ステークホルダーを説得したり意思決定を支援したりするには不十分なことがよくあります。このスキルは、Claude、Codex、Claude Code が分析を明確なナラティブ、ビジュアル、推奨事項へと整理するのを支援します。
データ＆アナリティクス 表示
関連スキル
すべて表示📦
advanced-evaluation
81信頼性の高いLLM評価システムを構築
作成者 ChakshuGautam
LLM評価をチームやモデルをまたいで一貫させることは困難です。このスキルは、再現性のある評価のために、ジャッジプロンプト、ルーブリック、メトリクス、バイアスチェックの設計を支援します。
データ＆アナリティクス 表示
📦
evaluation
81ルーブリックでエージェントシステムを評価する
作成者 muratcankoylan
エージェントチームには、品質、リグレッション、コンテキスト変更を測定するための再現可能な方法が必要です。このスキルは、ルーブリック設計、テストセット、スコアリング、モニタリングをガイドします。
データ＆アナリティクス 表示
📦
regression-test
77Detect LLM Prompt Regressions with Promptfoo
作成者 7alexhale5-rgb
Prompt changes can silently reduce output quality. This skill builds golden datasets, runs Promptfoo evaluations, and summarizes failures and recent trends.
コーディング＆開発 表示
📦
senior-prompt-engineer
81より良いLLMプロンプトを設計する
作成者 alirezarezvani
プロンプトの品質は、要件、例、評価基準が不明確なために失敗することがよくあります。このスキルは、チームがClaude、Codex、Claude Code向けの本番用プロンプトを設計、テスト、レビューするのに役立ちます。
コーディング＆開発 表示
📦
req-change-workflow
81要件変更ワークフローを標準化する
作成者 yunshu0909
要件変更は意図した範囲を超えて広がり、回帰リスクを不明確にしがちです。このスキルは、Claude、Codex、Claude Code に、スコープ設定、影響レビュー、検証、意思決定記録のためのゲート付きワークフローを提供します。
コーディング＆開発 表示
📦
context-degradation
81AIエージェントにおけるコンテキスト劣化の診断
作成者 ChakshuGautam
長い会話や大規模なプロンプトにより、AIエージェントは重要な情報を見失ったり、矛盾するコンテキストに従ったりすることがあります。このスキルは、Claude、Codex、Claude Codeが劣化パターンを特定し、緩和戦略を選択するのに役立ちます。
コーディング＆開発 表示