📦
context-degradation
81AIエージェントにおけるコンテキスト劣化の診断
長い会話や大規模なプロンプトにより、AIエージェントは重要な情報を見失ったり、矛盾するコンテキストに従ったりすることがあります。このスキルは、Claude、Codex、Claude Codeが劣化パターンを特定し、緩和戦略を選択するのに役立ちます。
コーディング＆開発 表示
スキル advanced-evaluation
📦
advanced-evaluation
コンテンツリビジョン r1 安全 ⚙️ 外部コマンド🌐 ネットワークアクセス
信頼性の高いLLM評価システムを構築
LLM評価をチームやモデルをまたいで一貫させることは困難です。このスキルは、再現性のある評価のために、ジャッジプロンプト、ルーブリック、メトリクス、バイアスチェックの設計を支援します。
対応: Claude Codex Code(CC)
自分のエージェントでインストール
このリクエストをエージェントにコピーしてください。正規の Skill ページとマニフェストが含まれています。
エージェントリクエスト
Review the Skillstore skill "advanced-evaluation" from https://skillstore.io/skills/chakshugautam-advanced-evaluation.md and its manifest at https://skillstore.io/api/skills/chakshugautam-advanced-evaluation/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.エージェントは引き続き計画を提示し、セキュリティポリシーで必要な確認を求める必要があります。
エージェントが読めるリソース
AI エージェント、クローラー、スクリプトがページ全体ではなく整理されたコンテキストを必要とする場合は、これらのリンクを使ってください。
テストする
「advanced-evaluation」を使用しています。 明確さと有用性について、2つのチャットボット回答を比較する。
期待される結果:
回答順序の入れ替え、明確な基準、同点ルール、信頼度キャリブレーションを含むペアワイズ評価計画。
「advanced-evaluation」を使用しています。 プルリクエストレビューにおけるコードの可読性のルーブリックを作成する。
期待される結果:
観察可能な特性、スコアリングガイドライン、生成コードまたはドメイン固有コード向けのエッジケースを含む5段階ルーブリック。
「advanced-evaluation」を使用しています。 自動ジャッジが人間のレビュアーと一致しているかを測定する。
期待される結果:
一致率、カッパ係数、順位相関、体系的な不一致の分析を使用したメトリクス選定計画。
セキュリティ監査
安全v8 • 2026/7/6 バージョン別レポートを開く
All 37 static findings are false positives after context review. The flagged shell execution is markdown fencing, and the network findings are research citations, not runtime calls. No prompt injection or exfiltration intent was found.
5
スキャンされたファイル
1,730
解析済み行数
0
レビュー項目
0
誤検知を無視
リスク要因
⚙️ 外部コマンド (27)
SKILL.md:76-80 SKILL.md:80-88 SKILL.md:88-112 SKILL.md:112-127 SKILL.md:127-155 SKILL.md:155-185 SKILL.md:185-216 SKILL.md:216-244 SKILL.md:244-255 SKILL.md:255-278 SKILL.md:278-284 SKILL.md:284-287 SKILL.md:287-301 SKILL.md:301-306 SKILL.md:306-311 SKILL.md:311-314 SKILL.md:314-316 SKILL.md:316-319 SKILL.md:319-321 SKILL.md:321-325 SKILL.md:325-327 SKILL.md:327-330 SKILL.md:330-340 SKILL.md:340-345 SKILL.md:345-351 SKILL.md:351-354 SKILL.md:354-395
🌐 ネットワークアクセス (4)
最新の完了済み静的・セマンティック監査では、確認済みのセキュリティ検出事項は見つかりませんでした。これは、スキルに副作用がないことを証明するものではありません。
監査者: codex 監査履歴を表示 →
このレポートを共有・引用
バージョン付き評価レポート、中立的なバッジ、埋め込みカード、引用を共有できます。Skillstore は証拠を報告しますが、この Skill が安全かどうかは判断しません。
レポートリンクをコピー
https://skillstore.io/skills/chakshugautam-advanced-evaluation/audits/8?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdownバッジ
[](https://skillstore.io/skills/chakshugautam-advanced-evaluation?utm_source=security_passport_badge)HTMLバッジ
<a href="https://skillstore.io/skills/chakshugautam-advanced-evaluation?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/chakshugautam-advanced-evaluation/security.svg" alt="Skillstore security assessment" loading="lazy"></a>埋め込みカード
<iframe src="https://skillstore.io/embed/skills/chakshugautam-advanced-evaluation.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>学術引用 (APA · BibTeX · CFF)
APA形式の引用
ChakshuGautam. (2026). advanced-evaluation security audit report (audit version 8) [Author version unspecified]. Skillstore. https://skillstore.io/skills/chakshugautam-advanced-evaluation/audits/8BibTeX形式の引用
@techreport{chakshugautam-chakshugautam-advanced-evaluation-2026,
author = {ChakshuGautam},
title = {advanced-evaluation security audit report (audit version 8)},
institution = {Skillstore},
year = {2026},
number = {8},
url = {https://skillstore.io/skills/chakshugautam-advanced-evaluation/audits/8},
note = {Author version unspecified}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "advanced-evaluation security audit report (audit version 8)"
version: "unspecified"
type: report
authors:
- name: "ChakshuGautam"
date-released: "2026-07-06"
url: "https://skillstore.io/skills/chakshugautam-advanced-evaluation/audits/8"
identifiers:
- type: other
value: "skillstore:chakshugautam-advanced-evaluation:audit:8"
description: "Skillstore immutable audit report identifier"
バリアントを比較
インストール可能なバリアント 2 件各作者のスキルは個別のインストール項目として維持されます。推奨バリアントは Skillstore の証拠で順位付けされます。
このバリアントが首位の理由
Skillstore スコアが最高
作者 / ソース Skillstore スコア 証拠の信頼度 Skillstore 利用状況 更新済み
chakshugautam-advanced-evaluation
Skillstore スコア 81
証拠の信頼度 高
Skillstore 利用状況 10
更新済み
2026-09-09
muratcankoylan-advanced-evaluation
Skillstore スコア 73
証拠の信頼度 高
Skillstore 利用状況 12
更新済み
2026-09-09
Skillstore スコア
このスコアの理由 証拠の信頼度: 高 68
アーキテクチャ
85
保守性
87
コンテンツ
73
コミュニティ
83
仕様準拠
作成できるもの
プロンプト変更を評価する
ペアワイズ判定と位置バイアスチェックを使って、プロンプトのバリエーションからの出力を比較します。
スコアリングルーブリックを作成する
一貫したレビューのために、明確なスコアレベル、エッジケース、根拠要件を定義します。
ジャッジの信頼性を監視する
一致メトリクスを選択し、自動スコアと人間の判断の差分を追跡します。
これらのプロンプトを試す
評価方法を選ぶ
このタスクに適した評価方法を選ぶのを手伝ってください: [task]。直接スコアリング、ペアワイズ比較、参照ベース評価のどれが最も適しているかを説明してください。
シンプルなルーブリックを作成する
[domain]における[criterion]について、1から5のルーブリックを作成してください。レベル説明、観察可能なシグナル、エッジケースのガイダンスを含めてください。
ペアワイズ比較を設計する
2つのモデル回答に対するペアワイズ評価ワークフローを設計してください。位置入れ替え、同点処理、信頼度スコアリング、失敗ケースを含めてください。
評価パイプラインを監査する
この評価パイプラインをレビューしてください: [pipeline]。バイアスリスク、不足しているメトリクス、弱いプロンプト、検証ギャップ、具体的な改善点を特定してください。
ベストプラクティス
- すべてのスコアの前に、根拠と正当化を必須にします。
- ペアワイズ比較では回答位置を入れ替え、勝者を正しく対応付けます。
- 意思決定に使用する前に、自動判定を人間のレビューと照合して検証します。
回避
- 複数の品質次元を混在させた単一の広範な基準を使用すること。
- キャリブレーションやレビューなしに、1つのモデルジャッジを最終判断として扱うこと。
- 位置、長さ、冗長性のバイアスを確認せずに、一度だけ回答を比較すること。
よくある質問
このスキルは何の評価に役立ちますか?
LLM出力、プロンプト、モデル変更、ルーブリック、自動ジャッジの挙動の評価を支援します。
評価を自動的に実行しますか?
いいえ。評価ワークフローを構築するための方法、プロンプト、メトリクス、サンプルパターンを提供します。
2つのモデル回答を比較できますか?
はい。位置入れ替え、信頼度スコアリング、同点処理を伴うペアワイズ比較を説明します。
バイアス軽減を扱っていますか?
はい。位置、長さ、冗長性、自己強化、権威バイアスを扱います。
このスキルはどのツールで使用できますか?
レポートには、Claude、Codex、Claude Codeのサポートが記載されています。
人間によるレビューはまだ必要ですか?
はい。結果が品質ゲート、安全性、またはユーザー向けの意思決定に影響する場合、人間による検証は重要です。
開発者情報
作成者
ChakshuGautamライセンス
MIT
Skillstore リビジョン
r1
バージョンに関する注意
作者はバージョンを宣言していません。
参照
dd4a3ef9f20ddf38830950b4bb713df96b431fd6
メンテナンスの新しさ
2026/7/22
利用状況
7 ダウンロード · 389 閲覧
ファイル構成
ChakshuGautam のその他のスキル
すべて表示📦
context-optimization
80AIコンテキストウィンドウを最適化
長時間のAIセッションでは、トークンを浪費し、応答が遅くなり、重要なコンテキストを失うことがあります。このスキルは、Claude、Codex、Claude Codeに、コンテキストの圧縮、マスキング、キャッシュ、予算管理のための実用的なパターンを提供します。
生産性 表示
📦
context-compression
80長いエージェントコンテキストを確実に圧縮する
長いエージェントセッションでは、コンテキストが過度に積極的に圧縮されると、重要なファイル、判断、次のステップが失われます。このスキルは、トークン使用量を削減しながら利用可能なコンテキストを保持するための、構造化された圧縮と評価の方法を提供します。
生産性 表示
📦
context-fundamentals
80エージェントのコンテキスト管理を最適化
プロンプト、ツール、履歴、検索取得がコンテキストを奪い合うと、エージェントシステムは信頼性を損なうことがあります。このスキルは、コンテキストの構成要素と、予算管理、段階的開示、検証のための実践的なパターンを説明します。
ドキュメント 表示
📦
multi-agent-patterns
80マルチエージェントアーキテクチャの設計
すべてのタスクを1つのコンテキストウィンドウで扱うと、複雑なエージェント作業は失敗することがあります。このスキルは、Claude、Codex、Claude Code が明確なハンドオフを備えたエージェントシステムを設計するのに役立ちます。
コーディング＆開発 表示
📦
tool-design
80より優れたエージェントツールを設計する
エージェントツールは、説明、スキーマ、エラーが不明確な場合に失敗します。このスキルは、より明確なツールインターフェースとより小さなツールセットのための実践的なパターンを提供します。
デザイン＆クリエイティブ 表示
関連スキル
すべて表示📦
llm-evaluation
78LLMアプリケーション品質の評価
作成者 wshobson
LLMチームには、変更がユーザーに届く前に品質を測定するための再現可能な方法が必要です。このスキルは、自動メトリクス、人によるレビュー、判定、ベンチマーク、回帰チェックの構成を支援します。
データ＆アナリティクス 表示
📦
evaluation
81ルーブリックでエージェントシステムを評価する
作成者 muratcankoylan
エージェントチームには、品質、リグレッション、コンテキスト変更を測定するための再現可能な方法が必要です。このスキルは、ルーブリック設計、テストセット、スコアリング、モニタリングをガイドします。
データ＆アナリティクス 表示
📦
ml-antipattern-validator
81MLワークフローに潜むアンチパターンを検証
作成者 Doyajin174
MLプロジェクトは一見正確に見えても、データリーケージや弱い評価によって重大な欠陥が隠れていることがあります。このスキルは、分割、指標、トレーニング、デプロイ準備状況を体系的にチェックするためのガイドを提供します。
データ＆アナリティクス 表示
📦
prompt-engineering-patterns
86本番環境向けLLMプロンプトを最適化
作成者 wshobson
LLMプロンプトは、指示、例、評価基準が不明確なために失敗することがよくあります。このスキルは、Claude、Codex、Claude Code、および同様のツールでプロンプトを改善するためのテンプレートとワークフローを提供します。
生産性 表示
📦
senior-prompt-engineer
81より良いLLMプロンプトを設計する
作成者 alirezarezvani
プロンプトの品質は、要件、例、評価基準が不明確なために失敗することがよくあります。このスキルは、チームがClaude、Codex、Claude Code向けの本番用プロンプトを設計、テスト、レビューするのに役立ちます。
コーディング＆開発 表示
📦
senior-qa
81WebアプリのQAカバレッジを改善する
作成者 alirezarezvani
現代のチームには、デリバリーを遅らせることなく、明確なテスト戦略と実践的な自動化が必要です。このスキルは、Claude、Codex、Claude Codeがテストを計画し、カバレッジをレビューし、QAワークフローをスキャフォールドするのに役立ちます。
コーディング＆開発 表示