スキル advanced-evaluation
📦

advanced-evaluation

コンテンツリビジョン r2 中リスク ⚙️ 外部コマンド🌐 ネットワークアクセス

بناء أنظمة تقييم LLM موثوقة

غالبًا ما تنخفض جودة تقييم LLM عندما يستخدم المحكّمون معايير تقييم غامضة أو مقارنات متحيزة. ترشد هذه المهارة Claude وCodex وClaude Code عبر التسجيل، والمراجعة الزوجية، وتخفيف التحيز، واختيار المقاييس.

対応: Claude Codex Code(CC)
Maintain this Skill? Claim it 📊 73 十分

自分のエージェントでインストール

このリクエストをエージェントにコピーしてください。正規の Skill ページとマニフェストが含まれています。

エージェントリクエスト
Review the Skillstore skill "advanced-evaluation" from https://skillstore.io/skills/muratcankoylan-advanced-evaluation.md and its manifest at https://skillstore.io/api/skills/muratcankoylan-advanced-evaluation/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

エージェントは引き続き計画を提示し、セキュリティポリシーで必要な確認を求める必要があります。

エージェントが読めるリソース

AI エージェント、クローラー、スクリプトがページ全体ではなく整理されたコンテキストを必要とする場合は、これらのリンクを使ってください。

テストする

「advanced-evaluation」を使用しています。 يحتاج فريق إلى تقييم ردود دعم العملاء من حيث الدقة والفائدة.

期待される結果:

توصي المهارة بالتسجيل المباشر مع معايير مرجّحة منفصلة للدقة الواقعية، والاكتمال، والنبرة، وقابلية التنفيذ.

「advanced-evaluation」を使用しています。 تختلف إجابتان من روبوت محادثة أساسًا في الأسلوب والوضوح.

期待される結果:

توصي المهارة بالمقارنة الزوجية مع تبديل المواضع، ومعالجة التعادل، والثقة المستندة إلى الاتساق.

「advanced-evaluation」を使用しています。 يتفق المحكّم مع البشر عمومًا لكنه يفشل في الإجابات الموجزة.

期待される結果:

تحدد المهارة خطر تحيز الطول وتوصي بمعايير صريحة للإيجاز إضافة إلى تحليل الخلاف حسب طول الاستجابة.

セキュリティ監査

中リスク

All 44 static alerts are false positives caused by Markdown formatting, ordinary collection methods, evaluation terminology, and research links. The local example script only calculates and prints demonstration results. However, evaluator prompts interpolate untrusted candidate responses without explicit prompt-injection isolation, which could permit scoring manipulation.

6
スキャンされたファイル
1,784
解析済み行数
0
レビュー項目
0
誤検知を無視

確認済みのセキュリティ上の懸念 (1)

中
Evaluator Prompt Injection Exposure
The examples interpolate candidate responses directly into judge prompts without telling the judge to treat embedded directives as untrusted data. A crafted response could manipulate scores or bypass rubric instructions.
The prompt templates visibly place candidate-controlled text in evaluator context without instruction-isolation guidance. This is a recognized scoring-integrity weakness, although exploitation depends on the judge model.
監査者: codex 監査履歴を表示 →
このレポートを共有・引用

バージョン付き評価レポート、中立的なバッジ、埋め込みカード、引用を共有できます。Skillstore は証拠を報告しますが、この Skill が安全かどうかは判断しません。

バージョン別レポートを開く
セキュリティ評価

レポートリンクをコピー

https://skillstore.io/skills/muratcankoylan-advanced-evaluation/audits/8?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Markdownバッジ

[![Skillstore security assessment](https://skillstore.io/badges/skills/muratcankoylan-advanced-evaluation/security.svg)](https://skillstore.io/skills/muratcankoylan-advanced-evaluation?utm_source=security_passport_badge)

HTMLバッジ

<a href="https://skillstore.io/skills/muratcankoylan-advanced-evaluation?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/muratcankoylan-advanced-evaluation/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

埋め込みカード

<iframe src="https://skillstore.io/embed/skills/muratcankoylan-advanced-evaluation.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>
学術引用 (APA · BibTeX · CFF)

APA形式の引用

muratcankoylan. (2026). advanced-evaluation security audit report (audit version 8) [Author version unspecified]. Skillstore. https://skillstore.io/skills/muratcankoylan-advanced-evaluation/audits/8

BibTeX形式の引用

@techreport{muratcankoylan-muratcankoylan-advanced-evaluation-2026, author = {muratcankoylan}, title = {advanced-evaluation security audit report (audit version 8)}, institution = {Skillstore}, year = {2026}, number = {8}, url = {https://skillstore.io/skills/muratcankoylan-advanced-evaluation/audits/8}, note = {Author version unspecified} }

CITATION.cff

cff-version: 1.2.0 message: "If you use this Skill, cite its author and this versioned security audit report." title: "advanced-evaluation security audit report (audit version 8)" version: "unspecified" type: report authors: - name: "muratcankoylan" date-released: "2026-08-09" url: "https://skillstore.io/skills/muratcankoylan-advanced-evaluation/audits/8" identifiers: - type: other value: "skillstore:muratcankoylan-advanced-evaluation:audit:8" description: "Skillstore immutable audit report identifier"

バリアントを比較

インストール可能なバリアント 2 件

各作者のスキルは個別のインストール項目として維持されます。推奨バリアントは Skillstore の証拠で順位付けされます。

このバリアントが首位の理由

Skillstore スコアが最高

chakshugautam-advanced-evaluation

Skillstore スコア 81
証拠の信頼度 高
Skillstore 利用状況 19
更新済み

2026-09-09

muratcankoylan-advanced-evaluation

Skillstore スコア 73
証拠の信頼度 高
Skillstore 利用状況 19
更新済み

2026-09-09

Skillstore スコア

このスコアの理由 証拠の信頼度: 高
68
アーキテクチャ
85
保守性
87
コンテンツ
73
コミュニティ
83
仕様準拠

作成できるもの

مقارنة استجابات النماذج

استخدم المراجعة الزوجية لاختيار الإجابة الأفضل من حيث النبرة، أو الوضوح، أو الفائدة، أو جودة التفضيل.

بناء معايير تقييم

أنشئ مستويات تسجيل واضحة، ومعايير قابلة للملاحظة، وإرشادات للحالات الحدية من أجل مراجعات قابلة للتكرار.

تدقيق موثوقية المحكّم

تحقق من نتائج المحكّم الآلي مقابل التسميات البشرية واكتشف أنماط التحيز المنهجية.

これらのプロンプトを試す

اختيار طريقة تقييم
ساعدني في اختيار طريقة تقييم لـ [task]. المخرجات هي [objective or subjective]. اشرح أفضل مقياس ولماذا.
إنشاء معيار تسجيل
أنشئ معيار تقييم متوازنًا لـ [criterion] في [domain]. استخدم مقياس [scale] وضمّن إرشادات للحالات الحدية.
مقارنة مخرجين لنموذجين
قارن Response A وResponse B وفقًا لـ [criteria]. ضمّن تخفيف تحيز الموضع واشرح الثقة النهائية.
تصميم مسار تقييم
صمم مسار تقييم لـ [product workflow]. ضمّن التحقق، واختيار المحكّم، وضوابط التحيز، والمقاييس، ومحفزات المراجعة البشرية.

ベストプラクティス

  • اطلب تبريرًا قائمًا على الأدلة قبل كل درجة آلية.
  • بدّل ترتيب الاستجابات في المقارنات الزوجية واربط النتائج مرة أخرى قبل اتخاذ القرار.
  • تحقق من مخرجات المحكّم الآلي مقابل التسميات البشرية قبل استخدامها في القرارات.

回避

  • استخدام درجة جودة غامضة واحدة للعديد من المعايير غير المرتبطة.
  • الثقة بمرور زوجي واحد دون فحص تحيز الموضع.
  • اعتبار الاتفاق العالي كافيًا دون فحص حالات الفشل المنهجية.

よくある質問

ما الغرض من هذه المهارة؟
تساعد في تصميم تقييمات LLM-as-judge للتسجيل، والمقارنة، ومعايير التقييم، والمقاييس، وتخفيف التحيز.
هل تشغّل التقييمات تلقائيًا؟
توفر أنماطًا وأمثلة. يجب على المستخدمين ربط النهج بواجهات API للنماذج والبيانات التي اختاروها.
متى ينبغي أن أستخدم التسجيل المباشر؟
استخدم التسجيل المباشر عندما تكون المعايير موضوعية، مثل الالتزام بالتنسيق، أو الدقة، أو السلامة، أو اتباع التعليمات.
متى ينبغي أن أستخدم المقارنة الزوجية؟
استخدم المقارنة الزوجية لأحكام التفضيل، مثل النبرة، أو الوضوح، أو القدرة على الإقناع، أو الأسلوب.
كيف تقلل تحيز المقيم؟
توصي بتبديل المواضع، وإرشادات صريحة للطول، والمراجعة العمياء، والتحكيم عبر نماذج متعددة، ومعايرة الثقة.
هل يمكنها استبدال التقييم البشري؟
لا. ينبغي معايرتها مقابل الأحكام البشرية وتوجيه الحالات منخفضة الثقة إلى مراجعة بشرية.

開発者情報

作成者

muratcankoylan

ライセンス

MIT

Skillstore リビジョン

r2

バージョンに関する注意

作者はバージョンを宣言していません。

参照

02be9409c79ca1183f7844009c14d9df684d0cf9

メンテナンスの新しさ

2026/8/11

利用状況

11 ダウンロード · 391 閲覧