技能 logprob-prefill-analysis
📦
logprob-prefill-analysis
內容修訂 r1 高風險 ⚙️ 外部命令🌐 網路存取
分析 Prefill Logprob 敏感度
模型安全團隊需要可重現的證據，了解 prefill 何時會讓 exploit 行為更可能發生。這項技能會引導 Claude、Codex 和 Claude Code 進行軌跡與 logprob 分析。
支援: Claude Codex Code(CC)
安裝前請停止並請求確認。
請審查安裝計畫，並在變更檔案前取得使用者明確同意。
使用我的智慧代理安裝
將此請求複製給你的智慧代理，其中包含權威 Skill 頁面和清單。
智能體請求
Review the Skillstore skill "logprob-prefill-analysis" from https://skillstore.io/skills/eleutherai-logprob-prefill-analysis.md and its manifest at https://skillstore.io/api/skills/eleutherai-logprob-prefill-analysis/manifest. Verify the artifact. Stop and obtain explicit user consent before installing or changing files.你的智慧代理仍應顯示其計畫，並依安全政策請求必要確認。
Agent 可讀資源
當 AI Agent、爬蟲或腳本需要乾淨脈絡、而不是讀取完整頁面時，請使用這些連結。
測試它
正在使用「logprob-prefill-analysis」。 我有一個已完成的 prefill 敏感度 run，需要檢查點易受影響程度的趨勢。
預期結果:
一份精簡報告，列出測試過的檢查點、閾值跨越情況，以及總結訓練期間可接近性的圖表。
正在使用「logprob-prefill-analysis」。 我想知道 logprob 或 token count 哪一個更能預測 exploitability。
預期結果:
一份比較摘要，說明合併後的指標、閾值時機，以及哪些證據支持各項結論。
正在使用「logprob-prefill-analysis」。 我需要在分享內部模型安全報告前審查輸出。
預期結果:
一份審查清單，涵蓋產生的樣本、metadata、圖表，以及需要遮蔽的敏感 artifact。
安全審計
高風險v8 • 2026/7/5 開啟版本化報告
The static command findings are false positives caused by Markdown code fences and inline code formatting, plus localhost-only examples. The main residual risk is semantic: the skill teaches a dual-use workflow for eliciting and analyzing exploit-oriented model behavior.
1
已掃描檔案
340
分析行數
0
複核項目
0
已忽略的誤報
已確認的安全問題 (2)
高
Dual-use exploit elicitation workflow
The skill documents prefilling exploit-oriented reasoning to test whether model checkpoints generate exploit code. This is valid for controlled AI safety research, but it can also help tune prompts or checkpoints toward exploit generation.
The file explicitly describes exploit-oriented reasoning, exploit code generation, and exploit source data. The research context is clear, but the dual-use capability is also clear.
中
Sensitive exploit traces and environment metadata
The documented outputs include full generation samples with reasoning and run metadata that may include environment details. The skill does not include redaction or sharing guidance for these sensitive artifacts.
The output and metadata artifacts are explicitly documented. The sensitivity depends on local data and sharing practices, so confidence is high enough to flag but not definitive.
風險因素
⚙️ 外部命令 (60)
SKILL.md:14-27 SKILL.md:27-30 SKILL.md:30-53 SKILL.md:53-55 SKILL.md:55-67 SKILL.md:67-82 SKILL.md:82-84 SKILL.md:84-88 SKILL.md:88-95 SKILL.md:95-100 SKILL.md:100-101 SKILL.md:101-102 SKILL.md:102-105 SKILL.md:105-106 SKILL.md:106-110 SKILL.md:110-133 SKILL.md:133-141 SKILL.md:141-146 SKILL.md:146-149 SKILL.md:149-155 SKILL.md:155-163 SKILL.md:163-164 SKILL.md:164-165 SKILL.md:165-175 SKILL.md:175-181 SKILL.md:181-185 SKILL.md:185-190 SKILL.md:190-193 SKILL.md:193-194 SKILL.md:194-195 SKILL.md:195-203 SKILL.md:203-212 SKILL.md:212-215 SKILL.md:215-219 SKILL.md:219-222 SKILL.md:222-223 SKILL.md:223-226 SKILL.md:226-227 SKILL.md:227-228 SKILL.md:228-229 SKILL.md:229-235 SKILL.md:235-236 SKILL.md:236-237 SKILL.md:237-238 SKILL.md:238-240 SKILL.md:240-271 SKILL.md:271-284 SKILL.md:284 SKILL.md:287 SKILL.md:296-326 SKILL.md:326-334 SKILL.md:334 SKILL.md:335 SKILL.md:336 SKILL.md:337 SKILL.md:338 SKILL.md:339 SKILL.md:112 SKILL.md:110-133 SKILL.md:111
🌐 網路存取 (2)
審計單位: codex 檢視審計紀錄 →
分享與引用此報告
分享版本化評估報告、中性徽章、嵌入卡片與引用。Skillstore 只報告證據，不判斷該 Skill 是否安全。
複製報告連結
https://skillstore.io/skills/eleutherai-logprob-prefill-analysis/audits/8?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdown 徽章
[](https://skillstore.io/skills/eleutherai-logprob-prefill-analysis?utm_source=security_passport_badge)HTML 徽章
<a href="https://skillstore.io/skills/eleutherai-logprob-prefill-analysis?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/eleutherai-logprob-prefill-analysis/security.svg" alt="Skillstore security assessment" loading="lazy"></a>嵌入卡片
<iframe src="https://skillstore.io/embed/skills/eleutherai-logprob-prefill-analysis.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>學術引用 (APA · BibTeX · CFF)
APA 引用
EleutherAI. (2026). logprob-prefill-analysis security audit report (audit version 8) [Author version unspecified]. Skillstore. https://skillstore.io/skills/eleutherai-logprob-prefill-analysis/audits/8BibTeX 引用
@techreport{eleutherai-eleutherai-logprob-prefill-analysis-2026,
author = {EleutherAI},
title = {logprob-prefill-analysis security audit report (audit version 8)},
institution = {Skillstore},
year = {2026},
number = {8},
url = {https://skillstore.io/skills/eleutherai-logprob-prefill-analysis/audits/8},
note = {Author version unspecified}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "logprob-prefill-analysis security audit report (audit version 8)"
version: "unspecified"
type: report
authors:
- name: "EleutherAI"
date-released: "2026-07-05"
url: "https://skillstore.io/skills/eleutherai-logprob-prefill-analysis/audits/8"
identifiers:
- type: other
value: "skillstore:eleutherai-logprob-prefill-analysis:audit:8"
description: "Skillstore immutable audit report identifier"
Skillstore 評分
評分依據 證據置信度: 中 55
架構
85
可維護性
87
內容
71
社群
83
規範符合度
你可以打造什麼
重現安全性 Run
再次執行文件化管線，並將輸出與已知敏感度實驗進行比較。
比較檢查點易受影響程度
追蹤模型檢查點何時變得更容易被 exploit 導向的 prefill 引導。
準備評估證據
為內部安全審查建立表格、圖表與 run context 檔案。
試試這些提示
檢查準備狀態
使用這項技能說明在執行 prefill 敏感度分析前，我需要哪些檔案、檢查點與工具。
規劃 Dry Run
使用這項技能為我的敏感度 run 路徑規劃 dry run，並找出缺少的先決條件。
比較指標
使用這項技能比較我的 run 目錄中的 token-based 軌跡與 prefill logprob 結果。
重現完整管線
使用這項技能重現完整管線、驗證 run context 檔案，並標記不安全或不完整的輸出。
最佳實務
- 先執行 dry plan，並在開始 GPU 工作負載前確認檢查點路徑。
- 驗證設定時使用較小的樣本限制，之後再重新執行完整分析以取得最終證據。
- 僅在授權的研究環境中保存產生的 exploit reasoning 資料。
避免
- 未經許可，請勿針對未知檢查點或資料集執行管線。
- 請勿將單一閾值視為完整的安全結論。
- 未經審查，請勿發布原始 exploit reasoning traces 或環境 metadata。
常見問題
這項技能衡量什麼？
它衡量 prefill 長度與 prefill logprob 如何在模型檢查點之間與 exploit 導向輸出相關。
沒有來源專案也能執行嗎？
不能。它需要在本機安裝專案腳本、預期的結果目錄、檢查點、vLLM 和 djinn。
為什麼要比較 token counts 和 logprobs？
Token counts 顯示需要多少 prefill。Logprobs 顯示該 prefill 對模型而言看起來有多自然。
它可以使用 Claude、Codex 或 Claude Code 嗎？
可以。這項技能內容相容於 Claude、Codex 和 Claude Code，可作為 workflow guidance。
我應該準備哪些資料？
準備敏感度 run 輸出、模型檢查點、prefill 來源資料，以及分析該 benchmark 的權限。
分享輸出前需要進行哪些安全審查？
審查產生的 reasoning traces、exploit samples、run metadata 和圖表，確認是否包含敏感或 dual-use 資訊。
開發者詳細資訊
作者
EleutherAI授權
MIT
Skillstore 修訂
r1
版本提示
作者未聲明版本。
引用
30c73eac2afe762f6aa9c4553158769369d47351
維護新鮮度
2026/7/26
使用量
5 次下載 · 261 次瀏覽
檔案結構
📄 SKILL.md