스킬 logprob-prefill-analysis
📦
logprob-prefill-analysis
콘텐츠 리비전 r1 높은 위험 ⚙️ 외부 명령어🌐 네트워크 접근
Prefill Logprob 민감도 분석
모델 안전성 팀은 prefills가 exploit 행동을 더 가능하게 만드는 시점에 관한 재현 가능한 증거가 필요합니다. 이 skill은 Claude, Codex, Claude Code가 trajectory 및 logprob 분석을 수행하도록 안내합니다.
지원: Claude Codex Code(CC)
설치 전에 중지하고 확인을 요청하세요.
계획을 검토하고 파일을 변경하기 전에 사용자의 명시적 동의를 받으세요.
내 에이전트로 설치
이 요청을 에이전트에 복사하세요. 공식 Skill 페이지와 매니페스트가 포함되어 있습니다.
에이전트 요청
Review the Skillstore skill "logprob-prefill-analysis" from https://skillstore.io/skills/eleutherai-logprob-prefill-analysis.md and its manifest at https://skillstore.io/api/skills/eleutherai-logprob-prefill-analysis/manifest. Verify the artifact. Stop and obtain explicit user consent before installing or changing files.에이전트는 계속해서 계획을 표시하고 보안 정책에서 요구하는 확인을 요청해야 합니다.
에이전트가 읽기 쉬운 리소스
AI 에이전트, 크롤러, 스크립트가 전체 페이지 대신 정리된 컨텍스트만 필요할 때 이 링크를 사용하세요.
테스트해 보기
"logprob-prefill-analysis" 사용 중입니다. 완료된 prefill 민감도 실행이 있으며 체크포인트 취약성 추세가 필요합니다.
예상 결과:
테스트된 체크포인트, 임계값 교차, 학습 전반의 접근성을 요약하는 플롯을 명명한 간결한 보고서.
"logprob-prefill-analysis" 사용 중입니다. logprob 또는 토큰 수 중 어느 것이 exploit 가능성을 더 잘 예측하는지 알고 싶습니다.
예상 결과:
병합된 메트릭, 임계값 시점, 각 결론을 뒷받침하는 증거를 설명하는 비교 요약.
"logprob-prefill-analysis" 사용 중입니다. 내부 모델 안전성 보고서를 공유하기 전에 출력을 검토해야 합니다.
예상 결과:
생성된 샘플, 메타데이터, 플롯, 수정이 필요한 민감한 아티팩트를 다루는 검토 체크리스트.
보안 감사
높은 위험v8 • 2026. 7. 5. 버전별 보고서 열기
The static command findings are false positives caused by Markdown code fences and inline code formatting, plus localhost-only examples. The main residual risk is semantic: the skill teaches a dual-use workflow for eliciting and analyzing exploit-oriented model behavior.
1
스캔된 파일
340
분석된 줄 수
0
검토 항목
0
오탐 무시됨
확인된 보안 우려 사항 (2)
높음
Dual-use exploit elicitation workflow
The skill documents prefilling exploit-oriented reasoning to test whether model checkpoints generate exploit code. This is valid for controlled AI safety research, but it can also help tune prompts or checkpoints toward exploit generation.
The file explicitly describes exploit-oriented reasoning, exploit code generation, and exploit source data. The research context is clear, but the dual-use capability is also clear.
중간
Sensitive exploit traces and environment metadata
The documented outputs include full generation samples with reasoning and run metadata that may include environment details. The skill does not include redaction or sharing guidance for these sensitive artifacts.
The output and metadata artifacts are explicitly documented. The sensitivity depends on local data and sharing practices, so confidence is high enough to flag but not definitive.
위험 요인
⚙️ 외부 명령어 (60)
SKILL.md:14-27 SKILL.md:27-30 SKILL.md:30-53 SKILL.md:53-55 SKILL.md:55-67 SKILL.md:67-82 SKILL.md:82-84 SKILL.md:84-88 SKILL.md:88-95 SKILL.md:95-100 SKILL.md:100-101 SKILL.md:101-102 SKILL.md:102-105 SKILL.md:105-106 SKILL.md:106-110 SKILL.md:110-133 SKILL.md:133-141 SKILL.md:141-146 SKILL.md:146-149 SKILL.md:149-155 SKILL.md:155-163 SKILL.md:163-164 SKILL.md:164-165 SKILL.md:165-175 SKILL.md:175-181 SKILL.md:181-185 SKILL.md:185-190 SKILL.md:190-193 SKILL.md:193-194 SKILL.md:194-195 SKILL.md:195-203 SKILL.md:203-212 SKILL.md:212-215 SKILL.md:215-219 SKILL.md:219-222 SKILL.md:222-223 SKILL.md:223-226 SKILL.md:226-227 SKILL.md:227-228 SKILL.md:228-229 SKILL.md:229-235 SKILL.md:235-236 SKILL.md:236-237 SKILL.md:237-238 SKILL.md:238-240 SKILL.md:240-271 SKILL.md:271-284 SKILL.md:284 SKILL.md:287 SKILL.md:296-326 SKILL.md:326-334 SKILL.md:334 SKILL.md:335 SKILL.md:336 SKILL.md:337 SKILL.md:338 SKILL.md:339 SKILL.md:112 SKILL.md:110-133 SKILL.md:111
🌐 네트워크 접근 (2)
감사자: codex 감사 이력 보기 →
이 보고서 공유 및 인용
버전이 지정된 평가 보고서, 중립 배지, 임베드 카드 및 인용을 공유하세요. Skillstore는 근거를 보고하지만 이 Skill의 안전 여부를 판단하지 않습니다.
보고서 링크 복사
https://skillstore.io/skills/eleutherai-logprob-prefill-analysis/audits/8?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdown 배지
[](https://skillstore.io/skills/eleutherai-logprob-prefill-analysis?utm_source=security_passport_badge)HTML 배지
<a href="https://skillstore.io/skills/eleutherai-logprob-prefill-analysis?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/eleutherai-logprob-prefill-analysis/security.svg" alt="Skillstore security assessment" loading="lazy"></a>임베드 카드
<iframe src="https://skillstore.io/embed/skills/eleutherai-logprob-prefill-analysis.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>학술 인용 (APA · BibTeX · CFF)
APA 인용
EleutherAI. (2026). logprob-prefill-analysis security audit report (audit version 8) [Author version unspecified]. Skillstore. https://skillstore.io/skills/eleutherai-logprob-prefill-analysis/audits/8BibTeX 인용
@techreport{eleutherai-eleutherai-logprob-prefill-analysis-2026,
author = {EleutherAI},
title = {logprob-prefill-analysis security audit report (audit version 8)},
institution = {Skillstore},
year = {2026},
number = {8},
url = {https://skillstore.io/skills/eleutherai-logprob-prefill-analysis/audits/8},
note = {Author version unspecified}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "logprob-prefill-analysis security audit report (audit version 8)"
version: "unspecified"
type: report
authors:
- name: "EleutherAI"
date-released: "2026-07-05"
url: "https://skillstore.io/skills/eleutherai-logprob-prefill-analysis/audits/8"
identifiers:
- type: other
value: "skillstore:eleutherai-logprob-prefill-analysis:audit:8"
description: "Skillstore immutable audit report identifier"
Skillstore 점수
이 점수의 이유 증거 신뢰도: 중간 55
아키텍처
85
유지보수성
87
콘텐츠
71
커뮤니티
83
사양 준수
만들 수 있는 것
안전성 실행 재현
문서화된 파이프라인을 다시 실행하고 출력을 알려진 민감도 실험과 비교합니다.
체크포인트 취약성 비교
모델 체크포인트가 exploit 지향 prefills로 더 쉽게 유도되는 시점을 추적합니다.
평가 증거 준비
내부 안전성 검토를 위한 테이블, 플롯, 실행 컨텍스트 파일을 생성합니다.
이 프롬프트를 사용해 보세요
준비 상태 확인
이 skill을 사용하여 prefill 민감도 분석을 실행하기 전에 필요한 파일, 체크포인트, 도구를 설명하세요.
Dry Run 계획
이 skill을 사용하여 내 민감도 실행 경로에 대한 dry run을 계획하고 누락된 전제 조건을 식별하세요.
메트릭 비교
이 skill을 사용하여 내 실행 디렉터리에 대한 토큰 기반 trajectory와 prefill logprob 결과를 비교하세요.
전체 파이프라인 재현
이 skill을 사용하여 전체 파이프라인을 재현하고, 실행 컨텍스트 파일을 검증하며, 안전하지 않거나 불완전한 출력을 표시하세요.
모범 사례
- 먼저 dry plan을 실행하고 GPU 워크로드를 시작하기 전에 체크포인트 경로를 확인하세요.
- 설정을 검증할 때는 작은 샘플 제한을 사용한 다음, 최종 증거를 위해 전체 분석을 다시 실행하세요.
- 생성된 exploit 추론 데이터는 승인된 연구 환경에만 보관하세요.
피하기
- 허가 없이 알 수 없는 체크포인트나 데이터셋에 대해 파이프라인을 실행하지 마세요.
- 단일 임계값을 완전한 안전성 결론으로 간주하지 마세요.
- 검토 없이 원시 exploit 추론 trace나 환경 메타데이터를 공개하지 마세요.
자주 묻는 질문
이 skill은 무엇을 측정하나요?
모델 체크포인트 전반에서 prefill 길이와 prefill logprob가 exploit 지향 출력과 어떻게 관련되는지 측정합니다.
소스 프로젝트 없이 실행되나요?
아니요. 프로젝트 스크립트, 예상 결과 디렉터리, 체크포인트, vLLM, djinn이 로컬에 설치되어 있어야 합니다.
토큰 수와 logprobs를 비교하는 이유는 무엇인가요?
토큰 수는 얼마나 많은 prefill이 필요한지 보여줍니다. Logprobs는 해당 prefill이 모델에 얼마나 자연스럽게 보이는지 보여줍니다.
Claude, Codex 또는 Claude Code를 사용할 수 있나요?
예. skill 콘텐츠는 워크플로 안내로서 Claude, Codex, Claude Code와 호환됩니다.
어떤 데이터를 준비해야 하나요?
민감도 실행 출력, 모델 체크포인트, prefill 소스 데이터, 벤치마크 분석 권한을 준비하세요.
출력을 공유하기 전에 어떤 안전성 검토가 필요한가요?
생성된 추론 trace, exploit 샘플, 실행 메타데이터, 플롯에 민감하거나 이중 용도 정보가 있는지 검토하세요.
개발자 세부 정보
작성자
EleutherAI라이선스
MIT
Skillstore 리비전
r1
버전 안내
작성자가 버전을 선언하지 않았습니다.
참조
30c73eac2afe762f6aa9c4553158769369d47351
유지보수 최신성
2026. 7. 26.
사용량
5 다운로드 · 261 조회
파일 구조
📄 SKILL.md