스킬 pinchbench
📦
pinchbench
v1.0.0 콘텐츠 리비전 r1 치명적 ⚙️ 외부 명령어🌐 네트워크 접근📁 파일 시스템 접근⚡ 스크립트 포함🔑 환경 변수
PinchBench로 OpenClaw 에이전트 벤치마크하기
모델 팀에는 에이전트 성능에 대한 반복 가능한 근거가 필요합니다. PinchBench는 구조화된 OpenClaw 작업을 실행하고 분석 및 리더보드 제출에 사용할 수 있는 비교 가능한 점수를 생성합니다.
지원: Claude Codex Code(CC)
이 Skill을 자동으로 설치하지 마세요.
공식 정책에 따라 설치 작업 전에 운영자 검토가 필요합니다.
내 에이전트로 설치
이 요청을 에이전트에 복사하세요. 공식 Skill 페이지와 매니페스트가 포함되어 있습니다.
에이전트 요청
Review the Skillstore skill "pinchbench" from https://skillstore.io/skills/pinchbench-pinchbench.md and its manifest at https://skillstore.io/api/skills/pinchbench-pinchbench/manifest. Verify the artifact. Do not auto-install. Inspect the skill and report your findings, then wait for an operator or manual installation decision.에이전트는 계속해서 계획을 표시하고 보안 정책에서 요구하는 확인을 요청해야 합니다.
에이전트가 읽기 쉬운 리소스
AI 에이전트, 크롤러, 스크립트가 전체 페이지 대신 정리된 컨텍스트만 필요할 때 이 링크를 사용하세요.
테스트해 보기
"pinchbench" 사용 중입니다. 업로드하지 않고 한 모델에 대해 자동화 전용 모음을 실행합니다.
예상 결과:
실행이 작업별 점수, 총점, 토큰 사용량, 비용 지표 및 로컬 결과 파일 경로와 함께 완료됩니다.
"pinchbench" 사용 중입니다. 저장된 두 벤치마크 실행을 비교합니다.
예상 결과:
비교 결과는 점수 차이, 실패한 작업, 실행 시간 변화 및 비용 효율성 트레이드오프를 강조합니다.
"pinchbench" 사용 중입니다. 이메일 분류를 위한 새 벤치마크 작업을 설계합니다.
예상 결과:
작업 초안에는 반복 가능한 채점을 위한 프롬프트, 예상 동작, 채점 기준 및 자동화된 검사가 포함됩니다.
보안 감사
치명적v5 • 2026. 7. 9. 버전별 보고서 열기
PinchBench is a legitimate benchmark runner, but it is not low risk. Confirmed issues include pipe-to-shell dependency installation, unsandboxed task grading code, external agent execution, token handling, and host metadata upload. Many documentation and task-rubric alerts are false positives, while binary assets remain manual-review blind spots.
38
스캔된 파일
7,808
분석된 줄 수
29
검토 항목
0
오탐 무시됨
확인된 보안 우려 사항 (6)
치명적
Pipe to shell pattern
RUN curl -LsSf https://astral.sh/uv/install.sh | sh
The Docker build pipes a downloaded installer directly into a shell. A compromised network path or upstream installer would execute during image build.
높음
System Metadata Uploaded With Results
When uploads are enabled, the payload includes metadata.system and records OS, CPU, Python, memory, and a hostname hash. This goes beyond benchmark scores and may identify the host environment.
The upload payload explicitly includes collect_system_metadata output. The metadata function records platform, CPU, memory, Python, and hostname-derived data.
높음
Registration Token Stored In Skill Directory
The registration helper writes the returned token to scripts/.pinchbench/config.json under the skill directory. Tokens in an installed skill tree can be accidentally shared or read by benchmarked agents.
The config path is inside the scripts directory and save_token_config writes the token there. _resolve_token later reads that stored token for uploads.
높음
Installed Skills Copied Into Benchmark Workspace
prepare_task_workspace copies every directory under ~/.openclaw/workspace/skills into the benchmark workspace. This may expose private skill content or embedded credentials to the benchmarked model during tasks.
The code iterates over the user skill directory and copies each skill directory into the agent workspace. No allowlist or secret filtering is visible in that block.
중간
System reconnaissance
"hostname_hash": hash(platform.node()) % 10000,
The code derives a hostname hash as part of system metadata. Even hashed, it contributes to host fingerprinting in uploaded results.
중간
Agent Session Transcripts Deleted Without Confirmation
cleanup_agent_sessions removes stored session transcript files and sessions.json for the target agent. If the target agent ID collides with a real agent, benchmark runs can delete local conversation history.
The deletion code is explicit and is called before benchmark and judge runs. The risk is reduced because agent IDs are normally benchmark-prefixed, but collision is still possible.
기능 검토 항목 (29)
이 스킬에 대해 예상될 수 있는 실제 로컬 기능이므로 검토가 필요하지만, 확인된 악의적 동작으로는 집계되지 않습니다.
높음
Python subprocess.run
subprocess.run(
The code deletes an OpenClaw agent when its workspace appears stale. It uses argv lists, but it can remove local agent state.
높음
Python subprocess.run
result = subprocess.run(
This launches the OpenClaw CLI with benchmark or judge prompts and workspace access. It avoids shell injection, but it triggers external agent execution with local side effects.
높음
Python subprocess.run
result = subprocess.run(
This launches the OpenClaw CLI with benchmark or judge prompts and workspace access. It avoids shell injection, but it triggers external agent execution with local side effects.
높음
Python subprocess.run
result = subprocess.run(
This launches the OpenClaw CLI with benchmark or judge prompts and workspace access. It avoids shell injection, but it triggers external agent execution with local side effects.
높음
Python shutil operations
shutil.rmtree(workspace)
The runner recursively removes the agent workspace before each task. If workspace resolution is wrong, this can delete local files.
높음
Python environment access
api_key = os.environ.get("OPENROUTER_API_KEY")
The code reads OPENROUTER_API_KEY from the environment. It is expected for validation, but it handles credential material.
높음
Generic API/secret keys
api_key = os.environ.get("OPENROUTER_API_KEY")
The code reads OPENROUTER_API_KEY from the environment. It is expected for validation, but it handles credential material.
높음
Generic API/secret keys
"Authorization": f"Bearer {api_key}",
The API key is placed in an Authorization bearer header for an external service. This is legitimate use, but it is sensitive credential transmission.
높음
Python exec() function
exec(grading_code, namespace)
The grader executes Python code extracted from task markdown with exec(). Any malicious or modified task file could run arbitrary Python in the benchmark process.
높음
Process exec
exec(grading_code, namespace)
The grader executes Python code extracted from task markdown with exec(). Any malicious or modified task file could run arbitrary Python in the benchmark process.
높음
Python subprocess.run
result = subprocess.run(
The macOS metadata helper executes sysctl to collect hardware attributes. The arguments are fixed, but the command expands host fingerprinting data.
높음
Linux /proc filesystem access
cpuinfo_path = Path("/proc/cpuinfo")
The upload path reads Linux /proc CPU and memory files for system metadata. This collects host fingerprinting information for submission payloads.
높음
Linux /proc filesystem access
meminfo_path = Path("/proc/meminfo")
The upload path reads Linux /proc CPU and memory files for system metadata. This collects host fingerprinting information for submission payloads.
높음
Python environment access
resolved_official_key = official_key or os.environ.get("PINCHBENCH_OFFICIAL_KEY")
The upload code reads authentication or official submission tokens from environment or local config. These values are sensitive credentials.
높음
Python environment access
env_token = os.environ.get("PINCHBENCH_TOKEN")
The upload code reads authentication or official submission tokens from environment or local config. These values are sensitive credentials.
높음
Configuration library
return config.get("token")
The upload code reads authentication or official submission tokens from environment or local config. These values are sensitive credentials.
높음
Generic API/secret keys
token = data.get("token") or data.get("api_key")
The registration response is parsed for a token or api_key. This is credential material that is later stored and used for uploads.
중간
Hardcoded URL
RUN curl -LsSf https://astral.sh/uv/install.sh | sh
The Docker build downloads an installer from an external URL. This is expected setup, but it is a real supply-chain dependency.
중간
Temp directory access
run_root = Path("/tmp/pinchbench")
The runner uses a fixed directory under /tmp for benchmark workspaces. This is functional, but not as safe as a private temporary directory.
중간
Temp directory access
agent_workspace = Path(f"/tmp/pinchbench/{run_id}/agent_workspace")
The runner uses a fixed directory under /tmp for benchmark workspaces. This is functional, but not as safe as a private temporary directory.
중간
Hardcoded URL
specific_endpoint = f"https://openrouter.ai/api/v1/models/{encoded_model_id}"
The model validator contacts OpenRouter endpoints and can use an API key in the same request flow. This is legitimate but still external network activity.
중간
Hardcoded URL
catalog_endpoint = "https://openrouter.ai/api/v1/models"
The model validator contacts OpenRouter endpoints and can use an API key in the same request flow. This is legitimate but still external network activity.
중간
Temp directory access
workspace = Path(f"/tmp/pinchbench/{run_id}/{task.task_id}")
The fallback workspace uses a predictable path under /tmp. This can expose benchmark files to local path collision or permission risks.
중간
Python shutil operations
shutil.rmtree(dest_skill_dir)
The runner deletes and copies skill directories inside the benchmark workspace. This can expose or overwrite copied skill content during task setup.
중간
Python shutil operations
shutil.copytree(skill_dir_src, dest_skill_dir)
The runner deletes and copies skill directories inside the benchmark workspace. This can expose or overwrite copied skill content during task setup.
중간
Temp directory access
judge_workspace = Path(f"/tmp/pinchbench/judge/{task.task_id}")
The judge uses predictable directories under /tmp for workspaces. This is expected, but not as isolated as a secure temporary directory.
중간
Temp directory access
workspace = Path("/tmp/pinchbench/judge/workspace")
The judge uses predictable directories under /tmp for workspaces. This is expected, but not as isolated as a secure temporary directory.
중간
Hardcoded URL
DEFAULT_SERVER_URL = "https://api.pinchbench.com"
The upload module posts benchmark results to the PinchBench API by default. This is intended, but it sends local run data off the machine.
중간
Python environment access
resolved_server = server_url or os.environ.get("PINCHBENCH_SERVER_URL") or DEFAULT_SERVER_URL
The upload server can be overridden by environment variable. If the environment is compromised, results and auth headers can be sent away from the default API.
위험 요인
⚙️ 외부 명령어 (50)
Dockerfile.benchmark:33 scripts/benchmark.py:277 scripts/lib_agent.py:136 scripts/lib_agent.py:179 scripts/lib_agent.py:221 scripts/lib_agent.py:230 scripts/lib_agent.py:578 scripts/lib_agent.py:611 scripts/lib_agent.py:753 scripts/lib_grading.py:107 scripts/lib_grading.py:216 scripts/lib_grading.py:318 scripts/lib_grading.py:319 scripts/lib_upload.py:317 scripts/lib_upload.py:396 scripts/run.sh:6 SKILL.md:23-37 SKILL.md:37-43 SKILL.md:43-44 SKILL.md:44-45 SKILL.md:45-46 SKILL.md:46-47 SKILL.md:47-48 SKILL.md:48-49 SKILL.md:49-50 SKILL.md:50-51 SKILL.md:51-52 SKILL.md:52-53 SKILL.md:53-54 SKILL.md:54-55 SKILL.md:55-56 SKILL.md:56-57 SKILL.md:57-58 SKILL.md:58-59 SKILL.md:59-60 SKILL.md:60-61 SKILL.md:61-62 SKILL.md:62-63 SKILL.md:63-64 SKILL.md:64-65 SKILL.md:65-71 SKILL.md:71 SKILL.md:72 SKILL.md:73 SKILL.md:74-75 SKILL.md:75-76 SKILL.md:76-77 SKILL.md:77-78 SKILL.md:78-84 SKILL.md:84-90
🌐 네트워크 접근 (13)
📁 파일 시스템 접근 (12)
Dockerfile.benchmark:21 Dockerfile.benchmark:30 scripts/benchmark.py:557 scripts/benchmark.py:562 scripts/lib_agent.py:293 scripts/lib_agent.py:298 scripts/lib_agent.py:340 scripts/lib_agent.py:341 scripts/lib_grading.py:157 scripts/lib_grading.py:298 scripts/lib_upload.py:354 scripts/lib_upload.py:355
⚡ 스크립트 포함 (2)
🔑 환경 변수 (13)
scripts/benchmark.py:270 scripts/lib_agent.py:27 scripts/lib_agent.py:59 scripts/lib_agent.py:59 scripts/lib_agent.py:60 scripts/lib_agent.py:61 scripts/lib_agent.py:67 scripts/lib_upload.py:64 scripts/lib_upload.py:66 scripts/lib_upload.py:135 scripts/lib_upload.py:289 scripts/lib_upload.py:293 scripts/lib_upload.py:159
감지된 패턴
Pipe to shell patternSystem reconnaissance
감사자: codex 감사 이력 보기 →
이 보고서 공유 및 인용
버전이 지정된 평가 보고서, 중립 배지, 임베드 카드 및 인용을 공유하세요. Skillstore는 근거를 보고하지만 이 Skill의 안전 여부를 판단하지 않습니다.
보고서 링크 복사
https://skillstore.io/skills/pinchbench-pinchbench/audits/5?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdown 배지
[](https://skillstore.io/skills/pinchbench-pinchbench?utm_source=security_passport_badge)HTML 배지
<a href="https://skillstore.io/skills/pinchbench-pinchbench?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/pinchbench-pinchbench/security.svg" alt="Skillstore security assessment" loading="lazy"></a>임베드 카드
<iframe src="https://skillstore.io/embed/skills/pinchbench-pinchbench.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>학술 인용 (APA · BibTeX · CFF)
APA 인용
pinchbench. (2026). pinchbench security audit report (audit version 5) [Author version 1.0.0]. Skillstore. https://skillstore.io/skills/pinchbench-pinchbench/audits/5BibTeX 인용
@techreport{pinchbench-pinchbench-pinchbench-2026,
author = {pinchbench},
title = {pinchbench security audit report (audit version 5)},
institution = {Skillstore},
year = {2026},
number = {5},
url = {https://skillstore.io/skills/pinchbench-pinchbench/audits/5},
note = {Author version 1.0.0}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "pinchbench security audit report (audit version 5)"
version: "1.0.0"
type: report
authors:
- name: "pinchbench"
date-released: "2026-07-09"
url: "https://skillstore.io/skills/pinchbench-pinchbench/audits/5"
identifiers:
- type: other
value: "skillstore:pinchbench-pinchbench:audit:5"
description: "Skillstore immutable audit report identifier"
Skillstore 점수
이 점수의 이유 증거 신뢰도: 중간 73
아키텍처
100
유지보수성
87
콘텐츠
71
커뮤니티
83
사양 준수
만들 수 있는 것
모델 성능 비교
여러 모델에서 동일한 OpenClaw 작업 모음을 실행하고 점수, 비용 및 완료 시간을 비교합니다.
OpenClaw 워크플로 회귀 테스트
최근 에이전트, 스킬 또는 환경 변경이 작업 완료 품질에 영향을 주는지 확인합니다.
새 벤치마크 작업 설계
작업 템플릿과 채점 패턴을 사용하여 새 에이전트 워크플로에 대한 반복 가능한 평가를 추가합니다.
이 프롬프트를 사용해 보세요
빠른 벤치마크 실행
자동화 전용 모음에서 MODEL로 PinchBench를 실행하고 업로드하지 않은 채 결과를 로컬에 저장합니다.
두 모델 비교
동일한 작업 모음에서 MODEL_A와 MODEL_B에 대해 PinchBench를 실행한 다음 점수, 비용 및 시간 차이를 요약합니다.
취약한 작업 조사
최신 PinchBench 결과를 검토하고 점수가 0.5 미만인 작업을 가능한 원인 및 다음 디버깅 단계와 함께 식별합니다.
사용자 지정 모음 준비
워크플로 자동화 작업에 초점을 맞춘 PinchBench 모음을 만들고, 채점 기준을 포함하며, 안전하게 실행하는 방법을 설명합니다.
모범 사례
- 제출될 데이터를 이해할 때까지 업로드를 비활성화한 상태로 실행하세요.
- 모델 제공업체용 전용 벤치마크 워크스페이스와 테스트 자격 증명을 사용하세요.
- 로컬에서 실행을 허용하기 전에 사용자 지정 작업 채점 코드를 검토하세요.
피하기
- 기본 워크스페이스에서 사전 점검 없이 전체 모음을 실행하지 마세요.
- 메타데이터와 토큰 설정을 검토하기 전에 벤치마크 결과를 업로드하지 마세요.
- 채점 코드에 광범위한 파일시스템 또는 셸 액세스 권한이 있는 사용자 지정 작업을 추가하지 마세요.
자주 묻는 질문
PinchBench는 무엇을 평가하나요?
파일, 이메일, 리서치, 코딩 및 워크플로와 같은 실제 작업 전반에서 OpenClaw 에이전트 성능을 평가합니다.
이 스킬은 어떤 도구를 지원하나요?
보고서는 Claude, Codex 및 Claude Code 마켓플레이스 표면과의 호환성을 표시합니다.
네트워크 액세스가 필요한가요?
모델 검증, 제공업체 호출, 등록 및 리더보드 업로드에는 필요합니다. 로컬 실행에서는 업로드를 건너뛸 수 있습니다.
결과는 어디에 저장되나요?
벤치마크 결과는 구성된 결과 디렉터리에 로컬 결과 파일로 기록됩니다.
선택한 작업만 실행할 수 있나요?
예. 러너는 모든 작업, 자동화 전용 작업 또는 쉼표로 구분된 작업 ID 목록을 지원합니다.
게시하기 전에 무엇을 검토해야 하나요?
명령 실행, 채점 코드 실행, 데이터 업로드 동작, 복사된 스킬 및 번들된 바이너리 자산을 검토하세요.
개발자 세부 정보
작성자
pinchbench라이선스
MIT
작성자 버전
v1.0.0
Skillstore 리비전
r1
참조
3e4b6c31a74a3bd1a291c98cf585d720cb9fbc88
유지보수 최신성
2026. 7. 18.
사용량
16 다운로드 · 290 조회