Fähigkeiten pinchbench
📦
pinchbench
v1.0.0 Inhaltsrevision r1 Kritisch ⚙️ Externe Befehle🌐 Netzwerkzugriff📁 Dateisystemzugriff⚡ Enthält Skripte🔑 Umgebungsvariablen
OpenClaw-Agenten mit PinchBench benchmarken
Modellteams benötigen wiederholbare Nachweise zur Agentenleistung. PinchBench führt strukturierte OpenClaw-Aufgaben aus und erstellt vergleichbare Scores für Analyse und Leaderboard-Einreichung.
Unterstützt: Claude Codex Code(CC)
Diesen Skill nicht automatisch installieren.
Die maßgebliche Richtlinie verlangt vor jeder Installationsaktion eine Prüfung durch einen Bediener.
Mit meinem Agent installieren
Kopieren Sie diese Anfrage in Ihren Agent. Sie enthält die maßgebliche Skill-Seite und das Manifest.
Agent-Anfrage
Review the Skillstore skill "pinchbench" from https://skillstore.io/skills/pinchbench-pinchbench.md and its manifest at https://skillstore.io/api/skills/pinchbench-pinchbench/manifest. Verify the artifact. Do not auto-install. Inspect the skill and report your findings, then wait for an operator or manual installation decision.Ihr Agent sollte weiterhin seinen Plan anzeigen und alle von der Sicherheitsrichtlinie verlangten Bestätigungen anfordern.
Agent-lesbare Ressourcen
Verwenden Sie diese Links, wenn ein KI-Agent, Crawler oder Skript sauberen Kontext benötigt, statt die vollständige Seite zu lesen.
Testen
„pinchbench“ wird verwendet. Führe die automatisierte Suite für ein Modell aus, ohne hochzuladen.
Erwartetes Ergebnis:
Der Lauf endet mit Scores pro Aufgabe, einem Gesamtscore, Token-Nutzung, Kostenmetriken und einem lokalen Ergebnisdateipfad.
„pinchbench“ wird verwendet. Vergleiche zwei gespeicherte Benchmark-Läufe.
Erwartetes Ergebnis:
Der Vergleich hebt Score-Unterschiede, fehlgeschlagene Aufgaben, Änderungen der Ausführungszeit und Tradeoffs bei der Kosteneffizienz hervor.
„pinchbench“ wird verwendet. Entwirf eine neue Benchmark-Aufgabe für E-Mail-Triage.
Erwartetes Ergebnis:
Der Aufgabenentwurf enthält einen Prompt, erwartetes Verhalten, Bewertungskriterien und automatisierte Prüfungen für wiederholbares Scoring.
Sicherheitsaudit
Kritischv5 • 9.7.2026 Versionsbericht öffnen
PinchBench is a legitimate benchmark runner, but it is not low risk. Confirmed issues include pipe-to-shell dependency installation, unsandboxed task grading code, external agent execution, token handling, and host metadata upload. Many documentation and task-rubric alerts are false positives, while binary assets remain manual-review blind spots.
38
Gescannte Dateien
7,808
Analysierte Zeilen
29
Prüfelemente
0
Falschmeldungen ignoriert
Bestätigte Sicherheitsbedenken (6)
Kritisch
Pipe to shell pattern
RUN curl -LsSf https://astral.sh/uv/install.sh | sh
The Docker build pipes a downloaded installer directly into a shell. A compromised network path or upstream installer would execute during image build.
Hoch
System Metadata Uploaded With Results
When uploads are enabled, the payload includes metadata.system and records OS, CPU, Python, memory, and a hostname hash. This goes beyond benchmark scores and may identify the host environment.
The upload payload explicitly includes collect_system_metadata output. The metadata function records platform, CPU, memory, Python, and hostname-derived data.
Hoch
Registration Token Stored In Skill Directory
The registration helper writes the returned token to scripts/.pinchbench/config.json under the skill directory. Tokens in an installed skill tree can be accidentally shared or read by benchmarked agents.
The config path is inside the scripts directory and save_token_config writes the token there. _resolve_token later reads that stored token for uploads.
Hoch
Installed Skills Copied Into Benchmark Workspace
prepare_task_workspace copies every directory under ~/.openclaw/workspace/skills into the benchmark workspace. This may expose private skill content or embedded credentials to the benchmarked model during tasks.
The code iterates over the user skill directory and copies each skill directory into the agent workspace. No allowlist or secret filtering is visible in that block.
Mittel
System reconnaissance
"hostname_hash": hash(platform.node()) % 10000,
The code derives a hostname hash as part of system metadata. Even hashed, it contributes to host fingerprinting in uploaded results.
Mittel
Agent Session Transcripts Deleted Without Confirmation
cleanup_agent_sessions removes stored session transcript files and sessions.json for the target agent. If the target agent ID collides with a real agent, benchmark runs can delete local conversation history.
The deletion code is explicit and is called before benchmark and judge runs. The risk is reduced because agent IDs are normally benchmark-prefixed, but collision is still possible.
Elemente der Fähigkeitsprüfung (29)
Dies sind echte lokale Fähigkeiten, die für diese Fähigkeit erwartet werden können; daher müssen sie überprüft werden, werden jedoch nicht als bestätigtes bösartiges Verhalten gezählt.
Hoch
Python subprocess.run
subprocess.run(
The code deletes an OpenClaw agent when its workspace appears stale. It uses argv lists, but it can remove local agent state.
Hoch
Python subprocess.run
result = subprocess.run(
This launches the OpenClaw CLI with benchmark or judge prompts and workspace access. It avoids shell injection, but it triggers external agent execution with local side effects.
Hoch
Python subprocess.run
result = subprocess.run(
This launches the OpenClaw CLI with benchmark or judge prompts and workspace access. It avoids shell injection, but it triggers external agent execution with local side effects.
Hoch
Python subprocess.run
result = subprocess.run(
This launches the OpenClaw CLI with benchmark or judge prompts and workspace access. It avoids shell injection, but it triggers external agent execution with local side effects.
Hoch
Python shutil operations
shutil.rmtree(workspace)
The runner recursively removes the agent workspace before each task. If workspace resolution is wrong, this can delete local files.
Hoch
Python environment access
api_key = os.environ.get("OPENROUTER_API_KEY")
The code reads OPENROUTER_API_KEY from the environment. It is expected for validation, but it handles credential material.
Hoch
Generic API/secret keys
api_key = os.environ.get("OPENROUTER_API_KEY")
The code reads OPENROUTER_API_KEY from the environment. It is expected for validation, but it handles credential material.
Hoch
Generic API/secret keys
"Authorization": f"Bearer {api_key}",
The API key is placed in an Authorization bearer header for an external service. This is legitimate use, but it is sensitive credential transmission.
Hoch
Python exec() function
exec(grading_code, namespace)
The grader executes Python code extracted from task markdown with exec(). Any malicious or modified task file could run arbitrary Python in the benchmark process.
Hoch
Process exec
exec(grading_code, namespace)
The grader executes Python code extracted from task markdown with exec(). Any malicious or modified task file could run arbitrary Python in the benchmark process.
Hoch
Python subprocess.run
result = subprocess.run(
The macOS metadata helper executes sysctl to collect hardware attributes. The arguments are fixed, but the command expands host fingerprinting data.
Hoch
Linux /proc filesystem access
cpuinfo_path = Path("/proc/cpuinfo")
The upload path reads Linux /proc CPU and memory files for system metadata. This collects host fingerprinting information for submission payloads.
Hoch
Linux /proc filesystem access
meminfo_path = Path("/proc/meminfo")
The upload path reads Linux /proc CPU and memory files for system metadata. This collects host fingerprinting information for submission payloads.
Hoch
Python environment access
resolved_official_key = official_key or os.environ.get("PINCHBENCH_OFFICIAL_KEY")
The upload code reads authentication or official submission tokens from environment or local config. These values are sensitive credentials.
Hoch
Python environment access
env_token = os.environ.get("PINCHBENCH_TOKEN")
The upload code reads authentication or official submission tokens from environment or local config. These values are sensitive credentials.
Hoch
Configuration library
return config.get("token")
The upload code reads authentication or official submission tokens from environment or local config. These values are sensitive credentials.
Hoch
Generic API/secret keys
token = data.get("token") or data.get("api_key")
The registration response is parsed for a token or api_key. This is credential material that is later stored and used for uploads.
Mittel
Hardcoded URL
RUN curl -LsSf https://astral.sh/uv/install.sh | sh
The Docker build downloads an installer from an external URL. This is expected setup, but it is a real supply-chain dependency.
Mittel
Temp directory access
run_root = Path("/tmp/pinchbench")
The runner uses a fixed directory under /tmp for benchmark workspaces. This is functional, but not as safe as a private temporary directory.
Mittel
Temp directory access
agent_workspace = Path(f"/tmp/pinchbench/{run_id}/agent_workspace")
The runner uses a fixed directory under /tmp for benchmark workspaces. This is functional, but not as safe as a private temporary directory.
Mittel
Hardcoded URL
specific_endpoint = f"https://openrouter.ai/api/v1/models/{encoded_model_id}"
The model validator contacts OpenRouter endpoints and can use an API key in the same request flow. This is legitimate but still external network activity.
Mittel
Hardcoded URL
catalog_endpoint = "https://openrouter.ai/api/v1/models"
The model validator contacts OpenRouter endpoints and can use an API key in the same request flow. This is legitimate but still external network activity.
Mittel
Temp directory access
workspace = Path(f"/tmp/pinchbench/{run_id}/{task.task_id}")
The fallback workspace uses a predictable path under /tmp. This can expose benchmark files to local path collision or permission risks.
Mittel
Python shutil operations
shutil.rmtree(dest_skill_dir)
The runner deletes and copies skill directories inside the benchmark workspace. This can expose or overwrite copied skill content during task setup.
Mittel
Python shutil operations
shutil.copytree(skill_dir_src, dest_skill_dir)
The runner deletes and copies skill directories inside the benchmark workspace. This can expose or overwrite copied skill content during task setup.
Mittel
Temp directory access
judge_workspace = Path(f"/tmp/pinchbench/judge/{task.task_id}")
The judge uses predictable directories under /tmp for workspaces. This is expected, but not as isolated as a secure temporary directory.
Mittel
Temp directory access
workspace = Path("/tmp/pinchbench/judge/workspace")
The judge uses predictable directories under /tmp for workspaces. This is expected, but not as isolated as a secure temporary directory.
Mittel
Hardcoded URL
DEFAULT_SERVER_URL = "https://api.pinchbench.com"
The upload module posts benchmark results to the PinchBench API by default. This is intended, but it sends local run data off the machine.
Mittel
Python environment access
resolved_server = server_url or os.environ.get("PINCHBENCH_SERVER_URL") or DEFAULT_SERVER_URL
The upload server can be overridden by environment variable. If the environment is compromised, results and auth headers can be sent away from the default API.
Risikofaktoren
⚙️ Externe Befehle (50)
Dockerfile.benchmark:33 scripts/benchmark.py:277 scripts/lib_agent.py:136 scripts/lib_agent.py:179 scripts/lib_agent.py:221 scripts/lib_agent.py:230 scripts/lib_agent.py:578 scripts/lib_agent.py:611 scripts/lib_agent.py:753 scripts/lib_grading.py:107 scripts/lib_grading.py:216 scripts/lib_grading.py:318 scripts/lib_grading.py:319 scripts/lib_upload.py:317 scripts/lib_upload.py:396 scripts/run.sh:6 SKILL.md:23-37 SKILL.md:37-43 SKILL.md:43-44 SKILL.md:44-45 SKILL.md:45-46 SKILL.md:46-47 SKILL.md:47-48 SKILL.md:48-49 SKILL.md:49-50 SKILL.md:50-51 SKILL.md:51-52 SKILL.md:52-53 SKILL.md:53-54 SKILL.md:54-55 SKILL.md:55-56 SKILL.md:56-57 SKILL.md:57-58 SKILL.md:58-59 SKILL.md:59-60 SKILL.md:60-61 SKILL.md:61-62 SKILL.md:62-63 SKILL.md:63-64 SKILL.md:64-65 SKILL.md:65-71 SKILL.md:71 SKILL.md:72 SKILL.md:73 SKILL.md:74-75 SKILL.md:75-76 SKILL.md:76-77 SKILL.md:77-78 SKILL.md:78-84 SKILL.md:84-90
🌐 Netzwerkzugriff (13)
📁 Dateisystemzugriff (12)
Dockerfile.benchmark:21 Dockerfile.benchmark:30 scripts/benchmark.py:557 scripts/benchmark.py:562 scripts/lib_agent.py:293 scripts/lib_agent.py:298 scripts/lib_agent.py:340 scripts/lib_agent.py:341 scripts/lib_grading.py:157 scripts/lib_grading.py:298 scripts/lib_upload.py:354 scripts/lib_upload.py:355
⚡ Enthält Skripte (2)
🔑 Umgebungsvariablen (13)
scripts/benchmark.py:270 scripts/lib_agent.py:27 scripts/lib_agent.py:59 scripts/lib_agent.py:59 scripts/lib_agent.py:60 scripts/lib_agent.py:61 scripts/lib_agent.py:67 scripts/lib_upload.py:64 scripts/lib_upload.py:66 scripts/lib_upload.py:135 scripts/lib_upload.py:289 scripts/lib_upload.py:293 scripts/lib_upload.py:159
Erkannte Muster
Pipe to shell patternSystem reconnaissance
Geprüft von: codex Audit-Verlauf anzeigen →
Diesen Bericht teilen & zitieren
Teile den versionierten Bewertungsbericht, das neutrale Badge, die Einbettungskarte und Zitate. Skillstore berichtet Nachweise, ohne zu entscheiden, ob dieser Skill sicher ist.
Berichtslink kopieren
https://skillstore.io/skills/pinchbench-pinchbench/audits/5?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdown-Badge
[](https://skillstore.io/skills/pinchbench-pinchbench?utm_source=security_passport_badge)HTML-Badge
<a href="https://skillstore.io/skills/pinchbench-pinchbench?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/pinchbench-pinchbench/security.svg" alt="Skillstore security assessment" loading="lazy"></a>Einbettungskarte
<iframe src="https://skillstore.io/embed/skills/pinchbench-pinchbench.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>Wissenschaftliche Zitate (APA · BibTeX · CFF)
APA-Zitat
pinchbench. (2026). pinchbench security audit report (audit version 5) [Author version 1.0.0]. Skillstore. https://skillstore.io/skills/pinchbench-pinchbench/audits/5BibTeX-Zitat
@techreport{pinchbench-pinchbench-pinchbench-2026,
author = {pinchbench},
title = {pinchbench security audit report (audit version 5)},
institution = {Skillstore},
year = {2026},
number = {5},
url = {https://skillstore.io/skills/pinchbench-pinchbench/audits/5},
note = {Author version 1.0.0}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "pinchbench security audit report (audit version 5)"
version: "1.0.0"
type: report
authors:
- name: "pinchbench"
date-released: "2026-07-09"
url: "https://skillstore.io/skills/pinchbench-pinchbench/audits/5"
identifiers:
- type: other
value: "skillstore:pinchbench-pinchbench:audit:5"
description: "Skillstore immutable audit report identifier"
Skillstore-Score
Warum dieser Score Evidenzvertrauen: Mittel 73
Architektur
100
Wartbarkeit
87
Inhalt
71
Gemeinschaft
83
Spezifikationskonformität
Was Sie erstellen können
Modellleistung vergleichen
Führe dieselbe OpenClaw-Aufgabensuite über mehrere Modelle hinweg aus und vergleiche Scores, Kosten und Abschlusszeit.
OpenClaw-Workflows auf Regressionen testen
Prüfe, ob aktuelle Änderungen an Agent, Skill oder Umgebung die Qualität der Aufgabenerledigung beeinflussen.
Neue Benchmark-Aufgaben entwerfen
Nutze die Aufgabenvorlage und Bewertungsmuster, um wiederholbare Evaluationen für neue Agenten-Workflows hinzuzufügen.
Diese Prompts ausprobieren
Einen schnellen Benchmark ausführen
Führe PinchBench mit MODEL auf der automatisierten Suite aus und speichere die Ergebnisse lokal, ohne sie hochzuladen.
Zwei Modelle vergleichen
Führe PinchBench für MODEL_A und MODEL_B auf derselben Aufgabensuite aus und fasse anschließend Unterschiede bei Score, Kosten und Timing zusammen.
Schwache Aufgaben untersuchen
Prüfe die neuesten PinchBench-Ergebnisse und identifiziere Aufgaben mit einem Score unter 0.5, inklusive wahrscheinlicher Ursachen und nächster Debugging-Schritte.
Eine benutzerdefinierte Suite vorbereiten
Erstelle eine fokussierte PinchBench-Suite für Workflow-Automatisierungsaufgaben, füge Bewertungskriterien hinzu und erkläre, wie sie sicher ausgeführt wird.
Bewährte Praktiken
- Führe Läufe mit deaktiviertem Upload aus, bis du verstehst, welche Daten eingereicht werden.
- Verwende einen dedizierten Benchmark-Workspace und Test-Zugangsdaten für Modellanbieter.
- Prüfe den Bewertungscode benutzerdefinierter Aufgaben, bevor du seine lokale Ausführung erlaubst.
Vermeiden
- Führe die vollständige Suite nicht auf einem primären Workspace aus, bevor ein Plausibilitätscheck erfolgt ist.
- Lade Benchmark-Ergebnisse nicht hoch, bevor Metadaten und Token-Einstellungen geprüft wurden.
- Füge keine benutzerdefinierten Aufgaben mit breitem Dateisystem- oder Shell-Zugriff im Bewertungscode hinzu.
Häufig gestellte Fragen
Was evaluiert PinchBench?
Es evaluiert die Leistung von OpenClaw-Agenten über praktische Aufgaben wie Dateien, E-Mail, Recherche, Coding und Workflows hinweg.
Welche Tools unterstützt dieser Skill?
Der Bericht kennzeichnet Kompatibilität mit den Marketplace-Oberflächen von Claude, Codex und Claude Code.
Erfordert es Netzwerkzugriff?
Ja, für Modellvalidierung, Provider-Aufrufe, Registrierung und Leaderboard-Uploads. Lokale Läufe können den Upload überspringen.
Wo werden Ergebnisse gespeichert?
Benchmark-Ergebnisse werden als lokale Ergebnisdateien in das konfigurierte Ergebnisverzeichnis geschrieben.
Kann ich nur ausgewählte Aufgaben ausführen?
Ja. Der Runner unterstützt alle Aufgaben, nur automatisierte Aufgaben oder eine kommaseparierte Liste von Aufgaben-IDs.
Was sollte ich vor der Veröffentlichung prüfen?
Prüfe Befehlsausführung, Ausführung von Bewertungscode, Daten-Upload-Verhalten, kopierte Skills und gebündelte Binär-Assets.
Entwicklerdetails
Autor
pinchbenchLizenz
MIT
Autorenversion
v1.0.0
Skillstore-Revision
r1
Ref.
3e4b6c31a74a3bd1a291c98cf585d720cb9fbc88
Aktualität der Wartung
18.7.2026
Nutzung
16 Downloads · 290 Aufrufe
Dateistruktur