pinchbench
23の実際のタスクでOpenClawエージェントのパフォーマンスをベンチマーク
LLMモデルをAIエージェントとしてテストするには、一貫性のある測定可能な評価が必要です。PinchBenchは、カレンダー管理、メール処理、調査、コーディング、多次ステップのワークフローを網羅した23の多様なタスクを提供し、自動採点とパブリックのリーダーボード提交を組み合わせています。
スキルZIPをダウンロード
Claudeでアップロード
設定 → 機能 → スキル → スキルをアップロードへ移動
オンにして利用開始
テストする
「pinchbench」を使用しています。 自動化タスクでclaude-sonnet-4を使用してPinchBenchを実行
期待される結果:
ベンチマーク完了：15/23タスク実行済み。全体スコア：0.78。上位タスク：task_00_sanity (0.95)、task_01_calendar (0.89)、task_07_email (0.85)。レビュー必要タスク：task_16_email_triage (0.42)、task_18_market_research (0.38)。合計実行時間：47分。トークン効率：1000トークンあたり2.3スコアポイント。
「pinchbench」を使用しています。 コーディングタスクでclaude-sonnet-4とclaude-opus-4を比較
期待される結果:
モデル比較結果：claude-sonnet-4平均：0.72、claude-opus-4平均：0.84。Opus-4はtask_04_weather (+0.25)およびtask_10_workflow (+0.18)で大幅に改善。Sonnet-4はtask_00_sanityで匹敵するパフォーマンス。コスト分析：Opus-4はタスクあたり2.3倍高いコストだが、17%高いスコアを達成。
セキュリティ監査
低リスクStatic analysis flagged 573 potential issues, but evaluation confirms most are false positives. Critical findings (recursive delete, pipe-to-shell) reference standard Docker installation patterns from trusted sources. High-severity 'weak crypto' findings detect MD5 used for checksums, not security. Markdown documentation backticks were misidentified as shell execution. True positives (subprocess, network, env access) are expected for benchmark functionality and properly scoped.
中リスクの問題 (1)
低リスクの問題 (2)
リスク要因
⚙️ 外部コマンド (2)
🌐 ネットワークアクセス (2)
品質スコア
作れるもの
エージェント選択のためのモデル比較
複数のLLMモデルを比較して、特定のユースケースに最適なOpenClawエージェントとして機能するモデルを決定します。
継続的なパフォーマンス監視
モデルの更新や設定変更に応じて、エージェントのパフォーマンスを時間とともに追跡します。
コミュニティベンチマークへの貢献
ベンチマーク結果をパブリックの 리더ーボードに提交し、コミュニティがモデルCapabilityを理解するのを支援します。
これらのプロンプトを試す
すべての自動化タスクでClaude Sonnet 4モデルを使用してPinchBenchを実行してください。全体スコアを表示し、パフォーマンスが最も良い上位3タスクと最も悪い下位3タスクを特定してください。
task_01_calendar、task_02_stock、task_09_filesのみについてPinchBenchベンチマークを実行してください。anthropic/claude-sonnet-4とanthropic/claude-3-5-sonnetモデルの間で結果を比較してください。
anthropic/claude-opus-4モデルで完全なPinchBenchスイートを実行してください。最初にモデル検証を行い、平均化のために各2回実行で全23タスクを実行し、登録したAPIトークンを使用して結果をPinchBenchリーダーボードに提交してください。
PinchBench自動化タスクを実行し、トークン効率レポートを生成してください。各タスクのスコア/トークンおよびスコア/ドルを表示してください。効率比が最も良好および最も悪いタスクを特定してください。
ベストプラクティス
- LLM出力の分散を考慮するため、タスクごとに少なくとも2〜3回の実行でベンチマークを実行
- 開発中は--no-uploadフラグを使用して、テスト結果でリーダーボードを汚染することを避ける
- 最初の提交前にAPIトークンを登録し、OPENROUTER_API_KEYを安全に環境に保存
回避
- 変更されたタスク定義からのベンチマーク結果を提交しないでください - 結果は拒否されます
- 低速モデルの場合、--timeout-multiplierなしで完全なベンチマークスイートを実行しないでください
- APIトークンを共有したりバージョン管理にコミットしないでください