📦

evaluation

Name: evaluation
Author: muratcankoylan

Inhaltsrevision r2 Sicher ⚙️ Externe Befehle

Agentensysteme mit Bewertungsrastern evaluieren

Agententeams benötigen wiederholbare Methoden, um Qualität, Regressionen und Kontextänderungen zu messen. Diese Skill unterstützt bei der Gestaltung von Bewertungsrastern, Testsets, Scoring und Monitoring.

Unterstützt: Claude Codex Code(CC)

🥈 81 Silber

Mit meinem Agent installieren

Kopieren Sie diese Anfrage in Ihren Agent. Sie enthält die maßgebliche Skill-Seite und das Manifest.

Agent-Anfrage

Review the Skillstore skill "evaluation" from https://skillstore.io/skills/muratcankoylan-evaluation.md and its manifest at https://skillstore.io/api/skills/muratcankoylan-evaluation/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.

Ihr Agent sollte weiterhin seinen Plan anzeigen und alle von der Sicherheitsrichtlinie verlangten Bestätigungen anfordern.

Agent-lesbare Ressourcen

Verwenden Sie diese Links, wenn ein KI-Agent, Crawler oder Skript sauberen Kontext benötigt, statt die vollständige Seite zu lesen.

Markdown-Detailseite GET /skills/muratcankoylan-evaluation.md Signiertes manifest GET /api/skills/muratcankoylan-evaluation/manifest Signiertes lockfile GET /api/skills/muratcankoylan-evaluation/lockfile

Testen

„evaluation“ wird verwendet. Erstelle ein Bewertungsraster für einen Research-Assistant-Agenten.

Erwartetes Ergebnis:

Ein gewichtetes Bewertungsraster mit faktischer Genauigkeit, Vollständigkeit, Zitiergenauigkeit, Quellenqualität und Werkzeugeffizienz. Es enthält Bewertungsstufen und eine Bestehensschwelle.

„evaluation“ wird verwendet. Entwirf Tests für einen Kundensupport-Agenten.

Erwartetes Ergebnis:

Ein nach Komplexität gruppiertes Testset, einschließlich einfacher Richtlinienabfragen, mehrstufiger Fehlerbehebung, Eskalationsfälle und mehrdeutiger Kundenanfragen.

„evaluation“ wird verwendet. Plane Monitoring für einen bereitgestellten Agenten.

Erwartetes Ergebnis:

Ein Monitoring-Ansatz mit Stichprobeninteraktionen, Bestehensraten-Schwellen, Score-Trends, Alarmregeln und regelmäßiger menschlicher Prüfung.

Sicherheitsaudit

Sicher

v8 • 9.8.2026 Versionsbericht öffnen

All 29 static findings are false positives caused by Python mapping methods, documentation markup, ordinary prose, comments, or YAML examples. The reviewed files contain no command execution, sensitive file access, system reconnaissance, prompt injection, or other semantic security concern.

Gescannte Dateien

1,253

Analysierte Zeilen

Prüfelemente

Falschmeldungen ignoriert

Risikofaktoren

⚙️ Externe Befehle (18)

scripts/evaluator.py:129 SKILL.md:22 SKILL.md:23 SKILL.md:24 SKILL.md:162-170 SKILL.md:170-176 SKILL.md:176-204 SKILL.md:204-207 SKILL.md:207-215 SKILL.md:215-218 SKILL.md:218-228 SKILL.md:228-256 SKILL.md:256-257 SKILL.md:257-258 SKILL.md:258-259 SKILL.md:259-260 SKILL.md:260-261 SKILL.md:261-262

Das letzte abgeschlossene statische und semantische Audit erkannte keine bestätigten Sicherheitsbefunde. Dies beweist nicht, dass der Skill keine Nebenwirkungen hat.

Geprüft von: codex Audit-Verlauf anzeigen →

Diesen Bericht teilen & zitieren

Teile den versionierten Bewertungsbericht, das neutrale Badge, die Einbettungskarte und Zitate. Skillstore berichtet Nachweise, ohne zu entscheiden, ob dieser Skill sicher ist.

Versionsbericht öffnen

Berichtslink kopieren

https://skillstore.io/skills/muratcankoylan-evaluation/audits/8?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_report

Markdown-Badge

[![Skillstore security assessment](https://skillstore.io/badges/skills/muratcankoylan-evaluation/security.svg)](https://skillstore.io/skills/muratcankoylan-evaluation?utm_source=security_passport_badge)

HTML-Badge

<a href="https://skillstore.io/skills/muratcankoylan-evaluation?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/muratcankoylan-evaluation/security.svg" alt="Skillstore security assessment" loading="lazy"></a>

Einbettungskarte

<iframe src="https://skillstore.io/embed/skills/muratcankoylan-evaluation.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>

Wissenschaftliche Zitate (APA · BibTeX · CFF)

APA-Zitat

muratcankoylan. (2026). evaluation security audit report (audit version 8) [Author version unspecified]. Skillstore. https://skillstore.io/skills/muratcankoylan-evaluation/audits/8

BibTeX-Zitat

@techreport{muratcankoylan-muratcankoylan-evaluation-2026,
  author = {muratcankoylan},
  title = {evaluation security audit report (audit version 8)},
  institution = {Skillstore},
  year = {2026},
  number = {8},
  url = {https://skillstore.io/skills/muratcankoylan-evaluation/audits/8},
  note = {Author version unspecified}
}

CITATION.cff

cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "evaluation security audit report (audit version 8)"
version: "unspecified"
type: report
authors:
  - name: "muratcankoylan"
date-released: "2026-08-09"
url: "https://skillstore.io/skills/muratcankoylan-evaluation/audits/8"
identifiers:
  - type: other
    value: "skillstore:muratcankoylan-evaluation:audit:8"
    description: "Skillstore immutable audit report identifier"

Varianten vergleichen

4 installierbare Varianten

Jeder Autor bleibt ein eigener installierbarer Skill. Die empfohlene Variante wird nach Skillstore-Nachweisen bewertet.

Warum diese Variante zuerst steht

Höchster Skillstore-Score

Autor / Quelle Skillstore-Score Evidenzvertrauen Skillstore-Nutzung Aktualisiert

muratcankoylan Empfohlen Aktuell

muratcankoylan-evaluation

Skillstore-Score 81

Evidenzvertrauen Hoch

Skillstore-Nutzung 14

Aktualisiert

2026-09-09

ChakshuGautam

chakshugautam-evaluation

Skillstore-Score 80

Evidenzvertrauen Hoch

Skillstore-Nutzung 10

Aktualisiert

2026-09-09

sickn33

sickn33-evaluation

Skillstore-Score 78

Evidenzvertrauen Hoch

Skillstore-Nutzung 12

Aktualisiert

2026-09-09

Asmayaseen

asmayaseen-evaluation

Skillstore-Score 77

Evidenzvertrauen Hoch

Skillstore-Nutzung 14

Aktualisiert

2026-09-09

Skillstore-Score

Warum dieser Score Evidenzvertrauen: Hoch

Architektur

Wartbarkeit

Inhalt

Gemeinschaft

Spezifikationskonformität

Was Sie erstellen können

Quality Gates für Releases erstellen

Erstelle Bewertungsraster und Testsets, die Agenten-Regressionen vor dem Deployment erkennen.

Agentenversionen vergleichen

Messe Qualitätsänderungen über Prompts, Modelle, Tools und Kontextstrategien hinweg.

Evaluationsstudien entwerfen

Strukturiere Benchmark-Aufgaben, Scoring-Dimensionen und Review-Workflows für die Agentenforschung.

Diese Prompts ausprobieren

Ein einfaches Bewertungsraster erstellen

Erstelle ein mehrdimensionales Evaluations-Bewertungsraster für meinen Agenten. Der Agent bearbeitet [task type]. Füge Dimensionen, Gewichtungen, Bestehensschwelle und Review-Leitlinien hinzu.

Ein Testset erstellen

Entwirf ein Testset für [agent workflow]. Füge einfache, mittlere, komplexe und sehr komplexe Fälle hinzu. Ergänze erwartete Ergebnisse und Edge Cases.

Eine Evaluationspipeline entwerfen

Entwirf eine Evaluationspipeline für [agent system]. Füge Datenerfassung, Scoring, LLM-as-judge-Prompts, menschliche Prüfung, Bestehens-Gates und Reporting hinzu.

Produktions-Evaluationsstrategie analysieren

Überprüfe meinen Produktions-Evaluationsplan für [agent product]. Identifiziere fehlende Metriken, Sampling-Risiken, Alarmschwellen und Anforderungen an menschliche Prüfung.

Bewährte Praktiken

Evaluiere Ergebnisse und Prozessqualität, statt einen einzigen exakten Ausführungspfad zu verlangen.
Verwende mehrere Bewertungsdimensionen, damit Genauigkeit, Vollständigkeit, Zitate, Quellen und Tool-Nutzung sichtbar werden.
Kombiniere automatisierte Bewertung mit menschlicher Prüfung für Edge Cases und folgenschwere Workflows.

Vermeiden

Sich auf einen einzigen Gesamtscore verlassen, ohne Fehler auf Dimensionsebene zu untersuchen.
Nur einfache Fälle testen, die reale Nutzung oder lange Interaktionen nicht repräsentieren.
Prompts, Tools oder Modelle ändern, ohne ein stabiles Regressions-Testset erneut auszuführen.

Häufig gestellte Fragen

Was evaluiert diese Skill?

Sie hilft dabei, Agentenausgaben, Tool-Nutzung, Kontextstrategien und Qualitätstrends in der Produktion zu evaluieren.

Enthält sie ausführbaren Code?

Ja. Sie enthält ein Python-Evaluator-Beispiel, aber das Beispiel verwendet einfache Heuristiken und simulierte Ausgaben.

Kann ich sie mit Claude, Codex und Claude Code verwenden?

Ja. Die Marketplace-Metadaten listen Unterstützung für Claude, Codex und Claude Code auf.

Ersetzt sie menschliche Evaluation?

Nein. Sie empfiehlt menschliche Prüfung für Edge Cases, subtile Fehler und folgenschwere Entscheidungen.

Welche Metriken betont sie?

Sie betont faktische Genauigkeit, Vollständigkeit, Zitiergenauigkeit, Quellenqualität, Werkzeugeffizienz, Bestehensrate und Trendanalyse.

Wann sollten Teams sie verwenden?

Verwende sie beim Erstellen von Agententests, beim Vergleichen von Versionen, beim Festlegen von Release Gates oder beim Monitoring der Produktionsqualität.