benchmark-kernel
FlashInfer GPU-Kernel präzise benchmarken
Vergleiche von GPU-Kerneln können irreführend sein, wenn sich Zeitmessmethoden und Eingaben unterscheiden. Dieser Skill ermöglicht reproduzierbare FlashInfer-Benchmarks mit Korrektheitsprüfungen und klaren Leistungsmetriken.
Mit meinem Agent installieren
Kopieren Sie diese Anfrage in Ihren Agent. Sie enthält die maßgebliche Skill-Seite und das Manifest.
Review the Skillstore skill "benchmark-kernel" from https://skillstore.io/skills/flashinfer-ai-benchmark-kernel.md and its manifest at https://skillstore.io/api/skills/flashinfer-ai-benchmark-kernel/manifest. Verify the artifact. You may proceed after verification, subject to the environment's own policy.Ihr Agent sollte weiterhin seinen Plan anzeigen und alle von der Sicherheitsrichtlinie verlangten Bestätigungen anfordern.
Agent-lesbare Ressourcen
Verwenden Sie diese Links, wenn ein KI-Agent, Crawler oder Skript sauberen Kontext benötigt, statt die vollständige Seite zu lesen.
Testen
„benchmark-kernel“ wird verwendet. Vergleiche Decode-Attention-Backends für eine H100 mit einer Batch-Größe von 32 und einer Sequenzlänge von 2048.
Erwartetes Ergebnis:
- Empfohlene Zeitmessung: CUPTI, sofern verfügbar, mit CUDA events als dokumentierter Ausweichlösung.
- Vergleichskontrollen: identische Formen, Datentypen, Warmups, Iterationen und Referenzprüfungen.
- Bericht: mediane Latenz, Standardabweichung, Durchsatz, Bandbreite und eine reproduzierbare Konfiguration.
„benchmark-kernel“ wird verwendet. Meine FP8 GEMM-Ergebnisse variieren zwischen den Durchläufen. Schlage eine Abfolge zur Fehlerbehebung vor.
Erwartetes Ergebnis:
- Erhöhe die Anzahl der Warmup- und Messiterationen, bevor du den Workload änderst.
- Stelle sicher, dass bei allen Durchläufen dieselbe Zeitmessmethode, derselbe Taktzustand, dieselben Eingabeformen und dieselbe Backend-Liste verwendet werden.
- Prüfe die ausführliche Ausgabe und vergleiche die Standardabweichung, bevor du einen Leistungsunterschied akzeptierst.
„benchmark-kernel“ wird verwendet. Plane einen Bericht für Batch-Benchmarks von Attention-, GEMM- und Mixture-of-Experts-Kerneln.
Erwartetes Ergebnis:
Der Bericht gruppiert repräsentative Workloads nach Routine, zeichnet den Korrektheitsstatus auf, erfasst Zeitmessmetriken und bewahrt jede Benchmark-Konfiguration zur Reproduktion auf.
Sicherheitsaudit
SicherEighty-four Ruby or shell backtick findings and the network-reconnaissance finding are false positives caused by Markdown formatting and benchmark arguments. The sudo nvidia-smi example is a real privileged system change that can alter GPU clocks for all workloads, although it contains no injection path. No malicious intent, prompt injection, or data exfiltration was found.
Elemente der Fähigkeitsprüfung (1)
Dies sind echte lokale Fähigkeiten, die für diese Fähigkeit erwartet werden können; daher müssen sie überprüft werden, werden jedoch nicht als bestätigtes bösartiges Verhalten gezählt.
Risikofaktoren
⚙️ Externe Befehle (50)
Diesen Bericht teilen & zitieren
Teile den versionierten Bewertungsbericht, das neutrale Badge, die Einbettungskarte und Zitate. Skillstore berichtet Nachweise, ohne zu entscheiden, ob dieser Skill sicher ist.
Berichtslink kopieren
https://skillstore.io/skills/flashinfer-ai-benchmark-kernel/audits/12?utm_source=security_passport&utm_medium=share&utm_campaign=versioned_reportMarkdown-Badge
[](https://skillstore.io/skills/flashinfer-ai-benchmark-kernel?utm_source=security_passport_badge)HTML-Badge
<a href="https://skillstore.io/skills/flashinfer-ai-benchmark-kernel?utm_source=security_passport_badge"><img src="https://skillstore.io/badges/skills/flashinfer-ai-benchmark-kernel/security.svg" alt="Skillstore security assessment" loading="lazy"></a>Einbettungskarte
<iframe src="https://skillstore.io/embed/skills/flashinfer-ai-benchmark-kernel.html" title="Skillstore Security Assessment" sandbox="allow-popups allow-popups-to-escape-sandbox" loading="lazy" referrerpolicy="no-referrer" width="420" height="180"></iframe>Wissenschaftliche Zitate (APA · BibTeX · CFF)
APA-Zitat
flashinfer-ai. (2026). benchmark-kernel security audit report (audit version 12) [Author version unspecified]. Skillstore. https://skillstore.io/skills/flashinfer-ai-benchmark-kernel/audits/12BibTeX-Zitat
@techreport{flashinfer-ai-flashinfer-ai-benchmark-kernel-2026,
author = {flashinfer-ai},
title = {benchmark-kernel security audit report (audit version 12)},
institution = {Skillstore},
year = {2026},
number = {12},
url = {https://skillstore.io/skills/flashinfer-ai-benchmark-kernel/audits/12},
note = {Author version unspecified}
}CITATION.cff
cff-version: 1.2.0
message: "If you use this Skill, cite its author and this versioned security audit report."
title: "benchmark-kernel security audit report (audit version 12)"
version: "unspecified"
type: report
authors:
- name: "flashinfer-ai"
date-released: "2026-07-23"
url: "https://skillstore.io/skills/flashinfer-ai-benchmark-kernel/audits/12"
identifiers:
- type: other
value: "skillstore:flashinfer-ai-benchmark-kernel:audit:12"
description: "Skillstore immutable audit report identifier"
Skillstore-Score
Warum dieser Score Evidenzvertrauen: HochWas Sie erstellen können
Attention-Backends vergleichen
Konfigurieren Sie identische Attention-Workloads und vergleichen Sie Latenz, Durchsatz und Konsistenz der verfügbaren Backends.
Kernel-Änderungen validieren
Führen Sie vor und nach einer Änderung an der Kernel-Implementierung Referenzprüfungen und reproduzierbare Benchmarks aus.
Leistungsberichte erstellen
Erfassen Sie Ergebnisse von Batch-Benchmarks im CSV-Format, um Regressionen nachzuverfolgen und Hardware zu vergleichen.
Diese Prompts ausprobieren
Hilf mir, einen FlashInfer-Kernel zu benchmarken. Frage nach meiner GPU, Routine, den Eingabeformen, Datentypen und infrage kommenden Backends, bevor du Einstellungen vorschlägst.
Entwirf einen fairen Backend-Vergleich für [routine] auf [GPU]. Verwende identische Eingaben, Referenzprüfungen, Warmups, wiederholte Messungen und eine reproduzierbare Ergebnisberichterstattung.
Prüfe diese FlashInfer-Benchmark-Ergebnisse: [results]. Ermittle wahrscheinliche Ursachen für die Varianz und empfehle gezielte Änderungen an Warmups, Iterationen, Zeitmessung oder Cache-Verhalten.
Erstelle einen Regressionsplan für FlashInfer-Kernel für [hardware and routines]. Definiere repräsentative Fälle, Korrektheitskriterien, Zeitmesskontrollen, CSV-Felder und Vergleichskriterien.
Bewährte Praktiken
- Verwenden Sie beim Vergleich von Backends identische Formen, Datentypen, Zeitmessmethoden und Iterationszahlen.
- Aktivieren Sie die Referenzprüfung, bevor Sie schnellere Ergebnisse als gültig betrachten.
- Erfassen Sie zu jedem Ergebnis GPU-Details, Softwareversionen, Benchmark-Einstellungen und Informationen zur Reproduktion.
Vermeiden
- Vergleichen Sie keine Ergebnisse, die mit unterschiedlichen Zeitmessmethoden erfasst wurden, ohne den Unterschied eindeutig zu kennzeichnen.
- Deaktivieren Sie Korrektheitsprüfungen nicht nur, um ein schnelleres Ergebnis beizubehalten.
- Führen Sie privilegierte Taktbefehle auf gemeinsam genutzter Hardware nicht ohne Autorisierung und einen Wiederherstellungsplan aus.
Häufig gestellte Fragen
Ist CUPTI erforderlich?
Welche Routinen werden behandelt?
Kann ich mehrere Backends vergleichen?
Warum sind meine Ergebnisse inkonsistent?
Führt der Skill Benchmarks automatisch aus?
Erfordert das Sperren des GPU-Takts besondere Vorsicht?
Entwicklerdetails
Autor
flashinfer-aiLizenz
MIT
Skillstore-Revision
r2
Versionshinweis
Der Autor hat keine Version angegeben.
Ref.
c43861a65bb95efcae259cd161c9d6f4dc7eec6f
Aktualität der Wartung
29.7.2026
Nutzung
3 Downloads · 291 Aufrufe
Dateistruktur
📄 SKILL.md