المهارات المنشورة 3
debug-cuda-crash
CUDA-Abstürze in FlashInfer debuggen
CUDA-Abstürze hinterlassen oft keine Debugging-Informationen. Dieses Tutorial zeigt Ihnen, wie Sie die API-Protokollierung von FlashInfer verwenden, um Tensor-Metadaten vor Abstürzen zu erfassen. Lernen Sie, Formfehler, dtype-Fehler und numerische Probleme schnell zu identifizieren.
benchmark-kernel
GPU-Kerne mit CUPTI-Timing benchmarken
Genaue GPU-Kernel-Benchmarking ist aufgrund des Messaufwands eine Herausforderung. Diese Anleitung bietet Schritt-für-Schritt-Anleitungen zur Verwendung von CUPTI-Hardware-Profiling für präzise Kernel-Ausführungszeiten. Vergleichen Sie verschiedene Backends wie FlashAttention und cuDNN, um die schnellste Implementierung für Ihre Workload zu finden.
add-cuda-kernel
CUDA-Kernels zu FlashInfer hinzufügen
FlashInfer benötigt neue GPU-Kernels, aber der Prozess ist unklar. Dieses Tutorial bietet Schritt-für-Schritt-Anleitungen zum Hinzufügen von elementweisen CUDA-Operationen, einschließlich Kernel-Definition, TVM-FFI-Bindings, Python-APIs, Testen und Benchmarking.