게시된 스킬 3
debug-cuda-crash
Déboguer les plantages CUDA dans FlashInfer
Les plantages CUDA laissent souvent aucune information de débogage. Ce tutoriels vous apprend à utiliser la journalisation des API de FlashInfer pour capturer les métadonnées des tenseurs avant les plantages. Apprenez à identifier rapidement les incompatibilités de formes, les erreurs de dtype et les problèmes numériques.
benchmark-kernel
Profiler les noyaux GPU avec le chronométrage CUPTI
Le profilage précis des noyaux GPU est difficile en raison de la surcharge de mesure. Cette compétence fournit des instructions détaillées pour utiliser le profilage matériel CUPTI afin d'obtenir des temps d'exécution de noyaux précis. Comparez différents backends comme FlashAttention et cuDNN pour trouver l'implémentation la plus rapide pour votre charge de travail.
add-cuda-kernel
Ajouter des noyaux CUDA à FlashInfer
FlashInfer a besoin de nouveaux noyaux GPU mais le processus n'est pas clair. Ce didacticiel fournit des instructions détaillées pour ajouter des opérations CUDA élément par élément, couvrant la définition du noyau, les liaisons TVM-FFI, les API Python, les tests et l'analyse comparative.