已发布技能 3
debug-cuda-crash
Отладка сбоев CUDA в FlashInfer
Сбои CUDA часто не оставляют отладочной информации. Этот учебник научит вас использовать логирование API FlashInfer для захвата метаданных тензоров перед сбоями. Научитесь быстро выявлять несоответствия форм, ошибки типов данных и числовые проблемы.
benchmark-kernel
Тестирование GPU-ядер с помощью тайминга CUPTI
Точное тестирование GPU-ядер затруднено из-за накладных расходов на измерение. Этот навык содержит пошаговые инструкции по использованию аппаратного профилирования CUPTI для получения точного времени выполнения ядра. Сравните различные бэкенды, такие как FlashAttention и cuDNN, чтобы найти самую быструю реализацию для вашей рабочей нагрузки.
add-cuda-kernel
Добавление CUDA ядер в FlashInfer
FlashInfer требует новых GPU ядер, но процесс неясен. Этот туториал предоставляет пошаговые инструкции для добавления поэлементных CUDA операций, охватывая определение ядер, TVM-FFI привязки, Python API, тестирование и бенчмаркинг.