AutoKernel автоматизирует оптимизацию GPU-ядер для моделей PyTorch.
Появился инструмент AutoKernel, предназначенный для автоматической оптимизации GPU-ядер на основе моделей PyTorch.
Он анализирует модель, находит узкие места в производительности и самостоятельно генерирует оптимизированные версии ядер на Triton или CUDA C++. Разработчику нужно лишь запустить процесс, а результат — готовые улучшения — будет ждать его по завершении работы.
Ключевые возможности AutoKernel:
- Автономное извлечение и оптимизация GPU-ядер из моделей.
- Поддержка широкого спектра моделей, созданных на PyTorch.
- Интеграция с фреймворком KernelBench для углубленного тестирования производительности.
- Высокая скорость проведения экспериментов — система способна выполнить до 320 тестов за ночь.
- Многоэтапная проверка корректности работы и производительности сгенерированных ядер.
Проект с открытым исходным кодом доступен на GitHub.
Ещё новости:
