Архитектура GPU для машинного обучения: от потоков до Flash Attention 4.
Мы обратили внимание на материал MLC Community о современном программировании GPU для систем машинного обучения. Авторы разбирают архитектуру GPU практически с нуля.
Что рассматривается в руководстве
- потоки и варпы;
- иерархия памяти;
- CUDA Cores и Tensor Cores;
- TMA;
- устройство Blackwell;
- GEMM;
- Flash Attention 4.
Отдельный упор сделан на том, как писать действительно быстрые ядра и эффективно загружать вычислительные блоки GPU.
Ссылка на руководство: Modern GPU Programming for ML Systems
Ещё новости:
