PyTorch 2.14 вышел: крупные обновления компиляции, распределённого обучения и Apple Silicon.
Вышла версия PyTorch 2.14. Мы собрали главные изменения: компиляция, распределённое обучение и работа на Apple Silicon.
Ключевые изменения
NVGEMMдобавляет в Inductor CUTLASS-ядра, сгенерированные через CuTeDSL;- появился новый backend
nccl2для PyTorch Distributed; - отказоустойчивость стала частью c10d: можно перенастраивать process group без полного перезапуска;
- на Apple Silicon появилась нативная линейная алгебра:
SVD,eigh, QR и Cholesky; torch.switchдобавляет многостороннее ветвление;torch.while_loopтеперь можно захватывать в CUDA Graph;@dynamic_specзадаёт динамические формы декларативно дляtorch.compile,torch.exportиmake_fx;- Intel XPU получил нативный graph capture;
- Inductor добавил поддержку Rubin
sm_107; torch.compileэкспериментально научился работать с комплексными числами.
Отдельно NVGEMM умеет epilogue fusion, scaled GEMM, NVFP4 GEMM и autotuning вместе с Triton и ATen.
В релиз вошло 2995 коммитов от 487 участников.
17 сентября команда PyTorch проведёт live Q&A по версии 2.14.
Ещё новости:
