Вышел PyTorch 2.15: ускорение LLM на Blackwell и Apple Silicon, больше контроля над распределённым обучением.
Вышел PyTorch 2.15. Мы собрали главные изменения релиза.
В релиз вошли 3117 коммитов от 583 участников.
Что обновили
- Переписанный NCCL-бэкенд включён по умолчанию. При зависании коллективных операций диагностический «чёрный ящик» сохраняет данные для разбора.
- Новый транспорт NIXL позволяет передавать данные между процессами без создания process group, с поддержкой захвата передач в CUDA Graphs.
- FSDP2 и pipeline parallelism получили более гибкое управление памятью, точностью параметров и перекрытием коммуникаций с вычислениями.
- NVIDIA Blackwell: NVGEMM ускоряет декодирование LLM в формате NVFP4, сокращая отдельные запуски ядер.
- Apple Silicon: добавлены FP8 и публичный API torch.mps.Stream. В приведённых тестах на M3 Ultra пропускная способность MoE-декодирования выросла в диапазоне от 1,32 до 1,34 раза.
- Платформы: CUDA 13.2 в стандартных сборках, дополнительные сборки с CUDA 13.4 и ROCm 10.0, поддержка torch.compile на Python 3.15.
Перед обновлением
Python 3.10 больше не поддерживается, а для GPU-ускорения через MPS требуется macOS 15+. Часть новых API пока нестабильна.
5 ноября в 22:00 МСК команда проведёт онлайн-сессию вопросов и ответов по релизу. Регистрация доступна в статье: https://pytorch.org/blog/pytorch-2-15-release-blog/
Ещё новости:
