LM Studio, llama.cpp и NVFP4 на RTX 50: экосистема Nvidia и открытие Ornith-1.0-9B.
Незаметно, но важно: LM Studio, вслед за llama.cpp, добавила поддержку формата NVFP4 на Windows для видеокарт RTX 50-й серии.
Вместе с запуском FLUX, также работающего с NVFP4 под Windows, можно утверждать, что Nvidia активно выстраивает экосистему для внедрения этой технологии в потребительский сектор. Правда, любительские квантизации часто не раскрывают весь потенциал NVFP4: высококачественная квантизация требует довольно продолжительной «игры в тетрис» с матрицами GPT. Поэтому если вам попадаются NVFP4-модели, созданные энтузиастами, знайте: они значительно уступают по качеству брендовым квантизациям от самой Nvidia.
Любопытно, что именно благодаря поддержке NVFP4 мы узнали о модели Ornith-1.0-9B, компактной кодирующей SLM, которая выглядит весьма интересно.
Ещё новости:
