NVIDIA Nemotron 3.5 Bolt E4B: локальный ассистент и агент для слабого железа!
Модель Nemotron 3.5 Bolt E4B от NVIDIA создана для локального запуска на слабом железе. Это ассистент и агент для RTX, Jetson и мини-ПК Spark.
Модель построена на базе Google Gemma 4 E4B и дообучена с подкреплением под инструкции, многошаговые вызовы инструментов и диалоги.
Основные характеристики
- 8B/4B активных параметров, контекст 64K, 35 языков;
- 4-битный режим: около 4 ГБ памяти;
- рассуждения включаются и выключаются, длину можно сокращать ради скорости;
- модели-черновики DFlash дают до 21% прироста;
- поддержка в llama.cpp, Ollama, LM Studio, vLLM и SGLang.
На RTX 5070 первый токен появляется за 548 мс, далее скорость составляет 133 токена в секунду. На Jetson Orin Nano первый токен занимает 5,8 с, а скорость достигает 15,5 токена в секунду.
Мы видим заметный прирост: по сравнению с прошлой Nemotron 3 Nano 4B он составил 40%, а экономия токенов доходит до 80%. Модель обходит родительскую Gemma почти во всех сценариях, однако Qwen3.5 4B сильнее в инструментах и длинном контексте.
Скачать модель можно на hf.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB.
Ещё новости:
