Вышел htop для видеокарт: gputaskman показывает, куда уходит VRAM.
Скотт Хансельман из Microsoft опубликовал терминальный монитор GPU с открытым исходным кодом gputaskman.
Обычный диспетчер задач показывает, что занято 15 ГБ видеопамяти, но не объясняет, сколько памяти забрала нейросеть, сколько занимает KV-кеш, а сколько забрал браузер. gputaskman разбирает потребление памяти по процессам и пытается определить, какие LLM загружены.
Что показывает gputaskman
- использование VRAM;
- активность GPU;
- веса моделей;
- KV-кеш;
- вычислительные буферы.
Инструмент умеет получать данные из Ollama и LM Studio, распознавать GGUF и обнаруживать CUDA, Vulkan и другие среды выполнения.
Поддерживаются Windows с NVIDIA и AMD, Linux и WSL с NVIDIA, а также macOS на Apple Silicon.
Для запуска из исходников выполните:
git clone https://github.com/shanselman/gputaskman.git cd gputaskman uv run --locked gputaskman
Есть готовые сборки и JSON-вывод для скриптов.
Проект пока экспериментальный: потребление памяти измеряется, а распределение между весами модели и KV-кешем в некоторых случаях оценивается приблизительно.
На наш взгляд, это полезная утилита для тех, кто запускает LLM локально и пытается понять, почему очередная модель не помещается в видеопамять.
Проект на GitHub: github.com/shanselman/gputaskman
Ещё новости:
