Тестируем Intel AI Boost: каким будет локальный ИИ на самом деле?
Мы приобрели новый ноутбук с процессором Intel Core Ultra 9 285H и встроенной графикой Intel Arc 140T.
В этом наборе присутствует новый чип Intel AI Boost (архитектура 3720) для локальных ИИ-вычислений.
Для интереса мы провели несколько тестов с ним, чтобы лучше понять стратегию «локального ИИ» от Intel.
У многих инженеров локальный ИИ ассоциируется с SLM. Однако для вендоров оборудования здесь сразу возникает вопрос, как в меме: «можно, а зачем?»
Если в России локальные SLM ещё актуальны из-за действий РКН, которые делают облачный ИИ менее надёжным, то во всём остальном мире локальный инференс сам по себе находится под вопросом как осмысленный экономически. А в случае дешёвых ИИ-устройств тем более непонятно, зачем это нужно: устройство всегда может через интернет пользоваться даже LLM как агентом.
Мы обращали внимание на стратегию Xiaomi с их топовыми NPU, где они прохладно относятся к теме SLM, но добавили различные ИИ-функции в смартфоны: обработка фото для повышения резкости и снижения шумов, а также ИИ-управление параметрами камеры. Xiaomi также предложила пользователям на Android увеличивать онлайн-разрешение или частоту кадров (FPS) видео с YouTube или Telegram. Всё это практичные примеры локального ИИ, но это даже не SLM.
В случае NPU от Intel они по факту делают ставку на похожие сценарии: онлайн-обработка видео с ИИ для повышения разрешения и резкости. Их чип больше адаптирован для нейросетей, похожих на CNN, чем для GPT. Важная особенность NPU от Intel — очень низкое энергопотребление даже при 100% нагрузке, вентилятор даже не включается. Это действительно мобильная технология.
Локальный ИИ как инструмент, а не платформа
Всё это скорее говорит о том, что тема «локального ИИ» — это не про SLM и автономных агентов, а больше про онлайн-обработку фото, видео и звука, которую через интернет передавать на обработку нельзя эффективно из-за ограничений канала. Поэтому такие решения, скорее всего, станут инструментами для LLM-агента, а не средствами запуска его самого локально.
Ещё новости:
