GPU купили, но не всё заработало: как собрать ИИ-инфраструктуру и не переделывать её после пилота.
ИТ-команды уже выбирают GPU-серверы, бизнес оценивает облачные модели, разработчики собирают первые прототипы. Но через полгода нередко оказывается: модель не помещается в доступную видеопамять, облако выходит за пределы бюджета, а купленные ускорители под реальной нагрузкой не дают нужной производительности.
Почему ИИ-инфраструктура не выдерживает пилоты
Мы видим, что дело не всегда в оборудовании или самой модели. Чаще проблема в порядке принятия решений: инфраструктуру начинают проектировать раньше, чем становится понятно, что именно нужно будущему ИИ-сервису.
За последний год в Orion soft наблюдали разные сценарии внедрения ИИ в российских компаниях: от первых экспериментов до проектов, которые готовят к промышленной эксплуатации у крупнейших заказчиков. Как разработчик инфраструктурного ПО, Orion soft часто подключается позже: бизнес-задача сформулирована, модель выбрана, оборудование закуплено. И тогда проявляются архитектурные ограничения, заложенные ещё на старте.
Ещё новости:
