Cerebras представили CS-4: сервер вдвое ускоряет модели и запускает 10T-модели на 1000+ токенов в секунду.
Cerebras представили сервер CS-4. Он позволяет запускать модели вдвое быстрее и запускать 10T-модели на скорости более 1000 токенов в секунду.
В каждом сервере установлены три чипа WSE 3 Turbo. Это разогнанная версия оригинального WSE 3: частота выросла с 1,4 до 2,8 ГГц, за счёт чего компания удвоила пропускную способность памяти и FLOP/s. Именно это даёт прирост скорости моделей. Памяти на чип при этом осталось столько же, 44 гигабайта, поэтому для обещанных 10T-моделей потребуется несколько десятков CS-4.
Отдельно отмечаем модульность CS-4. Каждый чип находится в отдельном модуле, который подключается к стойке, отвечающей за питание и охлаждение. Это упрощает установку: стойки можно поставить заранее, а чипы подключить позже, когда они будут готовы. К тому же это даёт возможность апгрейда в будущем.
Ещё новости:
