В весах DeepSeek нашли отпечаток NVIDIA Blackwell: 445 строк совпали бит в бит.
Бывший исследователь OpenAI Уилл Депью проанализировал публичные веса шести моделей DeepSeek, Moonshot AI, MiniMax и Ant Group. Мы обратили внимание: во всех шести моделях обнаружены следы инициализации на графических процессорах поколения NVIDIA Blackwell, поставки которых в Китай ограничены США. У более ранних моделей тех же компаний анализ указал на поколение Hopper.
Как графический процессор оставляет такой след? При инициализации PyTorch распределяет псевдослучайные числа по тензору, и раскладка зависит от конфигурации GPU. В опубликованных весах DeepSeek-V4-Flash сохранились строки с исходными значениями. На реальной NVIDIA B300 Депью воспроизвёл 445 из 469 отобранных строк бит в бит. На H100 точных совпадений для этих строк обнаружено не было.
Мы подчеркиваем: результат касается только этапа инициализации. Какие графические процессоры использовались на остальных этапах обучения, где они находились и кому принадлежали, по этому анализу установить нельзя.
Детали исследования доступны по ссылке: unemploymentlabs.com/checkpoint-forensics
Ещё новости:
