Noam Shazeer, соавтор трансформера и Mixture-of-Experts, переходит в OpenAI из Google!
В мире нейросетей произошло значимое событие: легендарный разработчик Ноам Шазер переходит из Google в OpenAI.
Шазер известен как соавтор архитектуры трансформеров и ключевых улучшений, которые легли в основу современных языковых моделей. Среди его разработок:
- Mixture-of-Experts и роутинг
- Multi-Query Attention
- SwiGLU / GLU
- Adafactor
- T5
- Масштабирование трансформеров с помощью Mesh TensorFlow и GShard
Ноам Шазер всегда был ярым сторонником масштабирования моделей. Среди его коллег ходит история, как он подошел к главе Google в корпоративном кафетерии и запросил 10 000 серверов на выходные, пообещав решить задачу общего знания.
До недавнего времени Шазер занимал высокую должность со-руководителя команды Gemini вместе с не менее известным инженером Джеффом Дином. Google приобрел его стартап character.ai вместе с командой инженеров за 2,7 миллиарда долларов менее двух лет назад. Проведя некоторое время в компании и, как полагаем, ознакомившись с готовящейся к анонсу в июне моделью Gemini 3.5 Pro, Шазер монетизировал часть своих акций и принял решение присоединиться к OpenAI.
Мы ожидаем, что его опыт поможет OpenAI в создании мощной GPT-6, способной конкурировать с Mythos.
Ещё новости:
