LLM по винтикам: исследовательница OpenAI опубликовала бесплатный конспект!
Исследовательница OpenAI Алиса Лю опубликовала бесплатный конспект об устройстве больших языковых моделей. Он помог ей устроиться на работу в корпорацию.
Внутри: от отдельных нейронов и основ обучения до устройства трансформеров, ускорения генерации и работы на нескольких видеокартах. Разобраны KV-кэш, FlashAttention, обучение на человеческих предпочтениях и расчёты того, сколько памяти потребляет модель. Всё с формулами, пояснениями и примерами кода на PyTorch.
Материал на английском языке, математики много. Мы рекомендуем его тем, кто готов разбираться в нейросетях глубже интерфейса чат-бота.
Ещё новости:
