Винтажная нейросеть Talkie: обучена на данных до 1931 года, пишет на Python и считает Вторую мировую маловероятной!
Исследователи представили винтажную языковую модель Talkie, обученную исключительно на текстах, датированных до 1 января 1931 года.
Поболтать с Talkie можно здесь: https://talkie-lm.com/chat. Также доступны веса и GitHub.
Среди создателей проекта — Алек Рэдфорд, бывший ключевой исследователь OpenAI и один из главных создателей серии GPT.
Talkie представляет собой довольно крупную модель на 13 миллиардов параметров. Её обучили на 260 миллиардах токенов англоязычных текстов, включая книги, газеты, периодику, научные журналы, патенты и судебные дела. Эксперимент оказался очень интересным.
Занимательные открытия из прошлого
- Код на неизвестном языке. Talkie способна писать на Python, хотя язык появился лишь в девяностых. Модель ничего про него не знала, но справилась, увидев несколько примеров в контексте. Авторы называют это лучшим примером настоящего рассуждения на данных, а не их заучивания, ведь Talkie никогда не видела современной информации и служит чистым испытательным стендом.
- Взгляд на историю и будущее. Если спросить модель о Второй мировой войне, она скажет, что считает её маловероятной (для человека 1930 года это было разумное мнение). Будущее в 2026 году Talkie представляет как «мир пароходов, железных дорог и копеечных романов».
- Измеритель шокирующих событий. С помощью Talkie можно измерять «удивительность» исторических событий без человеческой предвзятости. Авторы взяли рубрику NYT «On This Day» и проверили, что шокировало бы человека из 1930 года. Полёт на Луну, распад СССР, интернет и атомную бомбу модель называет фантастикой, а вот Великую депрессию — чем-то вполне ожидаемым.
К лету команда планирует масштабировать Talkie до уровня GPT-3.
Ещё новости:
