В Factorio собрали настоящую языковую модель на 6,4 млн параметров!
Энтузиаст собрал настоящую языковую модель прямо внутри Factorio.
Понадобилось около 105 тысяч комбинаторов, 200 тысяч проводов и 8 тысяч ламп: внутри игры они выполняют вычисления и выводят ответы модели на 6,4 млн параметров.
Модель заранее обучена, но весь инференс происходит непосредственно на комбинаторах Factorio. С ней действительно можно переписываться прямо в игре, хотя это будет небыстро.
Проект опубликован на GitHub, если захотите повторить: инструкция здесь.
