Игрок собрал в Factorio компактную языковую схема на 6,4 млн параметров

Пользователь под никнеймом RomaPro227 запустил языковую модель с 6,4 млн параметров прямо в игре Factorio. Она генерирует ответы с помощью комбинаторов и не использует моды или сторонние скрипты.

Схема состоит из приблизительно 105 тыс. комбинаторов, соединённых 200 тыс. проводов. Ответ выводится на табло из 8 тыс. ламп. В основе системы лежит трансформер на 6,4 млн параметров с восемью слоями и восемью головами внимания. Модель генерирует ответы посимвольно, а контекст вмещает 256 символов. 

Комбинаторы в схеме используются для скалярного произведения. Они перемножают соответствующие значения двух наборов сигналов и складывает результаты. Итак, пара из арифметического и постоянного комбинаторов образует нейрон с 256 или 1024 входами. Веса хранятся в постоянных комбинаторах, а числовые векторы передаются по проводам.

Для генерации нужно передать текст на английском языке, задавая по одному символу в ряду комбинаторов, и активировать переключатель отправки. После этого на ламповом табло появится индикатор обработки запроса и ответ. При 60 обновлениях системы в секунду модель выдаёт один символ приблизительно за семь секунд. В частности, на генерацию текста из 100 символов потребуется почти 12 минут без учёта обработки входных данных.

Автор проекта отмечает, что модель может отвечать на вопросы о Factorio, сочинять короткие истории и шутить. Ответы при этом могут быть неточными и повторяться.

На GitHub опубликовано сохранение мира с нейросетью, веса модели, инструкцию по запуску и Python‑версия нейросети для запуска за пределами Factorio. Запустить инициатива можно в Factorio 2.0 с дополнением Space Age. На YouTube‑канале автор подробно рассказал о том, как устроена модель.