Нейросеть на 367 тысяч параметров уместили на дискету — она отвечает голосом и требует всего 540 КБ оперативной памяти

iXBT.com ·

Нейросеть на 367 тысяч параметров уместили на дискету — она отвечает голосом и требует всего 540 КБ…

Разработчик с ником WollyMonjac создал компактную нейросеть Tiny 2.1, способную работать на компьютерах эпохи DOS — вплоть до систем с процессорами Intel 486DX и Pentium. Модель вместе с необходимыми файлами помещается на обычную дискету объёмом 1,44 МБ, а для запуска ей требуется всего около 540 КБ свободной оперативной памяти.

Tiny 2.1 — не полноценная большая языковая модель, а небольшой трансформер для ответов на вопросы, написанный на Turbo C 2.0. Он насчитывает около 367 тысяч параметров, использует четыре слоя и хранит веса в 8-битном формате. Сам набор весов занимает примерно 380 КБ.

Модель обучили примерно на 3500 фактах, причём каждый из них включали в обучающую выборку в нескольких вариантах формулировки. Интерфейс программы выполнен в стиле старых DOS-приложений: есть окно для вопросов, история диалога и панель мониторинга нейросети. Ответы она может зачитывать синтезированным роботизированным голосом через встроенный динамик компьютера.

Разработчик предупреждает, что за пределами заложенных в неё знаний Tiny 2.1 способна уверенно выдумывать ответы. Впрочем, в проект добавлена папка для дополнительного обучения, поэтому пользователи могут расширять базу знаний и адаптировать модель под интересующие их темы. Программа распространяется по лицензии MIT, разрешающей использовать, изменять и распространять код, в том числе в коммерческих целях.

Источник: iXBT.com