Джон Кармак предлагает альтернативу DRAM для нейросетей

Джон Кармак, известный создатель игры Doom и основатель стартапа Keen Technologies, выдвинул революционную идею относительно хранения весов моделей нейросетей. Вместо традиционных микросхем памяти он предлагает использовать оптоволоконные петли, в которых данные передаются в виде световых сигналов. По его оценкам, скорость передачи уже достигла 256 Тбит/с на расстоянии до 200 км, что позволяет обеспечить 32 ГБ данных «в полёте» с пропускной способностью 32 ТБ/с.

Кармак подчеркнул, что при инференсе моделям известны паттерны доступа к весам, что позволяет непрерывно передавать данные напрямую в кэш L2 процессора, исключая DRAM из архитектуры. Он сравнил эту концепцию с ртутными линиями задержки, которые использовались в 1940-х годах. Хотя для сложных моделей с триллионом параметров потребуется несколько таких петель, будущие технологии оптоволокна обещают увеличенную пропускную способность.

В качестве более реалистичного подхода Кармак предлагает объединить недорогие чипы флеш-памяти, что может предоставить необходимую пропускную способность при наличии высокоскоростного интерфейса. Его публикация привлекла значительное внимание, собрав 1,3 миллиона просмотров за два дня, что лишь подчеркивает актуальность поиска альтернатив памяти на фоне дефицита HBM-памяти для ИИ-ускорителей.