Идея Джона Кармака: оптоволоконная альтернатива DRAM для ИИ

Основатель ИИ-стартапа Keen Technologies Джон Кармак выдвинул креативную идею для замены DRAM в процессах инференса нейросетей. Вместо традиционных микросхем памяти он предлагает использовать оптоволоконные петли, в которых данные перемещаются в виде световых импульсов. По расчетам Кармака, при скорости передачи 256 Тб/с на расстоянии 200 км по одномодовому волокну можно получить 32 ГБ данных «в полёте» с пропускной способностью 32 ТБ/с.

Кармак выделяет, что паттерны обращения к весам в инференсе имеют предсказуемый характер, позволяя передавать данные прямо из оптоволокна в кэш L2 процессора, что предполагает полное избавление от DRAM. Он сравнивает эту концепцию с ртутными линиями задержки — одной из первых технологий хранения данных 1940-х годов.

Для масштабных моделей потребуется множество оптоволоконных соединений, однако Кармак подчеркивает, что скорость оптоволокна растет быстрее, чем у DRAM. В качестве альтернативы он предлагает объединить множество недорогих флеш-микросхем для достижения необходимых скоростей. На фоне дефицита и роста цен на HBM-оперативную память, такие идеи становятся особенно актуальными и вызывают повышенный интерес, набирая миллионы просмотров в сети.