Основатель Keen Technologies и знаменитый создатель Doom, Джон Кармак, выдвинул нестандартную идею по замене DRAM для инференса нейросетей: использование оптоволоконной петли для хранения весов модели. Согласно его расчетам, уже достигнутые скорости передачи данных в 256 Тб/с на расстоянии 200 км по одномодовому волокну могут обеспечить 32 ГБ «в полете» с пропускной способностью 32 ТБ/с.

Кармак подчеркнул, что при инференсе поведение доступа к весам предсказуемо — это позволяет передавать данные из оптоволоконного кольца прямо в кэш L2 процессора, полностью исключая использование DRAM. Он сравнил свою идею с ртутными линиями задержки, которые использовались в первых технологиях памяти.

Для современных моделей с триллионом параметров потребуется множество таких петель. Но Кармак заметил, что оптоволокно развивается быстрее, чем DRAM. В качестве альтернативы он предложил использовать множество дешевых флеш-чипов, которые при правильных условиях могут достичь необходимой пропускной способности. Интерес к новым архитектурам памяти растет на фоне дефицита и удорожания HBM-памяти, используемой в ИИ-ускорителях NVIDIA.