По мнению экспертов, ИИ-ускорители достигли стадии, когда пропускная способность интерфейса памяти становится критическим барьером для дальнейшего увеличения быстродействия. Ша Рабии, сооснователь Majestic Labs, говорит, что в то время как ускорители вычислений значительно улучшили свои характеристики, производительность памяти не успевает за ними. Это создает проблемы для больших языковых моделей, так как их потребности в памяти растут. Дженсен Хуанг, основатель Nvidia, также отметил необходимость увеличения объемов производства памяти, так как нехватка приводит к росту цен в смежных сегментах, таких как игровые видеокарты. Хотя переход на HBM4 и HBM4E обещает увеличение пропускной способности, существующие ограничения, такие как количество каналов и высота стека, могут препятствовать масштабированию. Разработчики исследуют новые архитектурные решения, включая вычисления внутри микросхем памяти и внедрение прогрессивных интерфейсов, что должно помочь улучшить производительность и снизить энергозатраты.