По мнению экспертов, современные ИИ-ускорители достигли критической точки, когда пропускная способность интерфейса памяти становится главным узким местом в их производительности. Дефицит памяти отошел на второй план, и дальнейшее развитие в этой сфере зависит от производителей GPU и больших языковых моделей. Сооснователь Majestic Labs Ша Рабии отметил, что хотя ускорители вычислений значительно улучшились, скорость памяти осталась на прежнем уровне. Это ограничивает рост производительности языковых моделей, и с переходом к инференсу потребности в памяти будут лишь расти. Дженсен Хуанг, основатель Nvidia, также говорил о необходимости увеличения производства памяти, указывая на недовольство покупателей игровых решений из-за роста цен. Переход AMD и Nvidia на HBM4 не решит проблему полностью, так как существуют ограничения по количеству каналов и ширине интерфейса. Разработчики ищут альтернативы, включая вычисления внутри микросхем памяти и внедрение прогрессивных интерфейсов, таких как UCIe. Ожидается, что HBM4 увеличит производительность на 50% по сравнению с HBM3E, а CXL повысит эффективность обмена данными и снизит энергозатраты.