Запуск больших языковых моделей на собственном оборудовании всегда требует компромисса. Либо ты тратишь десятки тысяч долларов на видеокарты, либо мечтаешь о корпоративном классе, который не по карману. Платформа Grace-Hopper от NVIDIA — это то, о чем мечтает сообщество LocalLlama, но такие системы стоят от $100,000. Когда я увидел систему Grace-Hopper за 10,000 евро, сначала подумал, что это обман. В итоге я купил «Франкенштейн-систему», модифицированную под воздушное охлаждение, и переделал её обратно на водяное. После множества неполадок, включая «температуру» в 16 миллионов градусов, я создал настольный ПК, способный запускать модели на 235 миллиардов параметров. В статье делюсь процессом, трудностями и итогами своих бенчмарков.