Команда Nexa AI анонсировала внедрение версии GPT-OSS в своем приложении Nexa Studio, которая теперь адаптирована для работы на современных Android-смартфонах. Модель занимает 10 ГБ памяти и требует устройства с 16 ГБ оперативной памяти и мощным процессором для корректной работы.
Тестирование GPT-OSS проводилось на смартфоне ASUS ROG 9, оснащенном процессором Snapdragon Elite Gen 5, который продемонстрировал впечатляющие результаты: первый токен генерируется за 3 секунды, а скорость генерации достигает 17 токенов в секунду. Этот процессор также установлен в моделях Xiaomi 17, 17 Pro и 17 Pro Max, а в ближайшее время появится в устройствах таких брендов, как realme, Honor, iQOO, OnePlus и Samsung.
Разработчики не раскрывают подробности оптимизаций, необходимых для запуска модели на Android, но выражают благодарность команде Qualcomm за сотрудничество. Известно лишь, что в основе нового решения лежит облегченная версия GPT-OSS 20B, которая демонстрирует производительность, сопоставимую с o3-mini.
P.S. Подписывайтесь на мой канал «сбежавшая нейросеть», где я делюсь творческими аспектами искусственного интеллекта.
Вопрос-ответ
Какова основная новость статьи?
Команда Nexa AI анонсировала внедрение версии GPT-OSS в приложении Nexa Studio, адаптированной для современных Android-устройств. Модель занимает 10 ГБ памяти и требует устройства с 16 ГБ ОЗУ и мощным процессором для корректной работы.
Какие устройства и процессоры поддерживаются на данный момент?
Тестирование проводилось на ASUS ROG 9 с процессором Snapdragon Elite Gen 5, который обеспечивает первую токен-генерацию за 3 секунды и скорость до 17 токенов в секунду. Этот же процессор установлен в моделях Xiaomi 17, 17 Pro и 17 Pro Max, и ожидается появление в устройствах брендов realme, Honor, iQOO, OnePlus и Samsung.
Что известно об оптимизациях и масштабе модели?
Разработчики не публикуют подробности оптимизаций для Android, но отмечают сотрудничество с Qualcomm. В основе решения лежит облегченная версия GPT-OSS 20B, которая демонстрирует производительность, сопоставимую с o3-mini.