Новая версия GPT-OSS для Android-смартфонов от Nexa AI

Команда Nexa AI обновила свое приложение Nexa Studio, добавив в него версию GPT-OSS, специально адаптированную для высокопроизводительных Android-смартфонов. Модель, занимающая 10 ГБ памяти, доступна в приложении и требует устройства с 16 ГБ оперативной памяти и мощным процессором для корректной работы.

В ходе тестирования GPT-OSS на смартфоне ASUS ROG 9 с процессором Snapdragon Elite Gen 5 были получены впечатляющие результаты: время до первого токена составило всего 3 секунды, а скорость генерации достигла 17 токенов в секунду. Этот процессор также устанавливается в устройствах Xiaomi 17, 17 Pro и 17 Pro Max, а в скором времени ожидается в realme GT 8 Pro, Honor Magic 8 и других моделях, включая Samsung Galaxy S26.

Разработчики не раскрыли все детали оптимизаций, проведенных для запуска модели на Android, но выразили благодарность команде Qualcomm за поддержку. Известно, что основой для новой версии послужила младшая версия GPT-OSS 20B, обладающая производительностью, сопоставимой с o3-mini.

P.S. Подписывайтесь на канал «сбежавшая нейросеть», где я делюсь творческими аспектами ИИ.