Новая версия Ollama и доступ к мощным моделям

На днях вышла новая версия Ollama — 0.15.5, в которой появились интересные обновления. Среди новинок — модель qwen3-coder-next, отлично справляющаяся с написанием кода. Однако для её успешного локального запуска необходима видеопамять объемом минимум 80 Гб для высокой скорости обработки, или альтернативно, можно запускать на CPU с 128 Гб оперативной памяти, хотя скорость будет значительно ниже.

Проблема заключается в том, что многие пользователи не могут собрать необходимую конфигурацию сервера для запуска таких моделей, что вызывает негативные комментарии. Я предложил доступ к своему серверу, на который уже установлены нужные модели, и обладающему достаточной мощностью для их работы.

Сервер доступен по адресу http://demonryb.ru:8100/, но потребуется предварительная регистрация, которая должна быть подтверждена мной. Если регистрация будет одобрена, но пользователь станет перегружать сервер, я буду вынужден отключить его.

Краткие характеристики сервера: процессор Core I9 14900KF, 192 Гб RAM, и две видеокарты RTX 4090, обеспечивающие производительность в 166 TFLOPS. Эти параметры явно выше среднего, и если у вас нет подобного оборудования, пожалуй, стоит воздержаться от критики.