Как запустить AI-ассистента на Raspberry Pi с помощью Ollama

В последние годы я проводил эксперименты с LLM на различных устройствах, от GPU-кластеров до Raspberry Pi. Одной из интересных задач является запуск модели на Pi 4 и 5. Несмотря на ограничения по памяти (8-16 ГБ), эксперимент показывает, где проходят границы устройства и какие архитектуры полезны. Я уверен, что будущее за комбинациями малых моделей, RAG и грамотной оркестрацией, а не гигантскими fine-tuned моделями. В этом гайде расскажу, как превратить Raspberry Pi в локального AI-ассистента с помощью Ollama.

Ollama — open source решение, позволяющее запускать LLM на Raspberry Pi без интернета. Установка начинается с команд в терминале, а затем загружается модель через команду ollama pull . Для работы с изображениями и текстом можно подключить мультимодальные модели. Raspberry Pi станет отличной платформой для экспериментов с LLM, но для более сложных задач стоит использовать облачные решения.