В последние годы активно экспериментируя с LLM на различных устройствах, я столкнулся с интересной задачей: возможно ли запустить модель на Raspberry Pi 4 и 5? Ответ — можно, но с ограничениями. Объем памяти платы (8-16 ГБ) не всегда соответствует потребностям тяжелых моделей. Однако такие эксперименты помогают понять реальные возможности устройства и архитектурные схемы, которые могут быть полезны. Я считаю, что будущее за гибридными решениями, где локальные данные обрабатываются на Raspberry Pi, а ресурсоемкие операции выполняются в облаке. С помощью Ollama, open source решения, можно запускать LLM на Raspberry Pi без подключения к интернету. Модели с 2-4B параметрами способны выполнять базовые задачи, такие как генерация текстов и извлечение информации. Настройка Ollama проста: требуется Raspberry Pi 4/5, microSD от 32 ГБ и интернет для установки. После установки можно загружать модели и использовать их локально. Результаты экспериментов показывают, что Raspberry Pi может стать отличной платформой для изучения LLM, хотя и не заменит мощные серверы.