Андрей Карпатый, ML-инженер и экс-разработчик OpenAI, презентовал новый открытый проект под названием nanochat. Этот проект охватывает полный цикл создания языковых моделей (LLM) и потребует около 100 долларов для обучения, если использовать облачные вычислительные мощности. Nanochat является частью курса LLM101n от Eureka Labs и включает все необходимые компоненты для работы: токенизатор на Rust, систему подкачки данных FineWeb-EDU, а также скрипты для тонкой настройки, инференса и сбора метрик. Кроме того, проект предлагает встроенный веб-интерфейс для общения с обученной моделью. Для запуска обучения потребуется инстанс с 8 видеокартами Nvidia H100, что займёт около четырёх часов. Аренда облачных ресурсов обойдётся в среднем в 24 доллара в час. Процесс обучения инициируется с помощью скрипта speedrun.sh, а для доступа к веб-чату используется команда python -m scripts.chat_web. Карпатый подчеркивает, что основная цель проекта — создать компактный и удобный инструмент для обучения языковых моделей, который можно запустить одной командой. Код nanochat доступен на GitHub с полным набором файлов и инструкций.