Андрей Карпатый, ML-инженер и бывший разработчик OpenAI, презентовал новый проект под названием nanochat, который представляет собой полноценный цикл разработки LLM. Обучение модели обойдется в среднем в 100 долларов при аренде облачных мощностей.

Nanochat является частью курса LLM101n от Eureka Labs и включает в себя все необходимые компоненты для обучения языковой модели. В репозитории имеется токенизатор на Rust, система подкачки датасета FineWeb-EDU, а также скрипты для файнтюнинга, инференса и сбора метрик. Кроме того, проект предлагает встроенный веб-интерфейс для общения с готовой моделью.

Для обучения потребуется инстанс с 8 видеокартами Nvidia H100, что займёт около четырёх часов. При аренде мощностей стоимость часа составляет около 24 долларов. Запуск процесса обучения осуществляется через скрипт speedrun.sh, а для доступа к веб-чату используется команда python -m scripts.chat_web.

Карпатый подчеркивает, что основная цель nanochat — создание компактного и удобного инструмента для обучения языковых моделей, позволяющего быстро дорабатывать и запускать новые решения. Код проекта доступен на GitHub вместе с необходимыми инструкциями.