Основатель образовательного стартапа в области искусственного интеллекта, Андрей Карпати, анонсировал выход microGPT. Это достигнуто в 243 строках Python, при этом использованы лишь стандартные библиотеки: math, random, os и argparse. microGPT включает все ключевые компоненты для работы языковой модели: токенизатор, движок автоматического дифференцирования, архитектуру Transformer с multi-head attention, и оптимизатор Adam. Основные отличия от классического GPT-2 заключаются в замене LayerNorm на RMSNorm и использовании squared ReLU вместо GeLU. Карпати охарактеризовал данный проект как «арт-проект», отметив, что в нем собраны все алгоритмические элементы, необходимые для тренировки GPT. Несмотря на то, что обучение без GPU может занять много времени, microGPT уже привлекает внимание на GitHub как демонстрация минималистичного кода. Это продолжение ряда его предыдущих проектов, включая micrograd и minGPT. Поддержать Карпати можно, подписавшись на его канал, посвященный ИИ.