Компания OpenAI недавно выпустила обновленную версию своего приложения Codex для Mac, в которой главным новшеством стал интегрированный инструмент управления macOS. Эта функция позволяет Codex взаимодействовать с несколькими программами одновременно в фоновом режиме, используя так называемые «параллельные курсоры». Благодаря этому окна не перетягиваются на передний план, а пользователь не отвлекается.

Данная технология является прямым продолжением проекта Sky, который OpenAI приобрела вместе с командой разработчиков. Исполняемый файл Sky теперь встроен в Codex как официальный плагин и отвечает за взаимодействие с интерфейсом.

В отличие от других систем, основанных на записи экрана и AppleScript, Codex использует продвинутую функцию универсального доступа macOS (Accessibility), позволяющую считывать иерархию элементов любого окна. Эта технология, изначально созданная для вспомогательных средств, теперь применяется для создания контекста, который анализирует языковая модель.

Codex демонстрирует высокую точность управления приложениями и превосходит по скорости и надежности аналогичные решения от Anthropic и Perplexity. Новый виртуальный курсор даже умеет адаптировать движения и цвет под обои, что подчеркивает внимание к деталям.

Практические тесты показали, что Codex способен самостоятельно запускать музыку, просматривать каналы в Slack, а также работать с приложением Shortcuts, выполняя установку и тестирование команд. Всё это происходит в фоновом режиме, позволяя пользователю сосредоточиться на других задачах.

Таким образом, обновленный Codex представляет собой значительный шаг вперед в области автоматизации управления macOS и подчеркивает успешное слияние технологий Sky и OpenAI.