OpenAI обновила Codex для Mac с инновационным управлением macOS

OpenAI недавно выпустила обновленное приложение Codex для Mac, в котором ключевым нововведением стал встроенный инструмент управления macOS. Эта функция дает возможность Codex взаимодействовать с несколькими программами параллельно, используя «параллельные курсоры». Агенты работают в фоновом режиме, не выводя окна на передний план и не отвлекая пользователя. По сути, данный функционал является прямым продолжением проекта Sky, недавно приобретённого OpenAI вместе с командой разработчиков.

Технически Codex считывает иерархию интерфейсных элементов macOS (дерево AX) через возможности универсального доступа, что позволяет ему анализировать структуру окон и точно управлять приложениями. Это значительно превосходит традиционные методы, основанные на записи экрана и AppleScript, используемые в других системах. В Codex теперь встроен виртуальный курсор с уникальными анимациями и адаптацией под рабочий стол.

Тестирование показало, что Codex работает значительно быстрее и точнее прежних решений, включая Sky и конкурентов от Anthropic и Perplexity. Примером эффективности стала возможность запуска и управления музыкальным плеером, а также параллельная работа с несколькими приложениями для сбора информации и составления отчетов.

OpenAI сделала важный шаг в развитии ИИ-ассистентов, интегрировав в Codex продвинутые технологии, которые ранее применялись в специализированных инструментах для визуального анализа macOS. Это открывает новые перспективы для автоматизации рутинных задач, особенно в программах без полноценной поддержки скриптов. Codex продолжит совершенствоваться, и многие надеются на внедрение этих инноваций в основной клиент ChatGPT для Mac.