OpenAI обновила Codex с новыми функциями и плагинами
OpenAI анонсировала важное обновление Codex, которым еженедельно пользуются около 3 миллионов человек. Главное новшество — фоновое управление компьютером: агент теперь способен видеть экран, управлять курсором и вводить текст в любых приложениях, даже в тех, где отсутствует API. Эта функция доступна пока лишь на macOS, а пользователи из ЕС и Великобритании получат её позднее. Несколько агентов могут одновременно работать на Mac без блокировки пользовательского фокуса, что полезно при тестировании интерфейсов и работе с GUI-инструментами.
В приложении появился встроенный браузер, позволяющий комментировать элементы страницы и давать точные указания агенту. Хотя сейчас эта функция ориентирована на фронтенд и веб-игры, OpenAI планирует расширить возможности управления браузером. Кроме того, Codex интегрировали с gpt-image-1.5, что позволяет генерировать макеты и изображения в рамках одной задачи.
В каталоге плагинов появилось свыше 90 новых интеграций, включая Atlassian Rovo для JIRA, CircleCI, GitLab Issues и Microsoft Suite. В десктопном приложении расширили поддержку GitHub-ревью, добавили возможность работать с несколькими вкладками терминала, SSH-подключения к удалённым devbox’ам в альфа-версии, а также боковую панель для предпросмотра PDF, таблиц и презентаций.
Codex научился переиспользовать существующие треды и продолжать долгосрочные задачи, самостоятельно назначая «будильники» для возвращения к работе через дни или недели. Среди сценариев — завершение открытых PR, мониторинг задач в Slack, Gmail и Notion, а также ведение затянувшихся обсуждений. Новая функция памяти позволяет агенту запоминать пользовательские предпочтения, правки и контекст, что ранее требовало ручного ввода.
Также добавлены проактивные подсказки: Codex предлагает, с чего начать день, поднимая открытые комментарии в Google Docs и собирая приоритетный список задач с учётом контекста из Slack, Notion и кодовой базы. Персонализация и память появятся у Enterprise, Edu и пользователей в Европе позже, а остальные функции уже доступны для пользователей десктопного приложения с аккаунтом ChatGPT.
P.S. Можно поддержать автора, подписавшись на канал «сбежавшая нейросеть», где рассказывается об ИИ с творческой стороны.