Компания OpenAI выпустила масштабное обновление для своего кодинг-ассистента Codex, который еженедельно используют около 3 миллионов человек. Главное новшество — фоновое управление компьютером: агент теперь может видеть экран, кликать курсором и вводить текст в любых приложениях, включая те, у которых нет API. Эта функция пока доступна только на macOS, а пользователи из ЕС и Великобритании получат её позже. Одновременно несколько агентов могут работать параллельно с пользователем, не мешая ему.
В приложении появился встроенный браузер, позволяющий комментировать элементы страницы и давать точечные указания агенту. Пока это преимущественно используется для фронтенда и веб-игр, но OpenAI планирует расширить возможности до полноценного управления браузером. Кроме того, Codex теперь интегрирован с gpt-image-1.5, что позволяет автоматически создавать макеты и концепты прямо в рамках задачи.
В каталоге плагинов добавилось более 90 интеграций, включая Atlassian Rovo для JIRA, CircleCI, GitLab Issues, Microsoft Suite и другие. Десктопное приложение получило поддержку одновременной работы с несколькими терминалами, SSH-подключения к удалённым devbox’ам (в альфе), а также боковую панель с предпросмотром PDF, таблиц и слайдов.
Codex научился переиспользовать существующие треды и продолжать долгосрочные задачи, самостоятельно назначая напоминания и возвращаясь к работе спустя дни или недели. Среди сценариев — завершение открытых PR, мониторинг задач в Slack, Gmail и Notion, а также ведение обсуждений, растянутых между разными инструментами. Новый режим памяти позволяет агенту запоминать предпочтения, правки и контекст, что раньше требовало ручного ввода.
Ещё одна важная функция — проактивные подсказки. Codex самостоятельно формирует список приоритетных задач на день, собирая данные из Google Docs, Slack, Notion и кодовой базы. Функции персонализации и памяти будут доступны позже для Enterprise, Edu и пользователей из ЕС и Великобритании, а остальные обновления уже доступны всем, кто вошёл в десктопное приложение через ChatGPT.
P.S. Поддержать автора можно подпиской на канал «сбежавшая нейросеть», где рассказывают об ИИ с творческой стороны.