GitHub Copilot научился взаимодействовать с настольными приложениями
GitHub открыла в режиме public preview функцию computer use для Copilot CLI и приложения GitHub Copilot на macOS и Windows. Ассистент может управлять интерфейсами настольных программ с разрешения пользователя.
GitHub добавила в Copilot возможность взаимодействовать с настольными приложениями через компьютерный интерфейс. Функция computer use доступна в режиме public preview в Copilot CLI и приложении GitHub Copilot для macOS и Windows.
По описанию GitHub, Copilot может читать доступное содержимое приложений и визуальный контекст, нажимать элементы управления, вводить и редактировать текст, нажимать клавиши, прокручивать страницы, перетаскивать объекты и перемещаться по рабочим процессам между приложениями. Это позволяет автоматизировать сценарии в старых и GUI-приложениях, у которых нет API, интерфейса командной строки или интеграции MCP.
Пользователь сохраняет контроль над действиями ассистента: Copilot запрашивает разрешение перед управлением приложением. Приложения, которым был предоставлен постоянный доступ, можно просматривать и сбрасывать. На macOS система также проводит пользователя через выдачу разрешений Accessibility и Screen Recording, а настройки, управляемые организацией, могут отключить функцию.
В Copilot CLI computer use включается командой /computer on. Команда /computer show показывает состояние функции, а /computer off отключает её. В приложении GitHub Copilot настройка находится в разделе Settings → Computer Use → Enable Computer Use.
Почему это важно
Функция расширяет область применения Copilot за пределы программ с API или командной строкой: ассистент может выполнять действия в графических интерфейсах и старых приложениях. При этом GitHub предусмотрела запрос разрешения перед управлением программой и возможность отключения функции организацией.
