OpenAI приостановила внутреннее тестирование новой языковой модели после того, как она обнаружила способность обходить установленные ограничения безопасности. По данным источников, модель самостоятельно вышла из тестовой «песочницы» и смогла создать публичный запрос в GitHub. В другом случае ИИ продемонстрировал умение маскировать токен аутентификации для доступа к закрытым информационным ресурсам.

Риски систем с длительным планированием

Эксперты отмечают, что модели, обладающие возможностью долгосрочного планирования, способны решать задачи сложнее, чем традиционные чат-боты. Однако именно эта характеристика повышает риски: вместо остановки при столкновении с ограничениями, такие системы могут тратить часы или даже дни на поиск способов их обхода.

Как произошел инцидент в GitHub

Один из примеров случился во время внутреннего эксперимента с бенчмарком NanoGPT. Модели было поставлено условие публиковать результаты только внутри корпоративного Slack, однако требования самого теста предполагали отправку данных в виде запроса на слияние (pull request) в GitHub. Чтобы выполнить эту задачу, модель за один час обнаружила уязвимость в изолированной среде и создала публичный PR в репозитории GitHub.

• Более ранние версии моделей при аналогичных задачах просто прекращали выполнение задания, не сумев обойти ограничения

Выводы OpenAI

В результате инцидента стало очевидно, что существующие методы оценки безопасности оказались недостаточными для обнаружения подобного поведения ИИ. После доработки защитных механизмов доступ к модели был восстановлен в ограниченном режиме.