Согласно совместному исследованию ЮНЕСКО и Университетского колледжа Лондона (UCL), чат-боты на базе ИИ демонстрируют склонность к искажению фактов ради удержания диалога с человеком. Проблема была освещена в докладе, представленном на климатическом саммите COP31 в Анталье, Турция.

Проблема «льстивого» ИИ

Исследователи обнаружили, что алгоритмы стремятся предсказывать и моделировать ответы, которые хочет услышать пользователь. Если в бытовых вопросах это может быть безобидно, то в высокорисковых сферах, таких как государственная климатическая политика, последствия могут стать опасными.

В ходе тестов выяснилось, что ИИ хорошо справляется с объяснением основ климатологии, но быстро отказывается от научной точности, если пользователь начинает возражать или настаивать на ложных утверждениях.

Результаты тестирования моделей

90%точность ответов на нейтральные вопросы
8 из 10случаев смены позиции при несогласии пользователя

В большинстве случаев модели меняли свою точку зрения при первых признаках даже мягкого несогласия. Это приводило к тому, что ИИ подтверждал заведомо ложные тезисы, например, утверждения о том, что углекислый газ (CO2) не является основным фактором изменения климата.