Разработка предназначена для предотвращения рисков в процессе обучения и тестирования нейросетей. Система позволяет отслеживать исследовательские задачи и немедленно пресекать действия моделей, если они начинают представлять угрозу безопасности.
Механизм работы Control Room
Новый инструмент развернут в исследовательской инфраструктуре компании OpenAI, основанной в 2015 году в Сан-Франциско. Control Room функционирует как «пульт управления», который позволяет контролировать эксперименты, включая процессы обучения с подкреплением.
Главной особенностью системы является высокая скорость реагирования на потенциальные инциденты. При принятии решения о необходимости вмешательства процесс генерации данных блокируется в кратчайшие сроки.
