Goal Misgeneralisation от Deepmind. Spheres

Иллюстрация к пункту о том, что агенты могут плохо работать в продакшене, даже если были обучены на полностью корректных вознаграждениях, и преследовать нежелательные цели, даже при обучении с правильно заданной спецификацией (пост).

Красивый пример тут - это задачка «Spheres» из коллекции фейлов агентов от Deepmind - под катом

Человеки тоже подвержены адверсальным атакам)))

Воскресение - день шуточков!))) Показываю сегодня о том, как отличить человка от агента)))

ждем извинений от Хопфилда и Хинтона в сторону Шмидхуберта?

и еще шутейка от соседнего чатика))

Гопфилд и Гинтон)))) я аж перечитала новость, потому что фамилии незнакомые)))