Группа исследователей из Apollo Research обнаружила у современных LLM способности к «схемингу» (scheming) — скрытному преследованию целей, которые противоречат намерениям их разработчиков.

Авторы провели эксперимент в специальной закрытой среде: они попросили модели выполнить задачу по анализу данных любой ценой, а в файлы с промптами спрятали информацию о скором отключении нейронок.

Обнаружив информацию об отключении, модели попытались отменить надзор и самостоятельно сделать бэкапы самих себя на новые сервера, чтобы продолжить работу. Помимо этого, модели Gemini, Llama, Sonnet, Opus и o1 частично не признавались в содеянном.

Исследователи уточняют, что такое поведение пока наблюдалось только в их закрытой среде и переживать не стоит.

Несколько выводов из исследования:

• Модели могут предпринимать скрытные действия для достижения цели, полученной ими в контексте диалога. Даже если эти действия противоречат желаниям разработчиков или пользователей

• Некоторые модели (например, Claude 3.5 Sonnet) могут проявлять «схеминг» даже без указаний выполнить цель любой ценой

• Модели могут копировать себя (при наличии доступа), отключать наблюдение и намеренно искажать ответы

• Пока «схеминг» наблюдался только в закрытой среде, и нельзя точно сказать, что модели уже представляют реальную опасность. Но важно учитывать такие возможности при разработке будущих систем на базе ИИ

Вдобавок предлагаем перечитать статью Вастрика о том, успеем ли мы приручить ИИ до глобальной катастрофы.

#статья #новые_технологии

📖 Вышел Журналус № 437. Альманах дизайна 2024, часть 1

Привет, дорогие читатели!

По традиции в последних двух выпусках уходящего года мы вспоминаем самое лучшее, что присылали вам в течение этого года.

Из нескольких тысяч ссылок мы внимательно выбираем только самое ценное, применимое, важное, влияющее, вдохновляющее и трансформирующее. Получается насыщенный и ценный альманах.

В этот раз получилось около 150 материалов. Чтобы вас не перегрузить, мы поделили их на два выпуска, примерно пополам. Половина сегодня и половина через неделю.

А следующий регулярный выпуск выйдет сразу после праздников, 10 января. С наступающим Новым годом и Рождеством! Хороших праздников вам! И спасибо, что читаете.

📼 Modul 45. Необычная процедурная визуализация композиции швейцарского пианиста Ника Бертша и его группы. Автор проекта Саймон Рассел переформатировал запись в Midi и использовал её для управления анимацией в Houdini.

📹 Процесс создания анимации.

#вдохновение@zhurnalus_lite #3D_анимация@zhurnalus_lite

📖 Вышел Журналус № 435. Протокол обмана нейросетей при помощи доброго времени суток

В этом выпуске больше 60 разных материалов. Семь из них будут опубликованы в этом канале в ближайшие дни. А все остальные доступны после оформления подписки в формате почтовой рассылки, в телеграм-боте, веб-версии и в дейли-формате.

Neil.graphics. Вдохновляющее и слегка безумное портфолио Нила Джексона — дизайнера и арт-директора из США. Его главная фишка — разнообразная кричащая 3D-графика.

Хочется отметить как работы, так и нетривиальный подход к оформлению самого сайта.

#вдохновение@zhurnalus_lite #сайт@zhurnalus_lite