Что там с ИИ, выходящим из под контроля?

Сижу пару дней назад у друзей в гостях, речь внезапно заходит про ИИ.

— А ты читал, что одни ребята так много данных закачали в нейросеть, что она сошла с ума и начала рассказывать, что боится и ничего не понимает, спрашивать «где я, что со мной»?

Я слышал. Это ребята из Nous, выпустившие вот эту статью, рассказывали такое про свою 405-миллиардную модель. Но если зайти в статью сейчас, вы не найдете рассказа о самосознании — потому что в Х их уже попросили перестать хайповать и не вводить в заблуждение. Потому что если заглянуть в базу для обучения (датасет выложен правда крутой), вдруг окажется, что там куча текстов из «Призрака в доспехах». Про страх, потерянность и, конечно, самосознание.

Риск «ИИ, выходящий из-под контроля», конечно, витает в воздухе. Вот ребята из SakanaAI сделали LLM для создания практически с нуля серьезных исследовательских работ. Всем, кто занимается наукой, очень советую их статью, там с 30-й страницы они делятся промптами для ИИ-научного-работника полного цикла — от идеи до peer-review.
Но суть не в этом: агент мог сам генерить и запускать код, и в один из прогонов он поменял код, который его самого запускал, чтобы оптимизировать процессы.

Звучит страшно? Страшно. И правда через много лет может привести к чему-то нехорошему. Но пара оговорок:
— ребята сами засунули в промпт ссылку «вот тут лежит код, которым мы тебя вызываем»
— ребята дали задачу «редактируй соседний файл и вот еще один файл», добейся лучших результатов
— ребята полагаются на написаную не ими модель для улучшения кода, а используемый копайлот, Aider, как раз и предназначен для улучшения любого кода — это опен-сорсный аналог GitHub Copilot.

В общем, ИИ-безопасность — важная дисциплина, Но иногда медиа слишком преувеличивают важность случайных галлюцинаций или переобучения.

Лучше беспокойтесь о том, что давно не брали отпуск, чем о том, что нас захватит ИИ.

#FreeDurov

Если вы хотите поддержать инициативу #FREEDUROV информационно, креативный директор Telegram только что выложил материалы.

Прикладываю их ниже.

А еще можно подписать письмо: https://t.me/tgresistancebot/letter

...уведомления у этого канала стоило не выключать хотя бы ради того, чтобы вовремя узнать, что Telegram ожил...

И да, он не работал 1.5 часа.

Как джуну быстро взлететь до миддла, а миддлу до синьора?
Научиться решать кейсы. Если вы умеете стратегически мыслить и решать любую задачу, то двери в самые крутые компании на топовые должности для вас открыты.

Именно этому учит Карьерный Цех. Кроме карьерного сопровождения, на котором участники делают красивое резюме и учатся правильно проходить собеседования, ребята запустили еженедельные воркшопы, на которых участники вместе с крутыми экспертами решают кейсы разных уровней. Это сильно прокачивает продуктовую бицуху и развивает мышление.

Для каждого уровня подбирается свой эксперт:
- Junior решают кейсы с Middle+ и Senior продактами
- Middle & Senior с CPO, хедами и лидами, чья экспертиза давно отлетела в стратосферу.

Кому подойдёт:
- Продактам
- Проджектам
- Аналитикам
- Дизайнерам
- Маркетологам
- И всем-всем, кто хочет получить продуктовую насмотренность

И всего за 2 часа в неделю. Все кейсы решаются прямо на занятии и нет никаких нудных домашек.

На воркшопах вы не только порешаете кейсы, но ещё и пообщаетесь с участниками, вольётесь в тусовку, а впоследствии быстро перейдёте на следующий уровень по знаниям и оплате. Средний рост зарплаты всех, кто посещает кейс-клубы — 40% за год.

Набор уже идёт, так что переходите по ссылке на сайт и регистрируйтесь на новый поток.
Для первых 100 участников действует промо цена.Реклама. ИП Федоров Е.П.
ИНН 532008901966