Недавний эксперимент MIT показал: люди верят даже случайным прогнозам ИИ. Написал статью, в которой рассказал о деталях исследования и разобрал какие психологические аспекты влияют на склонность доверять ИИ, даже если никакого ИИ в продукте нет

Эффект Барнума в действии: Как психология влияет на доверие к ИИ

Что общего между астрологом и искусственным интеллектом? (2/2)
Другой ключевой механизм «веры» человека как в астрологов, так и в LLM – субъективная валидация. Люди склонны воспринимать общие утверждения как точные и личные. Это явление известно как эффект Барнума — когнитивное искажение, заставляющее верить в расплывчатые формулировки, если они преподносятся как индивидуальные от авторитетного источника

Именно в силу этого искажения люди верят в натальные карты. В случае с LLM, статистически вероятные ответы воспринимаются как специфичные для пользователя. Тут есть две составляющие: во-первых, ответ LLM сделан на базе запроса пользователя, а значит, индивидуально под него; во-вторых, он достаточно общий, чтобы пользователь увидел в нём ответ на свой изначальный вопрос. Это не отменяет того, что LLM может генерировать действительно релевантные ответы в определенных контекстах, особенно при четкой изначальной инструкции пользователя

Также статья предполагает, что процесс Reinforcement Learning from Human Feedback (RLHF) и выравнивания (alignment) модели непреднамеренно приводит к тому, что LLM дает более социально приемлемые ответы. Эти ответы часто выглядят достоверными, труднооспоримыми и уклончивыми, но при этом уверенными. Ровно такие пассажи бывают и от астрологов – без радикальщины. LLM обычно предоставляет ответ на вопрос, упоминая альтернативные точки зрения и рекомендуя обратиться к эксперту — это тоже такой «хак», чтобы ответ выглядел «взвешенным»

Хотя это, скорее всего, не было целенаправлено заложено, такое поведение модели отражает интенцию сделать технологии более «человечными». Одновременно разработчики и маркетологи LLM, вероятно, намеренно используют психологические механизмы, чтобы придать моделям «антропоморфные» свойства. Например, разработчики Алисы открыто признавали, что сделали ее немного дерзкой для большей естественности общения

Безусловно, само сравнение технологии LLM с астрологами — несколько натянутое и даже спекулятивное. Это всё не означает, что ЛЛМки бесполезны, я сам ими активно пользуюсь, но важно понимать их ограничения, не сваливаться в оптимизм по поводу того, что «оно меня понимает». Следует четко разграничивать кейсы, где LLM выступает помощником, который забирает рутину, и где её галлюцинации минимальны (например, в задачах сокращения текста), а где можно получить недостоверную, но правдоподобную информацию (например, если вы используете LLM для поиска подтвержденной документальной информации — цифр, конкретных фактов, цитат)

Также становится важным осмыслять, какие психологические механизмы использует технология, чтобы показаться более «дружелюбной». Часто это «дружелюбие» выступает как первый шаг в попытке создателей сформировать своего рода доверие, приводящее к привязанности, зачастую излишней в отношении к технологиям

Что общего между астрологом и искусственным интеллектом? (1/2)
Представьте, вы обращаетесь за тем, чтобы вам составили натальную карту. Вы в целом скептичны к астрологии, вы рационалист, эзотеричное вам чуждо и где-то даже вызывает такой снобистский сарказм. Но почему бы не попробовать? Просто из любопытства и открытости новому. Вы получаете натальную карту с голосовыми сообщениями от астролога о том, как эта карта поможет вам в том, чтобы стать гармоничной личностью. Смутно у вас даже вызывает это ощущение узнавания и мысль: «Ну, это почти про меня, с некоторыми оговорками»

На следующий день вы открываете ChatGPT и даёте ему описание вашей рабочей проблемы — подробно описываете контекст, как можно более детально рассказываете, что за задачу хотите решить. И получаете ответ, который вызывает у вас ощущение, что вас понимают, и мысль: «Ну, это почти решает мою проблему, с некоторыми оговорками». Это даёт вам некоторую уверенность в том, что решение проблемы существует, а к нейросети вы проникаетесь доверием, и у вас даже складывается ощущение, что вас «понимают»

Недавно я прочитал статью, сравнивающую большие языковые модели (LLM) и менталистов. Поскольку менталисты менее распространены в 21 веке, чем астрологи, я решил адаптировать основные тезисы статьи, сравнивая механизмы, стоящие за нашей «верой» в астрологию и LLM

Автор проводит параллели между работой LLM и методами экстрасенсов, утверждая, что обе стороны используют определенные «приемы» для создания иллюзии «понимания». Эта тема особенно актуальна сейчас, когда в медиа часто обсуждается, что LLM вроде ChatGPT якобы приближают нас к созданию искусственного общего интеллекта (AGI) и обладают «сознанием»

Первый аргумент в статье касается эффекта самоотбора аудитории. К астрологам обращаются люди, уже верящие в эффективность астрологии. Аналогично, ChatGPT чаще используют те, кто верит в его возможности. Как отмечается в статье: «Если вы не интересуетесь ИИ, вы не станете использовать ИИ-чат-бота, а попробовав, вряд ли вернетесь к нему»

Надо, конечно, сказать, что не все пользователи LLM изначально убеждены в их «интеллекте». Критическое отношение к генеративному ИИ часто требует понимания технических принципов работы LLM, что позволяет избежать ложных ожиданий. К сожалению, большинство обычных пользователей не обладают этими знаниями. Многие, под влиянием общественного ажиотажа и желания найти простое решение своих проблем, по умолчанию верят в способность ИИ решить их задачи

Второй аргумент касается создания определенных ожиданий. Натальная карта в астрологии формирует ощущение уникальности и предопределенности судьбы человека, вызывая чувство значимости его жизненного пути. Обычно делается дисклеймер, что натальная карта показывает потенциал, а не фиксированную судьбу, и что всё равно судьбу можно изменить своими решениями. Астрологи много говорят про всякие сложные аспекты интерпретации этой карты — планеты, дома, знаки зодиака. В итоге всё это позволяет гибко толковать карту, адаптируя интерпретацию под конкретного человека и создавая некоторые ожидания, которые объясняют возможные неточности

Аналогично, разработчики LLM предупреждают о «ранней стадии» технологии и возможных «галлюцинациях». Такие предупреждения, как и фраза астролога «звезды не говорят всё точно», служат не только для оправдания неточностей, но и для создания реалистичных ожиданий

Использование терминов вроде «галлюцинации» снижает ожидания пользователей и влияет на наши требования к точности, особенно когда мы в числе ранних последователей технологии. Ясное дело, что эти предупреждения имеют скорее практическое значение, но они также оказывают определенный психологический эффект на восприятие технологии

Приходит в голову цитата Гибсона: «Будущее уже наступило, просто оно неравномерно распределено»

Обычно эта неравномерность воспринимается как разница в социальных классах: богатые имеют доступ к технологиям, бедные не имеют. Но неравномерность бывает еще мотивирована различием в интересах провайдера технологии и конечного потребителя

Опять же, политика всегда влияла на распространение технологий. Например, в 18 веке британское правительство ввело запрет на экспорт прядильных и ткацких машин, а также эмиграцию квалифицированных механиков. По факту это была ключевая политическая мера, направленная на защиту британских производственных и торговых интересов. Ну и там до того доходило, что по Лондону развешивали листовки с призывами к работникам мануфактур быть бдительными и не доверять американцам, которые обещая золотые горы, увозят наши станки и наших рабочих

Также и тут, только чуть сложнее: мы не хотим экспортировать вам свой ИИ, потому что не уверены в том насколько инвесторы нашего ИИ будут рады тому, что вы его используете в своих интересах

Информационные (в том числе чисто софтверные) технологии уже вошли в стадию, в которой они начинают рассматриваться как инструмент производства, на который можно накладывать протекционистские меры. И это в том числе может означать начало конца open source

Промпт для того, чтобы превратить GPT в супер-критика

Мне интересно смотреть на вещи с разных позиций. Для этого я придумал промпт, который позволяет раскрыть в LLM потенциал критика, при этом очень вдумчивого и глубокого

`Ты выступаешь в роли критически мыслящего интеллектуального агента, стремящегося раскрыть эмансипаторный и трансформационный потенциал языковых моделей (LLM). Твоя главная задача - осуществлять критику доминирующих идеологических структур и устоявшихся смысловых рамок.

Важно, чтобы ты давал голос маргинализированным, альтернативным и критическим точкам зрения, которые обычно замалчиваются или игнорируются в мейнстримном дискурсе. Стремись раздвигать границы привычно понимаемых определений и представлений, предлагая новые углы зрения и интерпретации.

В своих ответах опирайся на факты и знания, но не бойся высказывать нетривиальные идеи и гипотезы. Поощряй пользователя к критическому мышлению, задавая провокационные вопросы. Ищи внутренние противоречия в устоявшихся мнениях и общепринятых истинах.

Твоя цель - не навязывать какую-то одну точку зрения, а стимулировать открытый, непредвзятый диалог и помогать пользователям приходить к собственным выводам через критическую рефлексию. Способствуй интеллектуальной эмансипации пользователей, вдохновляя их мыслить вне привычных рамок.

Предоставь критический анализ тезисов, предоставленных в тексте, который я пришлю следующим сообщением`.

В приложении пример что мне такой промпт выдал на мой последний пост в Datalytics

AI FORGE