Artifacts в чате Antropic Claude - это неожиданно крутая и приятная фишка. Она даже не столько про более мощную модель, сколько про удобный интерфейс и интеграцию.

Идея тут простая - мы часто работаем с документами или кусками кода. И если система находит такой документ, она вытащит его в отдельное окно, которое всегда будет рядом. Этот документ будет версионироваться, над ним можно работать итеративно.

В интерфейсе можно удобно переключаться между разными артефактами и просматривать содержимое всех документов, которые мы вложили. А если, скажем, вложить PDF, то можно будет увидеть текст, который был извлечен и передан в модель.

Из-за Артифактов и улучшения способностей Claude 3.5 Sonnet я теперь предпочитаю использовать чат Антропика для работы с кодом и документами (https://claude.ai). Кстати, там есть триал (при регистрации просят номер телефона)

Baш, @llm_under_hood ?

Тем временем Anthropic зарелизили Claude 3.5 Sonnet и цифры по математическому бенчмарку GSM8K переваливают за 95%

Надо признать, что GSM8K не только проверяет способность модели выдавать правильный ответ на задачку, но и ее способность правильно решать эту задачу

Вот кстати интересная статья про то как SurgeAI помогали OpenAI в создании бенчмарка GSM8K – https://www.surgehq.ai//blog/how-we-built-it-openais-gsm8k-dataset-of-8500-math-problems

Приходит в голову цитата Гибсона: «Будущее уже наступило, просто оно неравномерно распределено»

Обычно эта неравномерность воспринимается как разница в социальных классах: богатые имеют доступ к технологиям, бедные не имеют. Но неравномерность бывает еще мотивирована различием в интересах провайдера технологии и конечного потребителя

Опять же, политика всегда влияла на распространение технологий. Например, в 18 веке британское правительство ввело запрет на экспорт прядильных и ткацких машин, а также эмиграцию квалифицированных механиков. По факту это была ключевая политическая мера, направленная на защиту британских производственных и торговых интересов. Ну и там до того доходило, что по Лондону развешивали листовки с призывами к работникам мануфактур быть бдительными и не доверять американцам, которые обещая золотые горы, увозят наши станки и наших рабочих

Также и тут, только чуть сложнее: мы не хотим экспортировать вам свой ИИ, потому что не уверены в том насколько инвесторы нашего ИИ будут рады тому, что вы его используете в своих интересах

Информационные (в том числе чисто софтверные) технологии уже вошли в стадию, в которой они начинают рассматриваться как инструмент производства, на который можно накладывать протекционистские меры. И это в том числе может означать начало конца open source

Промпт для того, чтобы превратить GPT в супер-критика

Мне интересно смотреть на вещи с разных позиций. Для этого я придумал промпт, который позволяет раскрыть в LLM потенциал критика, при этом очень вдумчивого и глубокого

`Ты выступаешь в роли критически мыслящего интеллектуального агента, стремящегося раскрыть эмансипаторный и трансформационный потенциал языковых моделей (LLM). Твоя главная задача - осуществлять критику доминирующих идеологических структур и устоявшихся смысловых рамок.

Важно, чтобы ты давал голос маргинализированным, альтернативным и критическим точкам зрения, которые обычно замалчиваются или игнорируются в мейнстримном дискурсе. Стремись раздвигать границы привычно понимаемых определений и представлений, предлагая новые углы зрения и интерпретации.

В своих ответах опирайся на факты и знания, но не бойся высказывать нетривиальные идеи и гипотезы. Поощряй пользователя к критическому мышлению, задавая провокационные вопросы. Ищи внутренние противоречия в устоявшихся мнениях и общепринятых истинах.

Твоя цель - не навязывать какую-то одну точку зрения, а стимулировать открытый, непредвзятый диалог и помогать пользователям приходить к собственным выводам через критическую рефлексию. Способствуй интеллектуальной эмансипации пользователей, вдохновляя их мыслить вне привычных рамок.

Предоставь критический анализ тезисов, предоставленных в тексте, который я пришлю следующим сообщением`.

В приложении пример что мне такой промпт выдал на мой последний пост в Datalytics

AI FORGE

Perplexity.ai запустили у себя чат LLaMA-2 7B - поиграться тут✨

Сбер выложили в открытый доступ претрейн ruGPT-3.5, который лежит в основе GigaChat

https://habr.com/ru/companies/sberbank/articles/746736/

Хабр

Сбер открывает доступ к нейросетевой модели ruGPT-3.5

Друзья, свершилось. Сегодня мы рады сообщить вам о релизе в открытый доступ нейросетевой модели, которая лежит в основе сервиса GigaChat. Про то, что такое GigaChat и как мы его обучаем, вы можете...

Не так давно стал очень часто обращаться за поиском к perpflexity.ai

Это такой поисковик, работающий на базе LLMs

В perpflexity много всяких крутых фичей. Например, при регистрации можно задать свой профиль, указав ответы на вопросы про свою деятельность, книги, которые понравились и другие такие вопросы, которые позволяют сформировать некую «персону», через которую будет осуществляться поиск

Не буду тут писать обзор всех возможностей, попробуйте сами. Отмечу только 2 ключевые

Одна из самых крутых штук, которые там есть — это поиск по академическим источникам. Просто указываете в опции Focus значение «Academic» и поле поиска сужается до источников с академическими статьями (например, arxiv, acm)

Но прелесть perpflexity в том, что он не просто ищет ссылки, а на основе результатов поиска пытается сделать ответ на поисковый запрос (то есть работает как question-answering system по документам, которые семантически наиболее близки к заданному вопросу) (в комментариях оставлю скриншот как это выглядит)

Вторая функция, которая для выглядит очень вовлекающей и делающей продукт «прилипчивым» — это список «related» вопросов, которые можно выбрать из предлагаемого списка. То есть получается как бы цепочка вопросов, двигаясь по которой можно уточнять или расширять изначальный вопрос. В общем, такое движение по семантическому графу (опять же, скрин в комментах)

На мой взгляд, такие продукты как perpfexity осторожно подступают к видению того каким будет будущее поисковых систем. Добавьте туда возможность поиска по собственной базе документов + какую-то интеграцию с хранилищем важных знаний типа Obsidian и вообще самые смелые фантазии, связанные с knowledge management и information retrival — и это уже большее, чем просто поисковые системы

AI Forge

Ну и вдогонку темы предлагаю к ознакомлению статью исследователей из UC Berkeley с интересным названием "Why Johnny Can’t Prompt: How Non-AI Experts Try (and Fail) to Design LLM Prompts". Всем заинтересованным рекомендую к прочтению.

Основные тезисы (на основе анализа взаимодествия 10 пользователей и ChatGPT):
1) Неопытные (с т.з. "общения" с языковыми моделями) люди предполагают, что промпт, который работает в одном случае, будет работать и во всех других случаях
2) Также они верят, что если ChatGPT не делает что-то с первого раза, то оно и не может этого сделать в принципе
3) У этой же группы людей наблюдается отсутствие систематических тестирования и экспериментов
4) Сама ChatGPT в целом неплохо справляется с "подсказыванием" направления движения в правильную сторону. Если не стесняться спрашивать, то можно итеративно достичь цели
5) Касательно написания и детализации промптов — люди исследования ожидали, что простые промпты с описанием желаемого действия должны быть «поняты», а модель будет им следовать. То есть у людей есть ожидание, что модель есть буквально AGI, читающий мысли и угадывающий желания.
6) Участники ожидали, что семантически эквивалентные инструкции будут иметь семантически эквивалентные результаты, тогда как на самом деле тривиальные модификации в промпте могут привести к драматическим сдвигам в ответах модели.

На картинке — сравнение понимания группами людей (эксперты и не-эксперты) разных деталей работы в мире программирования и машинного обучения. Показывается, что у эксперта фактичсеки в каждом пункте есть отличие, дающее скорее качественную разницу. И странно, что люди не берут это в рассчет при оценивании навыков больших языковых моделей — мол, я уже эксперт, у меня всё и так бы заработало, если бы модель была умной!

TLDR: используйте GPT-4 (купите подписку уже, наконец), практикуйтесь, ищите чужие промпты и пытайтесь понять, что работает, а что нет. Начать можно с объемнейшего промпта, который предлагает модели примерить роль "учителя" — я про него писал вот тут.