Свежий пост от Anthropic про интересную технику контекстуализации чанков для улучшения RAG.

Напомню на всякий случай, RAG (retrieval augmented generation) - это когда мы помогаем нашей LLM лучше ответить на пользовательский запрос, "обогащая" его релевантной информацией из базы знаний. Примерно так: берём запрос, находим семантически близкие к нему фрагменты из базы знаний, просим LLM использовать их в ответе на запрос. Но это совсем на пальцах, а чуть подробнее про RAG можно почитать, например, тут.

В теории идея RAG звучит красиво, но на практике куски информации, вырванные из контекста, могут не только не помогать, но и мешать модели отвечать на вопросы. Вот разработчики из Anthropic и предлагают добавить в каждый чанк немного контекста:

Выручка компании выросла на 3% относительно предыдущего квартала. \-> Выдержка из отчета за второй квартал 2023 года компании "Иванов и партнёры". Выручка в предыдущем квартале составила 314 млн долларов. Выручка компании выросла на 3% относительно предыдущего квартала.

Интуитивно понятная идея, но... А как это сделать? Не вручную же? 🥰 Разумеется, нет. Антропики использовали для написания контекстов свою же недорогую модель Claude 3 Haiku с примерно таким промптом (мой вольный перевод):

```
<документ>
{{подставляем сюда ПОЛНЫЙ текст документа}}

Вот фрагмент, для которого нам нужен краткий контекст из документа:
<фрагмент>
{{подставляем сюда текст фрагмента}}

Дай краткий контекст для этого фрагмента на основе всего документа, так чтобы потом можно было легко понять, про что этот фрагмент и как он соотносится с документом в целом. В ответе напиши только краткий контекст, без повторения фрагмента.
```

[Я, кстати, немного потестировал ровно этот промпт с локальными Mistral-Small-Instruct-2409 и Gemma2-9b на русскоязычных текстах, и вроде бы даже работает]

Вы скажете, что слишком дорого каждый раз заставлять модель читать весь документ - ведь у нас для рерайтинга каждого чанка полный текст документа подставляется в промпт. Но у Антропиков есть кеширование документов, поэтому им не дорого. 😎

Как можно было ожидать - не просто же так Антропики решили поведать миру о contextual retrieval - метод дал ощутимый прирост к качеству поиска релевантных фрагментов для ответа на запросы. В каком-то смысле, мы просто обмениваем большое количество компьюта (в данном случае - переписывание чанков моделью, пусть и относительно лёгкой) на улучшение данных и, как следствие, рост метрик. Если база знаний не слишком часто обновляется, то наверное, игра стоит свеч. Но, как вы понимаете, от кейса к кейсу эффективность может разниться, надо брать и экспериментировать. Тем более, что в блогпосте особо не пишут о влиянии этой техники на конечную задачу - собственно ответы на пользовательские запросы. 💃

P.S. Ещё авторы говорят, что техника хорошо сочетается с гибридным индексом (эмбеддинги + BM25), реранкингом и подачей аж топ-20 чанков в финальный промпт.

Репощу с разрешения организаторов. Я раньше работал в МТС ИИ в одной команде со всеми троими спикерами, они очень классные) Наверняка будет много полезного и интересного. Ребята говорят, что даже вроде бы остались ещё офлайн-места. Но если вы не в Москве, присоединяйтесь хотя бы онлайн!

Давно не было постов тут. У меня совсем не выходит что-то выкладывать на более-менее регулярной основе. Да и телеграм-каналов сейчас очень много, так что думается иногда: а что нового я могу добавить к тому, что уже есть? 😨 Остаётся постить когда получается и как получается, в надежде на то, что кто-то из вас зачем-то будет это читать)

Сегодня вот поделюсь некоторыми новостями из своей жизни. На этой неделе я вышел в Яндекс ведущим разработчиком в команду алайнмента YandexGPT. Она называется очень поэтично: "группа поиска смысла". Мне нравится. ❤️

А весь август я не работал. Фактически, это был просто отпуск за свой счёт, так как с предыдущего места работы уволился 31 июля, а на новое место вышел 4 сентября. Ужасно давно не было возможности просто взять и отдохнуть целый месяц. Ух, здорово провёл это время! 👍

Ещё из интересного: так получается, что почти каждый год в августе у меня появляется какое-нибудь новое хобби, или даже не одно. Бывает, через несколько месяцев оно надоедает и отваливается, но иногда и приживается. Например, в прошлом году в августе начал заниматься йогой, а в этом - записался на курсы актёрского мастерства (внезапно). Вроде как помогает управлять эмоциями и раскрепощает. 💃 Посмотрим)

А у вас что нового?

Побывал на Yandex Generative Summit в Белграде, только вчера вернулся домой, а сегодня решил написать небольшой пост про этот опыт. Всё было классно организовано, осталась масса положительных впечатлений. Польза точно была - узнал много нового, познакомился с интересными людьми. На саммите были полезнейшие доклады, но много времени уделялось и нетворкингу...

И вот как раз по поводу нетворкинга хотел написать - дело в том, что у меня не всегда хорошо получается знакомиться и общаться с новыми людьми. Как интроверт, я довольно быстро устаю от такого, потому что теряю при этом много энергии. Причём дело не в том, что мне не нравится общаться с новыми людьми. Наоборот, часто очень даже нравится, особенно с такими классными, как на том саммите. Но вот какой-то "коммуникативной выносливости" не хватает. А ещё есть застенчивость, чувство неловкости, да и старый добрый синдром самозванца. Поэтому первый час-два я ещё бодр и готов знакомиться/общаться, но потом быстро сдуваюсь и ничего так не хочу, как посидеть в тихом уголочке с телефоном. Не знаю, можно ли с этим что-то поделать.

(И нужно ли)

А как у вас с "живым" нетворкингом на всяких конференциях и митапах? Всё легко получается, чувствуете себя как рыба в воде, вас обступают и слушают, затаив дыхание? Или всё же бывают трудности?

Что я туда пишу?
Инструкции самому себе про всякие сложные процессы (такое быстро забывается)
Ключевые факты и неочевидные моменты про практики в команде и разрабатываемые продукты
~~Явки, пароли~~ Где что лежит и к кому обращаться по каким вопросам
Что надо сделать и что уже сделано - для отчётов, если они есть, и просто для себя
* Свои идеи

Другими словами, всё, что показалось важным и может пригодиться в дальнейшей работе. И реально ведь очень часто пригождается - как мне, так и коллегам. Например, в компании может не быть чётких и понятных инструкций / процессов по каким-то аспектам работы, а у вас они будут появляться просто как побочный эффект от этой практики (и привычки) структурирования важной информации. Это ведёт не только к повышению вашей личной эффективности, но и даёт вам возможность помогать другим людям в команде.

Несколько типичных ситуаций, как это мне помогает:
1. Внезапно пишет руководитель и спрашивает, а что было сделано по проекту X.
2. Коллега спрашивает: "А ты не помнишь, где/кто/как у нас ..."
3. Да просто когда вернулся из отпуска и надо срочно вспоминать, чем ты вообще тут занимаешься. ?

При этом всё важное лежит в одном месте, а не рассеяно в куче сообщений, чатов, вкладок в браузере. Я нахожу нужную мне в данный момент информацию так: либо просто пробегаюсь по оглавлению разделов, если это что-то недавнее, либо использую простой полнотекстовый поиск по ключевым словам. На практике, нужная информация находится гораздо быстрее, чем если (в десятый раз?) спрашивать у коллег или рыскать по чатам, Confluence, Jira и т.д.

Конечно, сначала ведение заметок будет занимать больше времени, чем если их не вести и пытаться всё удержать в голове. Но ваши усилия сполна окупятся уже через пару месяцев. Проверено на опыте. Ведь вы осознаёте себя полноправным владельцем своих рабочих знаний. Ведение таких заметок повышает уверенность, а с ней порой бывают проблемы на новом месте (привет, синдром самозванца). Конечно, это привычка и навык, который нужно развивать. Кстати, повышает вашу самодисциплину. ?

В общем, просто хотел поделиться, не навязываю, но вдруг пригодится. Можете использовать в таком виде, можете придумать что-то своё по аналогии, но главные принципы, на мой взгляд, надо сохранить:

• Структура
• Простота и доступность
• Всё нужное в одном месте

Если дочитали до конца, спасибо за внимание! Делитесь опытом про свою адаптацию в комментариях. Желаю успехов в саморазвитии!