Продолжаю выступать аггрегатором выступлений... Сегодня в программе ребята с моей команды! ? x ?

Коллеги на Data Fest 2024 рассказывают как мы прикручиваем LLM к задаче составления плейлистов налету по текстовому запросу от пользователей!

В частности, немножко про metric learning, про генерацию синтетики для обучения с помощью проприетарных LLM и использование LLM же в качестве текстового энкодера — тот самый нашумевший Mistral-E5 на MTEB!

? Ссылочка на трансляцию [запись вроде живёт]

Под капотом никакого rocket science, but it's an honest work!!! ?

GIGA R&D DAY ⚡️ Через два часа начинаем!
Всем салют! Сегодня у нас особенный день — мы проводим конференцию GIGA R&D DAY. Погружаемся в хардовые доклады R&D-команд SberDevices по развитию GigaChat, NLP, Vision и Audio.

? Программа конференции
? Регистрируйтесь на онлайн-трансляцию. Кстати, задать свои вопросы спикерам можно прямо в чате трансляции — ответы спикеров опубликуем в Salute AI.

#конференция_GIGA_RND_DAY

Буду посмотреть онлайн — интересно решение RAG в GigaSearch, а также применение LLM в синтезе речи.

Как я пишу заметки и веду конспекты! ? Бывало ли такое у вас в школе/универе или уже после: начинаете слушать лекцию и делать заметки. Пару минут спустя ловите себя на мысли, что вы пишите диктант, к тому же с лютыми пропусками информации. В конце оказывается…

Как я пишу заметки и веду конспекты! ?

Бывало ли такое у вас в школе/универе или уже после: начинаете слушать лекцию и делать заметки. Пару минут спустя ловите себя на мысли, что вы пишите диктант, к тому же с лютыми пропусками информации. В конце оказывается, что вы перевели с русского на русский и ничего для себя не узнали.

В чём тут проблема? В момент такой записи вы не работаете с материалом. Сразу оговорюсь, что всё далее — больше про онлайн-лекции, в которых можно вернуться назад. Для очных лекций нужны определенные модификации, потому что на них вы решаете сразу две задачи: (1) протоколировать как можно больше и (2) фильтровать и структурировать наиболее оптимальным образом.

Так вот, рецепт ~~батиного супа~~ моих заметок примерно следующий!

1️⃣ Прийти на лекцию/выступление/митинг с общими знаниями о предмете. Это поможет настроить собственный фильтр информации, который будет подсвечивать ровно столько, сколько нужно по уже волнующим вопросам.

2️⃣ Не записывать за лектором — записывать для себя! Ментально искать разницу между тем, что говорит лектор и тем, что знаю я. Что-то удивило? Записываем! Что-то показалось ошибочным — записываем! Для остального используем простые пометки, чтобы отразить структуру лекции. Мол а ещё сказали про это. Зачем — смотри далее. В специализированной литературе эту фазу часто называют fleeting notes (заметки на лету).

3️⃣ СРАЗУ после лекции сесть и попытаться заполнить все пропуски, дописать на месте пометок недостающую информацию и восстановить общий ход лекции. Короче пересказать её самому себе. Это этап самопроверки, ведь ранее мы намеренно пропускали то, что «и так понятно».

4️⃣ И вот тут самое вкусное — прохожу заново по материалу лекции и делаю самопроверку: «а правильно ли я написал что…?». Получаем основной профит:

?️ Вы убедились, что всё поняли корректно = положительный отклик, закрепляющий знание + небольшой буст мотивации продолжать и сопутствующих гармончиков

?️ Вы ошиблись и исправили себя: это очень полезный отклик для мозга (исследования говорят, что от факапов мы учимся больше чем от повторений), в некоторой эпсилон окрестности вокруг этой информации мозг будет более осторожен впредь и жадно бросаться на любые знания, укрепляющие этот вопрос!

©️ Вы нашли дыру в своих знаниях, которую не может восполнить пройденный материал: теперь можно смело бежать и прокрастинировать в гугл и копить сохранёнки

На моём опыте такая работа с материалом даёт тот самый вау-эффект, который иногда сам собой возникал в универе: «написал тест, просто потому что ходил на лекции и что-то записывал».

На чём это основывается?

Часть логики я заимствовал из техник продвинутого чтения (упоминал тут), заместив чтение прослушиванием. Частично взял результаты исследований о заметках. Опираюсь на идею того, что из ошибок мы учимся лучше всего. Ну и полирую это своим опытом и поиском того, что работает лично у меня.

Я знаю, было бы хорошо кинуть ссылки и пруфы на ✨backed by science™*✨
Но если я пойду это пруфать, пост вы не увидите ещё пару месяцев, а нанести пользу хочется уже сейчас.*

#самообучение #заметки #совет

~~Git~~ LLMs pull, LLMs merge, LLMs push.

В последнее время хайпу взял Mixtral с его реализацией MoE подхода (писал про него туть). Но увеличение capacity модели и улучшение ее свойств можно достичь не только засчëт экспертов. Новое веяние это merging моделей.

В чем состоит идея ~~git~~ merge'а моделек?

Во-первых, это не ансамблинг моделей, те мы не используем процедур голосования, стэкинга, boosting или bagging.

Во-вторых мы НЕ склеиваем их по принципу схожему с MoE.

Слияние происходит на уровне слоев, таким образом, чтобы учесть соноправленность весов в слоях (коленниарность), а также знаковую совместимость значений активаций. При этом можно подобно методу "лотерейного билета" убирать слабо совместимые слои или слои, которые не являются значимыми. Также, есть подходы демасштабирования и масштабирования моделей. К примеру, мы имели 7b и 9b и можем расширить итоговое значение размера после слияния, как в пользу последней, так и первой или вообще получить еще большую мега модель аля Голиаф 120b. Самое интересное, что какие-то методы позволяют только парно склеить модели, а какие-то больше двух одновременно. Подробнее о методах слияния можно почитать по ссылке на hf в начале.

Почему это работает и даже удается достичь прогресса в метриках? Ответ лежит в той же плоскости методов оптимизации 0го порядка, а также ema, swa подходов улучшения обучения. Мы используем "субоптимальные" (как мы считаем) веса моделей кандидатов для слияния, далее выбираем наиболее подходящие слои и механики для этого. Следовательно мы умно "суммируем" такие веса, влияя на итоговое пространство таким образом, что веса двигаются ближе к оптимальному набору. В этом и состоит суть подходов ema/swa и метода треугольников/медиан и пр. в оптимизации. А тк. мы склеиваем слои и их веса , которые соноправлены, то мы не ломаем модель, смыслы в ее весах заложенные и тп.

Для собственных экспериментов можно использовать mergekit и colab. Так что мерджим!

Мой неподдельный интерес к мёрджу моделей оказался небезосновательным — тема, что называется, пошла в народ. Ждём интересностей в этой сфере и балуемся сами!