Ускорить обучение LLM 70B на 25%? Легко! YaFSDP

Сегодня мы выĸладываем в опенсорс наш новый инструмент — библиотеку YaFSDP. Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом.

Библиотека даёт ускорение до 25% — результат зависит от архитектуры и параметров нейросети. С помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения.

Несколько подходов нашего метода:

— выделить два буфера под все собираемые веса, чтобы не отдавать их на отĸуп аллоĸатору памяти torch. Каждый нечётный слой будет использовать первый буфер, ĸаждый чётный — второй. Это уменьшит нагрузку на память и сделает её использование более предсказуемым;
— не делать чеĸпоинт аĸтиваций для ĸаĸ можно большего числа слоёв. Это позволит убрать избыточные вычисления за счёт сэкономленной памяти;
— выделить два стрима: вычислений и ĸоммуниĸаций, а синхронизацию построить таким образом, чтобы forward не начинался до завершения all_gather того же слоя, а all_gather не начинался до освобождения соответствующего буффера на предыдущем слое;
— разово собирать RMSNorm/LayerNorm в начале итерации и тольĸо в ĸонце усреднить градиенты;
— вынести predivide в самый ĸонец backward, таĸ ĸаĸ при reduce_scatter в bf16 или fp32 рисĸа переполнения нет.

Более подробно про проблемы обучения на множестве GPU можно почитать на Хабре. Приходите в репозиторий библиотеки YaFSDP, ставьте лайк и приносите вопросы в Issues. А ещё — делитесь своими впечатлениями здесь в комментариях.

Душный NLP

стараюсь не сболтнуть что-то лишнее

? Друзья, встречайте новый телеграм-канал от нашей NLP команды — @stuffyNLP

Подпишитесь обязательно, но а тут я поделюсь с вами историей создания.

В Яндексе есть давняя традиция внутренних семинаров. Например на NLP-семинаре каждую неделю разбирают интересные статьи по, неожиданно, NLP. Мы решили, что эти знания не должны оставаться внутри компании. Поэтому убрали NDA из этих обзоров и теперь делимся ими в коротких постах.

Почему "Душный NLP"? Ребята не просто пересказывают статьи, а анализируют их с позиции своего опыта, хвалят и ругают.

Обещаем, душноты будет больше. Подписывайтесь и советуйте друзьям @stuffyNLP

Новый AI Index Report 2024 опубликован!

Сайт: https://aiindex.stanford.edu/report/
PDF: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024.pdf

#article
За такие статьи все еще можно читать хабр
Оч советую лайкнуть, почитать или добавить в закладки

Введение в современную квантизацию
https://habr.com/ru/companies/yandex/articles/800945/

#events
Сегодня мы соберемся на митап
Подключайтесь онлайн

Трансляция начнётся в 18:30 вот здесь

- Автогенерация рекламных баннеров на Яндекс Маркете
- Нейросетевое ранжирование для рекомендательных систем
- Направленное шумоподавление в Алисе и как используются несколько микрофонов
- Подмешивания дополнительных элементов в поиске в борьбе за счастье пользователя

подробнее про программу тут
Но можно сразу залетать на трансляцию

see you)

YouTube

ML Party Москва — 14 марта 2024

Добро пожаловать на вечерний митап для ML-инженеров от Яндекса. Встречаемся сообществом экспертов в области машинного обучения, чтобы обсудить тренды, новые подходы, решения и вызовы индустрии. Программа 0:00 Начало 7:13 Александр Воронцов, Руководитель…

Делаем первый МЛ митап в Белграде

Буду рад вашему фидбеку, просмотрам и лайкам трансляции.

? 19:00 — Алексей Березникер, руководитель команды генерации рекламы в Яндексе: расскажет про нейросетевую генерацию ecom-объявлений
? 19:40 — Федор Лебедь, разработчик отдела NLP группы YandexGPT Alignment из Яндекс Поиска: расскажет про генеративные модели и методы обучения с подкреплением
? 20:40 — Максим Мачула, руководитель службы качества контента в Поиске по Товарам: расскажет, как мы группируем предложения магазинов в карточки товаров и при чём тут HNSW и CatBoost

онлайн тут

YouTube

ML Party Белград — 25 октября 2023

Добро пожаловать на вечерний митап для ML-инженеров от Яндекса. В этот раз поговорим про прикладной проект на стыке технологий машинного обучения и ecom-продукта, обсудим этапы задачи матчинга предложений на товары и потери на разных стадиях, а также рассмотрим…

Вот вам вечернее залипалово:

Роботы, оптимизация, лабиринты, соревнования
The Fastest Maze-Solving Competition
(ru-перевод) Микромышиные бега — самая быстрая гонка по лабиринту

YouTube

The Fastest Maze-Solving Competition On Earth

Welcome to Micromouse, the fastest maze-solving competition on Earth. Join Onshape’s community of over 3 million CAD users by creating a free account here: https://Onshape.pro/Veritasium. Special thanks to our Patreon supporters! Join this community to help…