А вот и подробности по статье с ACM RecSys 2024🔥

Revisiting BPR: A Replicability Study of a Common Recommender System Baseline

Одна из самых популярных RecSys моделей – Bayesian Personalized Ranking (BPR) насчитывает как минимум 9 реализаций в open source, каждая из которых работает по-разному 👹

В нашей работе мы сравнили все из них, а также предложили свою реализацию, которая работает лучше всего, так что если вы захотите взять BPR, чтобы решать им свои задачи, то можно больше не беспокоиться о том, какую именно версию использовать.

– GitHub
– arxiv

На некоторых ивентах мы уже рассказывали о нашей библиотеке turbo-alignment с инструментами для полного цикла работы над LLM.

С тех пор в ней появилось много нового, так что, готовы рассказать об этом и здесь! Если вы разрабатываете продукты на базе LLM или экспериментируете с их обучением, то это точно для вас 🦍

🌸 Уже реализовали и проверили в боевых условиях необходимые методы для обучения языковых моделей под продуктовые задачи.

🌸 Добавили в репозиторий инструменты для анализа методов алаймента — это супер упрощает не только продуктовую разработку, но и научные исследования в LLM.

🌸 Обучить и протестировать языковую модель можно, запустив несколько команд в консоли. Библиотекой можно пользоваться даже если у вас нет глубокой экспертизы в LLM.

🌸 Никаких single-file implementation и jupyter ноутбуков. Все эксперименты полностью конфигурируются и воспроизводятся, поэтому проверять много гипотез просто. Особенно если у вас много GPU.

🌸 Уже есть реализация пайплайнов SFT, RM, RAG, разных оффлайн методов алаймента (DPO, KTO, ASFT, ORPO, SlicHF, RSO и др). С помощью turbo-alignment можно обучать и тестировать мультимодальные архитектуры, которые понимают картинки и аудио (например LLaVA и HoneyBee). Скоро добавим поддержку онлайн методов алаймента. Подробнее об этом можете почитать в README репозитория.

Уверены, что turbo-alignment и модель T-lite, о которой мы писали недавно, помогут всем построить светлое будущее с самыми крутыми LLM.

А пока — будем благодарны вашим issue, чтобы сделать библиотеку еще круче 👽

В свежем исследовании от ИТМО мы вошли в топ-3 компаний, вкладывающихся в Open Source в AI! В честь этого хочется еще раз упомянуть некоторые из наших разработок:

🏂T-Lite – наша LLM (а также Instruct версия)
⚡️ETNA – мульти-тул для Time-Series
🐊Research – множество репозиториев, которыми мы подкрепляем наши научные исследования
🐖Turbo Alignment – библиотека LLM alignment с реализацией широкого спектра методов

Если вы вдруг что-то из этого пропустили, то самое время накинуть звездочек и попробовать заиспользовать у себя.

Исследование опубликовано здесь.