Разберем еще несколько инфоповодов в рамках рубрики #дайджест_wbs 👇

➡️ OpenAI выпустили модель o1-ProТеперь возможно написание более качественного кода, создание искусственных данных, которые в построении собственных моделей смогут улучшить их производительность в целом.

➡️ Google представили новые языковые модели PaliGemma 2
Модели мультиязычны и были обучены в том числе на большом корпусе русского языка. Сильные VLM-модели для своего скейла и, возможно, одни из самых сильных для многих языков кроме английского.

Был дообучен визуальный энкодер ViT-SO400M (который стал де-факто стандартом во многих задачах CV) с несколькими языковыми декодерами и на разных разрешениях изображений. До этого публично доступными были только веса энкодеров до 336x336 пикселей, теперь же есть размеры 448x448, 896x896.

В отличие от предыдущих моделей, выходом является не единственный агрегированный вектор, а вектора всех визуальных токенов, так что для внедрения подобной модели в продакшен CV необходимо дообучать агрегацию.

➡️ OLMo 2 — новое поколение полностью открытых языковых моделей
7 и 13 миллиарда параметров, обученные на объемах данных до 5 триллионов токенов. Эти модели демонстрируют производительность, сопоставимую или превосходящую аналоги с открытым исходным кодом, такие как Llama 3.1, на академических тестах на английском языке.

Вместе с поколением моделей сам репозиторий предоставляет возможность реализовать двухступенчатое обучение моделей, где на первом этапе используется огромный объем веб-данных, а на втором — целенаправленные высококачественные данные для улучшения точности.

➡️ NVIDIA анонсировала GenAI-модель Fugatto для генерации звука
Это новая модель для синтеза и трансформации звуков, которая использует уникальную технику ComposableART. Она позволяет не только генерировать привычные звуки, но и создавать совершенно новые, например, «саксофон, который лает».

➿➿➿➿➿

Комментарии подготовили ML- и DS-специалисты Wildberries 💘

Подписывайтесь, чтобы быть в курсе новостей:*🌟@wb_space📹*@wb_tech

Еще делимся с вами презентациями докладов на ML Meetup Wildberries ⬇️