Меня всегда очень радует, если технологии служат какой-то очень конкретной, доброй и общественно полезной цели.

Будучи студентом, я увлекался биоинформатикой (и даже в итоге диплом писал по этой теме) не в последнюю очередь из-за этого. Меня мотивировала наука, которая не просто изучает устройство мира, но ещё и находится на самом переднем краю борьбы с худшими болезнями.

Поэтому мне особенно приятно рассказать, что наши коллеги из команды RnD CV занимаются одной из таких общественно важных тем – применяют технологии машинного обучения для распознавания русского жестового языка. Ребята в этой области уже достаточно давно и сделали в неё немалый вклад. А в своей свежей статье на Хабре поведали о Bukva – первом полноценном видеонаборе данных для распознавания дактильной азбуки 🔥
В процессе его создания ребята использовали MiVOLOv2!

Лауреатами Нобелевской премии по физике за 2024 год стали Джон Хопфилд и Джеффри Хинтон! 🔥

У нас отличные новости! 🔥*🔥*🔥**

Сегодня была опубликована наша исследовательская работа: "Saliency-Guided DETR for Moment Retrieval and Highlight Detection". В ней мы предлагаем новый способ поиска ключевых моментов в видео релевантных текстовым запросам пользователей. Это было захватывающее приключение, полное вызовов и открытий, и теперь мы рады поделиться результатами с вами! 🥱🌿

Основные моменты нашей работы:
1. Saliency Guided Cross-Attention модульВ рамках исследования мы разработали уникальный модуль, который эффективно объединяет признаки видеоклипов и пользовательских запросов, обеспечивая невероятное качество сопоставления ⏹

2. Гибридный детекторДля эффективного решения задачи поиска моментов мы объединили гибкость современных фундаментальных видео энкодеров и точность гибридных DETR-like детекторов 🧑‍🎓

3. Фреймворк для генерации претрейн датасета
Во время нашего исследования мы столкнулись с важной проблемой: существенный дефицит данных для обучения модели. Поэтому мы разработали собственный метод автоматической разметки, и модель, обученная на полученных данных, показала результаты близкие к SOTA в zero-shot режиме, что стало для нас особым поводом для гордости 😎

Наша модель SG-DETR демонстрирует SOTA метрики на всех ключевых бенчмарках: Charades-STA, TACoS, TVSUM и YouTube Highlights. Особо впечатляющим стал результат на главном бенчмарке QVHighlights, где модель опередила предыдущее решение с невероятным гэпом в 7.44 п.п. 🌿🌿🌿

Препринт версия работы доступна на arXiv и PwC. И уже совсем скоро опубликуем в открытый доступ код, веса модели и наш датасет. Будем рады вашим отзывам и комментариям! 📚

Появились записи всех выступлений!

Посмотреть бесплатно и без смс