Алфавит РЖЯ! 🔠

Всем привет! Сегодня мы представляем Bukva — открытый датасет для задачи распознавания русского дактильного алфавита. Читайте нашу статью, в которой мы расскажем, как собирали датасет и обучали на нём легковесные модели, способные распознавать дактиль в режиме реального времени.

Особенности:
👾 3757 HD+ видео,
💯 в среднем по 100 видео на класс,
👩‍💼 155 экспертов РЖЯ,
💪 самый разнородный по субъектам,
👥 высокое качество разметки,
🌿 легковесный и быстрый бейзлайн.

📖 Статья 💻 Код 👉 Habr

🌿 Наши коллеги из Layer CV выбивают очередную SotA! *🌿***

На прошлой неделе ребята опубликовали работу: "Saliency-Guided DETR for Moment Retrieval and Highlight Detection". В ней авторы предлагают новый способ поиска ключевых моментов в видео релевантных текстовым запросам пользователей.

Модель SG-DETR демонстрирует SOTA-метрики на всех ключевых бенчмарках: Charades-STA, TACoS, TVSUM и YouTube Highlights. Особо впечатляющим стал результат на главном бенчмарке QVHighlights, где модель опередила предыдущее решение с невероятным гэпом в 7.44 п.п. 🌿

Препринт версия работы доступна на arXiv и PwC. И уже совсем скоро будет опубликован код, веса модели и наш датасет. Будем рады вашим отзывам и комментариям! 📚

А ещё Марина Бессмертная на RnD Day рассказала в своем докладе "Тихо! Сейчас будет та самая сцена" об автоматизированном пайплайне для анализа видеоконтента. 📹

*🤖 Фреймворк для агрегации разметки в CV*

Привет! У нас хорошие новости!
Мы выложили в открытый доступ AggMe — фреймворк, основанный на методах агрегации разметки с перекрытием. 1️⃣2️⃣3️⃣

Он позволяет усреднять разметку трех типов: bounding boxes, сегментационные маски и временные интервалы (для видео и аудио). А для наиболее эффективной работы поддерживаются 3 метода агрегации: Hard, Drop и Soft, которые по-разному влияют на финальный результат. Важно отметить, что агрегировать можно разметку из любых источников: будь то разметка человеком с крауда, сетками или полученная классическими алгоритмами.

Мы активно используем aggme в своей работе и даже интегрировали его в наши платформы разметки, а теперь решили поделиться им с вами.

Почитать об идее создания фреймворка и о проблемах, которые он решает, можно в нашем посте.
Ждем ваши контрибьюты и багрепорты! Хорошего дня!

🖥 GitHub

Ищем CV-инженера (Middle/Middle+) в нашу команду! ?****

Задачи:
Направление мультимодальности, в частности работа с Large Vision Models (LVMs):
– постановка гипотез и проведение экспериментов, поиск новых архитектур
– подготовка данных для SFT и претрейна, поддержка пайплайнов для данных и экспериментов
– расчет статистик, построение метрик и валидация на открытых и собственных бенчмарках
– доведение результатов до прототипов и продукта
– написание научных статей

Ожидания:
– хороший уровень Python 3 ?
– bash, git, Docker, dvc, OpenCV, pytorch
– отличное понимание ML и CV (компьютерного зрения) ?
– опыт работы с большими датасетами и мультимодальными архитектурами ?

Будет плюсом:
– знание классических алгоритмов Computer Vision ?
– опыт публикаций, выступления на конференциях и написания научных статей ?

От нас:
? атмосфера стартапа внутри большой компании
➕ отсутствие проблем с вычислительными мощностями
? конференции и обучение
? современный и удобный Agile-офис
? ДМС, сниженные ставки по кредитам, программы лояльности для сотрудников
⚙️ бесплатный фитнес-зал, парковка на территории офиса, снеки, чай, кофе
? конкурентная зарплата!

По всем вопросам @m_ovsepyan

#job #вакансия

*? Фреймворк для обработки и фильтрации мультимодальных данных*

Коллеги выложили в открытый доступ DPF (Data Processing Framework) — фреймворк для обработки больших датасетов. Наши ребята тоже принимали участие в его создании. С помощью DPF фильтровались данные для обучения таких моделей как Kandinsky и Kandinsky Video, а также сейчас он используется для разметки и фильтрации данных для обучения мультимодальных моделей.

Функционал DPF содержит фильтры для видео, изображений, различных комбинаций этих модальностей, а также удобный интерфейс к ним. Подробее читайте на хабре по ссылке ниже.

По всем вопросам можно обращаться к автору фреймворка — Игорю Павлову @bom_bo0m

? GitHub | ? Хабр