Давно не писал о проекте Audio2MIDI, а ведь есть чем поделиться. Самое яркое событие — наша команда получила грант! Большой респект моей команде, которую я обрел после выступления на Data Fest о моей задаче и будущих направлениях ресерча.

Чего мы хотим? Мы хотим сделать более качественные ответы модели и чтобы это работало быстрее, чем у конкурентов) База. Чтобы сделать более качественные ответы, первым делом нужно посмотреть на данные.

Уверены, что нужно собрать свой датасет формата: аудио — ноты. Сложная задача, потому что таких пар, так еще и качественных не сильно много, но и не мало, главное найти из самых разных мест интернета. Мы справимся с этим) Есть разные пути... Собрать готовые миди, найти исходное аудио (сложно), но также бывает, что миди нет, но ноты в некотором виде есть. Будем пробовать выцепить ноты из видео/аудио (еще сложнее), где звучит адаптированная музыка на фортепиано. Успехов нам)

В плане модели с моей стороны будет развиваться решение задачи, как end2end. Для этого нужно токенизировать таргет (ноты) и я предлагал инструмент midi токенизации. Однако он мне не подходит, т.к. хочу генерировать ноты разной сложности (чтобы можно было из 1 последовательности нот получить ноты разной сложности). Для этого мне нужно обновить словарь токенов и заново обучать midi токенизаторы на основе LLM.

Также для ускорения и оптимизации модели попробую заменить аудио репрезентации JukeBox, на всякие EnCodec/Hifi-RVQGAN и некоторые другие. Также вместо простого разряженного трансформера попробую использовать LM, например Canine-C (почему, скажу потом) и другие. Также, наверняка будет проблема с длиной контекста, буду собирать аудио частями или оптимизирую длину контекста через multy-sacle transformer... Плюс токенизировать аудио можно по разным модальностям: разделить инструменты и вокал, затем объединить 2 последовательности. Ну например сделать это также как в CLAP: поэлементно перемножить 2 последовательности одинаковой длины.

У меня много идей, которые нужно проверить и много идей, которые я даже не до конца сформировал, чтобы ими поделиться. Нужно углубляться в методы авторегрессионной генерации, кстати для аудио есть отличная статья в этом плане. Если полностью изучите ее, то считайте, что познали аудио домен (исключая диффузионки в аудио). И наконец, я начинаю изучать диффузионки (очень интересно, да).

#startup #music_transcription #audio

Привет!

Выходим на финишную прямую опубликованных треков Data Fest 2024 ?

Сегодня публикуем предпоследние 2 трека секций Феста:
? ML in Marketing — про ML для задач маркетинга
? RANDOM DS/ML — кузница будущих секций Data Fest — интересные темы внутри DS/ML, которые пока еще не успели разрастись до целой секции ?

Напоминаем, что Ваши реакты на блоках и треках очень важны спикерам и организаторам ?

Переходите по ссылкам выше, смотрите доклады, скачивайте презентации и голосуйте своими эмодзи (ставьте палец вверх ?и другие эмодзи) на страницах блоков и треков за понравившиеся видео ❤️ Выберем лучшие доклады и треки вместе!❤️

И осталось открыть всего 2 секции — временные ряды и рекомендашки, coming soon ?

Еду сейчас в поезде и думаю... Однажды правнуки моего поколения изобретут наушник с полным шумоподавлением, который пропускает только установленные пользователем звуки. Хотя я сейчас был бы рад и просто полной звукоизоляции, не выспался ?

Уже пора готовить нейронку для обнаружения звуковых событий и удаления тех, что мешают. Похожая идея уже реализована в софте Adobe для редакции звуковой дорожки. Удаляет любой патерн звука.

Выделяете пример аудио, просите найти все похожие и удаляете. Тем самым не остается всяких эээ, ммм и прочих слов паразитов. Я даже презентацию вспомнил и нашел: https://youtu.be/v9CDct30Nlg?si=KAKuFh46gLF9uQ11

Идея классная, преза с 2020, интересно, а это получило какие то улучшения и где их посмотреть.

Сделать SED на аудио с множеством перекрывающихся звуковых источников будет несколько сложнее)

#audio #sound_event_detection #thoughts

YouTube

Few-Shot Sound Event Detection - Presentation in ICASSP 2020

Few-Shot Sound Event Detection Y. Wang, J. Salamon, N.J. Bryan and J.P. Bello In IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Barcelona, Spain, May 2020. Full paper: [IEEE] https://ieeexplore.ieee.org/document/9054708…

Подогрею аудиторию. На ютубе за летнее время планируется:
— ML подкаст с моим участием в одной из лучших студий Москвы (видос)
— стрим с двумя гостями, они тоже школота и тоже занимаются своими проектами в аудио домене
— стрим на тему основных ML идей в аудио домене
— стрим о теории музыки и моем проекте по генерации нот

Такие дела) Подписывайтесь туда тоже.

⭐ YouTube канал

? Мышление, которое позволяет решить всё (да не все, конечно).

Может быть таких постов уже тысячи, но думаю об этом мало пишут. Моя аудитория, наверное, отлично понимает о чем пойдет речь. Но этот пост можно переслать нуждающимся.

Главная мысль — хорош тот специалист, который разберётся в любой задаче, сможет ее решить и объяснить другим максимально объективно. Для этого нужно особое мышление, оно нарабатывается у всех кто развивается в хорошей команде, ставит себе сложные цели, слушает большое количество компетентных людей.

Говоря в контексте математики, программирования и ML, главное убедить себя в 1 мысли: каждая идея должна иметь контекст и он чаще всего есть. Вам нужно найти его, тогда разберётесь в теме.

Часто вам придется работать с чужими технологиями (идеями), в первую очередь вам нужно восстановить контекст. Почему это так, почему другое так, почему не так. Желательно изучать технологии самостоятельно, быстро и эффективно)

На примере машинного обучения, скажем есть мало смыслящий новичок. Он хочет делать нейронки для обработки аудио. На его месте я бы узнал о действующих подходах в этом направлении, прямо загуглил xor спросил у компетентных людей, посмотрел 20-100 источников, выписал бы основные моменты и пошел гуглить их. Там выделал бы еще непонятные идеи, узнал бы о них. Я бы спустился настолько глубоко, что при необходимости дошел бы до сложения чисел 2+2 и до переменных в программировании.

После этого я был бы в числе лучших специалистов по изученной теме. Потому, что прошёлся по всему контексту, изучил сотни источников, знаю что пишут другие и поэтому объективно оцениваю свои знания.

Получать знания можно и нужно разными путями: статьи в интернете, видео на ютубе, книги, общение с компетентными людьми в открытых сообществах, которых тысячи в телеграме, посещение конференций/митапов. Плюс если в дальнейшем вы заметите, что можете объяснить материал лучше или подготовить свою тему, вы будете разбираться еще лучше, ведь вам будут задавать вопросы) Вам нужно быть хакерами. Хакер это тот, кто знает технологию максимально глубоко, все ее плюсы и минусы, как она была создана.

На счёт эффективности обучения в начале — проходить курсы сплошным просмотром и ботаньем тем хорошо, но я могу лучше. В принципе любые материалы нужно уметь выбирать, знать насколько стоит погружаться в них и дополнять знания другими источниками, обсуждать с другими изученные темы (не все). Короче курсы шмурсы часто недостаточно объетивны, не учат самостоятельно решать любые задачи и осваивать новые направления, не учат объяснять свои знания и много чему еще не учат. Но курсы полезны!) Однако опираться только на них не советую.

Именно об этом всем, но значительно подробнее будет видео на моем...

⭐ YouTube канале

Все будет бесплатно, сейчас я вообще не планирую когда либо брать деньги за помощь начинающим.

#career #thoughts