Как делать AI-сервис, и почему это дорого

Разработка AI-продуктов отличается от других, ведь их серце — AI-модель, чёрный ящик. Он получает запрос и отдаёт ответ, но никто заранее не знает, каким именно ответ будет. В этом в общем-то и суть.

Чтобы так получалось, нейросети учат — показывают много примеров решения нужной задачи. Для генерации картинок по тексту показывают тучу пар "текстовый запрос + соответствующая ему картинка", для распознания текста — "картинка + текст на ней", ну и т.д.

В паре слов, это выглядит так:

1. Описываем, что именно мы хотим сделать, в виде примеров "запрос + ответ"

2. Выбираем подходящую модель, находим данные для её обучения и тестирования

3. Учим модель, льём в неё запросы, перенаправляем пользователям ответы. Профит!

Каждый этап, естественно, с нюансами. Вот, например, делаем сервис для удаления вокала из песен: на входе песня, а на выходе — та же песня, но без певца.

Сложность 0: как определить, что именно захотят делать пользователи? Важно определить срезы: вокал из треков какого стиля захотят убирать пользователи — тяжёлый метал, рэпчик или оперу? Покрыть все срезы — очень дорого.

Сложность 1: где брать данные в нужном виде для обучения? Где найти тысячи (или десятки тысяч) песен с вокалом и без него?

Допустим, сфокусировались на кантри и попсе, данные купили у студии, натренировали на них модельку. Кидаем в неё песню — на выходе песня, и вроде без вокала. А иногда с кусочками бэков, но зато без духовых. Бывает призвук неприятный, но вроде незначительный. Как однозначно понять, хорошо ли модель отвечает?

Сложность 2: метрики качества и разметки. Определяем метрику качества — что именно мы считаем хорошим ответом, какие есть грани плохого? Пишем инструкцию для определения и настраиваем процесс, чтобы размечать, какой ответ модели — шляпа.

Теперь каждый ответ модели кто-то должен отслушать и по инструкции принять решение — норм ли результат. А если не норм, то что не так? Плохие ответы кластеризуются в срезы, и модель дообучают на данных именно в этом срезе.

Для разметок часто используют крауд — где очень много людей заняты очень простой работой за очень мало денег. Качество их работы обычно не ахти, и нужно дополнительно присесть и заплатить, чтобы его повысить.

Ну вот мы дообучили модель, вроде заработало. Сервис готов? Нуу, почти.

Сложность 3: прод расходится с ожиданиями. Мы варили модель на кантри и попсе, потому что они популярны. Но на проде нам льют хард-рок 70-х, боливуд и какие-то куски рилсов. Всё работает отвратительно, в отзывах пишут про обман и мошенничество.

Тем не менее, единственный шанс разорвать курино-яичную зависимость качества сервиса и количества пользователей — заставить людей нами пользоваться, даже если это напоминает поедание кактуса.

И перед большим лончем лучше запустить бету и умолять, шантажировать или даже платить пользователям. Ну а где оплата, там и попытки кинуть, что тоже точит и без того хлипкий бюджет.

Итого, больше денег нужно буквально на каждом шаге:

1. Описание продукта. Проще раскошелиться на исследования рынка, чтобы точнее описать требования и снизить риски разработки ненужного

2. Обучение модели. Чем точнее опишем продукт, тем эффективнее закупим данные

3. Разметки и дообучение. Тратимся на разметку качества потока и докупаем данные для доообучения слабых доменов. Тут как повезёт, но можно попробовать размечать данные не людьми, а готовыми моделям с рынка

4. Запуск. Не забываем зарядить PR, маркетинг и саппорт, чтобы отвечать людям "сорян, это всего лишь бета, скоро будет лучше, вот вам промо-код"

5. Улучшения. В панике улучшаемся — кластеризуем запросы, чекаем качество по срезам, закупаем данные, улучшаем-замеряем-улучшаем-замеряем, баним совсем уж какую-то дичь

Если не сильно ошиблись в шагах 1 и 2, и сильно не тупили на 5, есть шанс сделать классную штуку, пока пользователи не разбежались.

Да, данные — новая нефть. Но так же как сомнительную жижу из-под земли надо переработать, прежде чем лить в свой порш, так и терабайты данных надо размечать и обогощать, прежде чем лить в модели.

И это капец дорого :)