Бог создал людей разными, Линкольн дал им свободу, полковник Альтман сделал их равными

топ 4 совета для начинающих в ML, которые помогут быстро освоить необходимый базис знаний:

1) (мир) суть есть страдание
2) причина страдания желание
3) есть способ избавиться от страдания
4) избавление от страдания лежит в избавлении от желания

Совершили с друзьями путешествие в ещё один город России. Более всего поразила природная составляющая. Нижний был основан в месте впадения Оки в Волгу, от этого и название "Нижний", тк находится "внизу" по течению. Берег со стороны города очень "крут", перепад высот между портовой и жилой частью достигает более 100 метров. Отсюда и статус "города закатов", ведь с высоты открывается потрясающий вид на заходящее за Волгу солнце. Но как по мне, закат над морем всё же красивее. Из-за такого перепада прибрежная часть города соединена со спальной огромным количеством лестниц с неимоверным количеством ступенек в каждой. Так в НН находится самая большая лестница России, которая насчитывает 560 ступенек.

Другая, туристическая, составляющая НН мне понравилась меньше, но тоже понравилась. Город большой, но места интереса расположены близко друг к другу. Цены немного ниже московских, жильё доступное, виды красивые. Жить можно, но жить в НН я бы не хотел. Даже в центре присутствует огромный контраст от района к району, новостройки через дорогу от утопающих в грунте гнилых деревянных домов. Туристический город можно спокойно обойти за 4 дня.

Резюмируя, Нижний мне понравился, хотя в компании друзей мало какой город может не понравиться, спасибо вам, друзьяшки, за отличную поездку. Дальше хочу наконец доехать до Казани. И, конечно, Китай, надеюсь именно он станет моей следующей точкой исследования мира.

Приняли с командой участие в хакатоне ЛЦТ 2024, на сей раз даже не прошли в финал (топ 10), но продукт получился интересным и проработанным, поэтому хочу им поделиться с вами.

Задача была в реализации сервиса индексации и поиска видео по текстовому запросу. Кейсодержатель - компания Yappy. Также нас попросили хостить решение, чтобы судья могли обращаться к нему через openapi.

Индексация видео строилась на текстовых эмбеддингах, описывающих его. Для их обогащения мы использовали мультимодальные данные: распознанную речь (ASR), визуально распознаваний текст (OCR) и описание видео (captioning). Затем текстовые представления суммаризировались в одно ёмкое с помощью LLM.

Нам удалось чётко разграничить роли:
Даня - поднял бэкенд, организовал хостинг и сделал всю логику для индексации видео, сердце нашего проекта.
Игорь - сделал микро-сервис captioning с использованием модели LLaVA.
Артём - сделал микро-сервис OCR.
Егор (я) - сделал микро-сервис ASR.
Тимур - LLM энжоер, поднял Llama 3 для суммаризации текстовых представлений из предыдущих микро-сервисов.

Наше решение обрабатывает и индексирует видео за ~30sec. При это на gpu выполняется только captioning. И возвращает ответ по текстовому поиску менее чем за 500ms. Получилось хорошее и комплексное решение, ознакомиться и использовать его можно по ссылке.

Мне понравился этот хакатон и решение на нём мне нравится больше чем на предыдущих хаках, хоть и не получилось победить. Реализовали сложную логику взаимодействия сервисов и, пожалуй впервые, сделали продовое решение.

Фидбек судей, по которому они не пустили нас в финал, можно посмотреть в комментариях.

так вот, своего рода рефлексии пост. вчера выступил с докладом на датафесте, это мой второй по счёту опыт публичного выступления. рассказывал о том над чем работал последние полтора месяца, а именно про улучшение точности модели распознавания речи на названиях кофе. по крайней мере примерно так звучала главная тема доклада. выступление можно посмотреть тут.

готовил презентацию и спитч я сильно заранее, недели за две до события, формат был 20 минут на доклад и 5 на вопросы. попытался охватить как верхнеуровневые варианты решения проблемы, так и углубиться в технические детали того над чем конкретно я работал. в итоге не вышло ни первого, ни второго. или по крайней мере не вышло в той степени, в которой хотел я. 30% времени заложил на рассказ про продукт, введение в проблему и верхнеуровневые решения, 60% на техническую часть, метрики и датасеты. ну и 10% на всякий случай.

перед выступлением я очень волновался, что немного испугало меня, потому что к такого рода волнению я не привык. при моём анонсе ведущий ошибся в моём имени, прочитал как Григорий. впрочем это сыграло мне на руку, я отшутился и бодро начал доклад. но всё пошло не по плану буквально с первого слайда, я забыл весь текст что готовил и пришлось на ходу импровизировать. к середине доклада у меня пересохло во рту, что сильно добавило волнения. в итоге я многого не рассказал из запланированного, вышел из таймингов, заспидранив доклад за 14 минут из 20 положенных.

мне не очень понравилось моё выступление, но я подчеркнул для себя моменты, на которые впредь обращу больше внимания. не буду подгонять доклад под тайминги, а буду строить доклад относительно таймингов, буду больше времени уделять тренировочным прогонам, а также обязательно буду пить воду перед выступлением.

несмотря на моё недовольство выступлением, зрители отозвались крайне положительно, сказали что волнения заметно не было, что доклад смотрелся живо и интересно. это меня изрядно удивило и порадовало.

засим прощаюсь