Подкаст «Под капотом». Агенты и инструменты

Мы приглашаем в подкаст экспертов, чтобы понять, как работают сложные системы изнутри. В этом выпуске мы поговорили с Ильей Димовым, Senior NLP-инженером, о том, как сделать идеальную LLM под свои нужды и как они устроены внутри.

В этом выпуске мы узнаем:
- почему не так просто сделать из LLM друга, который будет более «живым», чем ChatGPT
- как научить LLM видеть и слышать
- кто такие агенты и в чём их главная проблема
- зачем LLM нужны инструменты
- и какие проблемы возникнут, если неправильно выбрать модель под задачу

Смотрите выпуск по ссылке! https://youtu.be/4uP7hbCbUjA

«LLM LLM LLM» Все про них говорят, но мало кто умеет их готовить. Если вы хотите научиться использовать LLM правильно, переняв знания из первых уст от инженеров с опытом тюнинга, элаймента, ускорения, деплоя, создания RAG, агентов, тулов и вообще проектов…

Как сделать предсказание моделью?
Жмёшь model.predict(sample) и радуешься жизни :)

Но это если самому локально поиграться. А если хочется предсказать не «для себя», а встроить модель в приложение и сделать её частью бизнес-логики? Пусть для простоты наше приложение — API.
Первый вариант, который приходит в голову, — написать что-то такое:

@router.post('/predict/') async def predict(user\_request): \# some business logic before predict (p1) predict = model.predict(sample) \# some business logic after predict (p2) return result

Но будет плохо, если придёт много пользователей одновременно. Мы начнём предсказывать для одного, а все остальные встанут в очередь, которая будет расти. Причём если в (p1) делается io-операция «авторизоваться» или «скачать картинку», то она не будет выполняться для нового пользователя, пока мы не предскажем для старого (если это однопоточный event-loop). Хотя могли бы и не ждать :) Поэтому плохо мешать асинхронную логику для «типичных» io-операций и тяжёлое предсказание моделью.

А ещё наша модель сейчас может предсказывать семплы по одному, но ведь батчами было бы эффективнее! Их можно копить, например, через очередь. Мы кладём в неё семплы, и если накопился батч нужного размера / подождали батч дольше определённого времени — вызываем модель.

Сказать про эту концепцию — легко, а вот написать это всё эффективно — задача со звёздочкой 😉 Хорошо, что существуют инференс-сервера (например, Nvidia Triton или TorchServe), в которых толпа умных инженеров всё сделала за нас:)
Мы можем поднять такой инференс-сервер с моделью и обращаться к ней по HTTP/gRPC примерно таким образом:

@router.post('/predict/') async def predict(user\_request): \# some business logic before predict (p1) predict = await inference\_server\_client.predict(sample) \# some business logic after predict (p2) return result

Сейчас в нашем приложении операция предсказания стала типичной «лёгкой» io-операцией, которая ещё и не блокирует основной поток! Теперь пока первый пользователь ждёт предикт, второй может его не ждать и авторизоваться 😏 Плюс у нас появился батчинг! И возможность независимо масштабировать само приложение и сервинг.

Итак, мы рассмотрели одну проблему и вариант её решения, если вы хотите сделать продукт с DL-составляющей. Но на деле их тысяча и одна :)

Чтобы показать, как их решать, мы создали курс Деплой DL-сервисов, на котором вы научитесь быстро и поддерживаемо учить модели, создавать веб-сервисы и мониторить ваши решения.

Уже завтра, 9 ноября, в 12:00 МСК пройдёт вводная лекция. Вы ещё успеваете присоединиться! Переходите по ссылке и записывайтесь на курс🎓

LLM в реальных задачах Сейчас часто встречаются вакансии с упоминанием LLM: — Проекты на ранних стадиях ищут инженеров, которые понимают, как работают LLM, могут собрать RAG «на коленке», интегрировать это в систему и проверить работоспособность. — Более…

Что CV Rocket даёт инженерам

Хотим поделиться результатами некоторых выпускников CV Rocket.

?‍♀️Анна: вылезла из ноутбуков и нашла работу
?‍♂️Булат: улучшил метрики в текущих задачах
?Матвей: перетащил к себе инструменты, уже устроился на новую позицию в другой компании

Подробнее отзывы ребят можно прочитать на сайте, они поделились, какие были сомнения перед обучением, что было самым сложным на курсе и что понравилось больше всего.

Ещё 100+ инженерам мы помогли поднять уверенность в себе, систематизировать работу, поменять компанию и углубить знания в CV и продуктовой разработке.

В июле стартует уже 8 поток CV Rocket.
На этой неделе у вас есть возможность присоединиться с самой большой скидкой.

Переходите на сайт и записывайтесь на консультацию. На ней мы поговорим про ваш путь и цели в карьере, чтобы определить, подходит ли вам программа. Если решите присоединиться к обучению, то мы дадим возможность сделать это на самых выгодных условиях.

Запишитесь на консультацию до 16 июня и получите скидку 17%.

А для всех остальных мы скоро проведём открытую лекцию, на которой вы сможете взять для себя несколько инструментов, которые уже сейчас позволят автоматизировать работу и освободить своё время. Ждите анонс!

Edge Inference. ЛекцияМы завершили первый поток «Ускорения нейросетей»! ? Уже завтра пройдёт выпускной, на которым мы подведём итоги обучения и ребята получат сертификаты об успешном прохождении курса.

Хотим поделиться с вами одной из лекцией курса: Edge Inference. Её провёл Антон Мальцев, автор блога «Заметки Computer Vision Инженера».

На лекции вы:
- узнаете, что в «ландшафте» производителей одноплатников
- посмотрите на общую схему запуска микрокомпьютеров
- разберёте проблемные слои, которые не заработают на вашем микрокомпьютере

Смотрите лекцию по ссылке в следующем посте?

Мы планируем новый поток курса «Ускорение нейросетей» этим летом, а уже сейчас вы можете записаться в лист ожидания. Так вы забронируете место на курсе, получите самую большую скидку, и мы заранее сообщим о старте обучения.