Как задеплоить RAG на AWS Lambda

Для реализации RAG в Growth helper мне хотелось сделать этот как можно проще. У нас базовое решение на prompt-ах работает на AWS Lambda, и поэтому RAG я в идеале также хотел разместить там, чтобы все не усложнять.

Я нашел векторную БД Deep lake, которую можно запустить локально, храня саму векторную БД как файлы. И в итоге сделал такое решение:

• Делаю сам датасет с векторами локально и заливаю на S3
• Делаю Lambda Layer Langchain + Deep lake - это зависимости для Lambda функции
• В самой Lambda функции скачиваю датасет локально с S3, создаю Deep lake БД и RAG на ее основе и генерирую ответ на вопрос

Польза стартапов в найме
Начал читать книгу про поведенческое интервью. Это тип интервью при устройстве на работу, на котором задают вопросы вида «расскажи про креативное решение проблемы, с которой ты столкнулся» или «расскажи как ввел новый или изменил текущий метод работы чтобы улучшить бизнес-процесс» и т.д. Смысл его в том, чтобы понять как кандидат действует в разных ситуациях, его опыт и умение справляться с задачами. Причем чем выше позиция (речь про разработку) тем важнее этот вид интервью, а хард скилы отходят на 2 план.

К этому типу интервью готовиться, выписывая свои ответы на ~ 50 популярных вопросов. Тоже самое в реальном интервью врятли спросят, но при этом имея этот «банк ответов» в голове, проще будет сконструировать нужный ответ.

Так вот, прочитав первые несколько вопросов, ответы для них я стал придумывать на основе моего опыта делания своих продуктов, а не работы просто разработчиком. И понял, что количество ситуаций, с которыми сталкиваешься в проекте, за который отвечаешь полностью гораздо больше, чем когда отвечаешь лишь за небольшую часть продукта.

Апдейты по проектам

В последние несколько месяцев я больше всего времени уделял Growth helper. Это наш сервис по квалификации лидов для сферы недвижимости.
Мы подключили несколько агенств недвижимости и сейчас на стадии подключения 2 крупных застройщиков.

И за это время я понял, что в B2B продажах меня бесит то, что все идет супер медленно ? Только согласование того, чтобы начать пилот может идти несколько месяцев. А также внутри компании могут быть сотрудники, которые будут саботировать внедрение. У нас так было, когда внедрение передали руководителю колл-центра, которая не хотела менять свои бизнес процессы или боялась что уволят ее сотрудников.

Еще вписался в буткемп @its_capitan по запуску Сhrome расширений. Идея в том, чтобы сделать супер простое в разработке расширение и продвинуть его в SEO. Расширение проще продвигать в поиске, чем сайт из-за того, что оно находиться на раскрученном домене. Сделал расширение, но оно пока не взлетело. Планирую еще сделать 4-5 для окончательного тестирования этой идеи.

А вот мой эксперимент по генерации десятков тысяч статей для сайта про путешествия провалился. Google в итоге выкинул мой сайт из поиска спустя несколько месяцев, и я решил этот сайт удалить.

Агенство разработки
Я запускаю агенство AI разработки. Кейсы и условия тут: https://hiai.agency/

Записал видео на youtube про использование AI в бизнесе на примере e-commerce магазина

https://www.youtube.com/watch?v=OP0VwVD3QFo

YouTube

Нейросети для e-commerce: GPT, Midjourney, RAG

Агенство AI разработки: https://hiai.agency/ ***🔥*** Соцсети https://t.me/ershov\_diary LinkedIn: https://www.linkedin.com/in/ershovio GitHub: https://github.com/ershovio Как можно использовать искусственный интеллект (нейросети) для интернет магазина ***⏰*** Таймкоды:…

Как измерить какая LLM лучше

При выходе новой LLMки создатели, как правило, выкладывают сравнение с конкурентами. И в этом посте я постараюсь объяснить основные метрики сравнения LLM чтобы вам было легче понимать, что все это значит.

Классические ML Метрики
Perplexity - в контексте LLM показывает насколько хорошо модель предсказывает следующий токен в последовательности по предыдущим. То есть показывает насколько модель может генерировать связный текст по входящему промпту. Чем меньше perplexity, тем лучше.

Accuracy - соотношение верных ответов ко всем ответам, если LLM используется для задачи классификации.
Например, если модель используется для того, чтобы достать номер телефона из текста, то можно посчитать количество раз, когда она это сделала правильно, и поделить на общее количество запросов.

F-score, precision, recall - эти метрики также применяются для оценки качества классификации и имеют преимущество перед accuracy. Они позволяют регулировать соотношение типов ошибок. Например, выделить неверный текст как номер телефона - false positive, либо не выделить номер когда он есть - false negative. Эта метрики применяются в тех задачах, где цена одного типа ошибки сильно превышает другой.

Способы измерения метрик для LLM программно
Для измерения качества LLM были разработаны специальные датасеты, которые позволяют измерить качество моделей для разных задач, например в примере с Сlaude это:

• MMLU - набор задач из различных STEM сфер с 5 вариантами ответа. LLM должна выбрать правильный ответ, а результат оценивается по метрике accuracy.
• HumanEval - оценивает способность модели писать код. На вход подается пустая функция, с комментариями что она должна делать. На выходе LLM выдает готовый код, который прогоняется через unit тесты и считается accuracy по прошедшим тестам.

Оценка человеком
Ручная разметка качества генераций. Подходит для тех задач, где не получается придумать автоматический способ проверки. Например, насколько привлекательный сгенерированный пост для соцсети.

Резюмируя, я бы советовал
Смотреть на каком типе задач модель была измерена.
Было ли это сделано программно или с человеком, что бы исключить субъективный фактор.
Все равно проверять на ваших задачах ?*

AI программист
Я пользуюсь GitHub Copilot для ускорения процесса разработки. Он может писать небольшие куски кода, документацию к методам и классам, предлагать как исправить баг, если ему отправить текст из логов и указать конкретный файл или даже кусок кода с ошибкой. Но он не может заменить программиста, даже джуниора.

Ему не хватает:
• Возможности держать в контексте весь проект, а не только один файл.
• Возможности реально запускать и проверять те изменения в коде, которые он предложил.
• Доступа к интернету для поиска актуальной информации / документации, а не только к той, на которой обучена LLM.

Вчера я наткнулся на сервис Devin, который пытается решить эти проблемы. Devin представляет из себя LLM + браузер для поиска актуальной информации + виртуальное окружение для запуска и проверки изменений + кодовый редактор.

На их сайте есть примеры решения реальных задач с Upwork end-to-end. Например, тут стоит задача разобраться как запустить computer vision модель из GitHub репозитория.
• Devin сам делает git pull
• Ставит нужные зависимости
• Исправляет ошибки в зависимостях и коде
• И запускает модель

Звучит круто, хочеться попробовать на своих примерах в реальности. Когда дадут доступ к бете, опишу что вышло ?

Мой AI ассистентМы в Growth helper делаем AI ассистентов для конвертации входящих лидов. Я решил что нужно “eat your own dog food” - тестировать продукты на себе. И поэтому сделал AI ассистента-помощника, у которого можно заказать мою консультацию по AI.

Ассистент задаст несколько вопросов, чтобы выявить потребности, а потом предложит консультацию или откажет, если запрос не релевантен.

Связаться с ассистентом можно по ссылке: @alexander_ershov_bot

P.S. Если хотите заказать консультацию напрямую, то пишите в контакт в описании канала

Я могу помочь с:
- Проведение аудита текущих бизнес-процессов с целью выявления возможностей для внедрения AI
- Создание стратегии внедрения AI
- Помощь во внедрении: подбор AI инструментов, подбор подрядчиков, разработка

Как делать API на основе GPT
Когда языковые модели используются не для одноразового ответа на prompt как в ChatGPT, а как элемент бизнес логики с внешним API, то на результаты накладывается ограничения:

• Сгенерированный ответ всегда должен быть одного формата (как правило это JSON с заданными полями).
• Его нужно правильно распарсить, не перепутав название полей и их типы данных.

Для того, чтобы GPT вернула ответ в правильном формате, ей обязательно нужно передать промпт, в котором указан этот формат ответа (JSON и поля). Также можно указать response_format = json_object (хотя на практике и правильного промпта тут достаточно).

А вот для того, чтобы не парсить этот JSON вручную и быть уверенным, что GPT вернула все нужные поля с корректными данными, можно использовать Python библиотеку Pydantic. Это супер удобная библиотека для парсинга и валидации JSON объектов.

Я сделал пример кода, в котором показал, как это реализовать. В нем GPT используется для анализа отзывов на товары. Каждый отзыв помечается как положительный / нейтральный / негативный, а также извлекается название продукта.

Рекомендация книги
При переходе от найма в предпринимательство возникали разные проблемы: мы нанимали разработчиков и 4 раза подряд они уходили одним днем, хаос в организации задач, низкая продуктивность, zoom звонки когда вроде поговорили, но никакой четкий план не наметили и т.д.

В последние полгода я читал различную бизнес литературу и самая крутая книга, на мой взгляд, это The Great CEO Within. Эту книгу написал Matt Mochary - коуч таких CEO как Sam Altman из OpenAI и Brian Armstrong из Coinbase.

В книге рассматривается такие аспекты как личная продуктивность и здоровье при нагрузках, фандрейзинг, рекрутинг, менеджмент и продажи. 

Книга супер мясная, она дает конкретные алгоритмы того, как надо делать. Например, для рекрутинга там есть набор вопросов, чтобы отсеить не релевантных кандидатов сразу, а для менеджмента скрипты того, как собирать фидбек от подчиненных.

Так же Matt Mochary выложил в открытый доступ свои наработки - пользуйтесь ?