Вышла отличная статья от Antrophic про агентов и как их строить.

В частности, хорошо расставляют по местам понятия Workflow и Agent.
- Workflow это заранее предопределенная последовательность действий. Я обычно называю пайплайн, надеюсь это правильно )
- Agent это система где LLM динамически определяет как именно будет решаться задача - какими инструментами, в каком порядке и так далее.

Полезно потому что каждый встречный-поперечный поставивший цикл while вокруг одного промпта уже называет своё решение "агент" и поднимает ещё $10M )

Статья классная, с базовыми принципами построения и пайплайнов и агентов.

https://www.anthropic.com/research/building-effective-agents

Давайте посмотрим на Devin, это отличный пример агента. Стартап нашумевший, многие его отмечают, даже отец наш Karpathy.

Devin это такой джуниор девелопер-тиммейт. Работает полностью через slack.

Ты ему пишешь в slack как живому разработчику буквально "сделай вот этот таск" или "нашел баг, исправь". Он уходит читать доки, готовить код и делать пулл реквесты. И возвращается минут через 15 со словами "я сделяль". Можно потом комменты в гитхабе оставить на реквест и он их пойдет исправлять. Всё как с живым джуном!

У него всего три инструмента:
- Веб-браузер и внешний и для условной jira
- Консоль
- Редактор кода с гитхабом

Код получается по отзывам разработчиков вполне сносный. Лучше справляется с стандартными штуками, с всяким редким работает плохо. Ну, ожидаемо от llm-based инструмента )

Разработчикам Devin не очень нравится. Нет контроля над кодом, медленно, воркфлоу через slack, и вообще их это не очень усиляет. Любой синьёр знает что лучше ускорить себя на 10% чем получить джуна в команду ))

Интересен прайсинг. Ребята просят за Devin $500/month. Что очевидно сильно дороже того же Cursor ($20) или ChatGPT. Но ребята сравниваются с junior developer, и тогда такое сравнение по цене очень даже уместно - примерно в 10 раз дешевле )

Сейчас это, возможно, уже лучше чем типичный джун. Но технологии будут расти и такие штуки как Devin будут всё более надежные. А вот люди - вряд ли.

Зачем вы выкладываете модели в опенсорс? Никакой пользы в этом же для вас нет?

Это топ-1 вопрос ко мне в последние пару дней. Отвечаю.

1. Технологичность компании. Мы доказываем делом что мы один из лидеров индустрии. Для инвесторов это знак что мы не просто банк или экосистема, мы - технологическая компания, и можем в будущем строить новые технологические сервисы.

2. Знания и обратная связь. Мы получаем много фидбека и знаний с рынка. Это не про прямой вклад в модели, это про знания о том где ты находишься, что работает что нет, что получается строить на решениях а что нет. Сейчас мы общаемся практически со всей индустрией, этого не было без опенсорса.

3. Команда. Одно дело строить модели внутри, другое дело - строить решения влияющие на всю индустрию. Мотивация команды на небесах, и у нас хотят работать лучшие инженеры. И уже работают.

Когда смотришь на все это, понимаешь что решение однозначно верное.

И ещё. Мы правда хотим развивать индустрию, а не только работать на себя. Уже начали готовить для вас следующий Turbo ML Conf, ждите!

В свежем исследовании от ИТМО мы вошли в топ-3 компаний, вкладывающихся в Open Source в AI! В честь этого хочется еще раз упомянуть некоторые из наших разработок:

🏂T-Lite – наша LLM (а также Instruct версия)
⚡️ETNA – мульти-тул для Time-Series
🐊Research – множество репозиториев, которыми мы подкрепляем наши научные исследования
🐖Turbo Alignment – библиотека LLM alignment с реализацией широкого спектра методов

Если вы вдруг что-то из этого пропустили, то самое время накинуть звездочек и попробовать заиспользовать у себя.

Исследование опубликовано здесь.

Ниже цитата про крутость моделей от CEO Perplexity. Модели не важны, важен фокус на опыт пользователя.

Основная модель perplexity, кстати, это дообученная llama.

Я очень рекомендую весь подкаст

Lex Fridman: So in the future, you hope your model to be the dominant or the default model?
Aravind Srinivas: We don’t care.
Lex Fridman: You don’t care?
Aravind Srinivas: That doesn’t mean we are not going to work towards it, but this is where the model-agnostic viewpoint is very helpful. Does the user care if Perplexity has the most dominant model in order to come and use the product? No. Does the user care about a good answer? Yes. So whatever model is providing us the best answer, whether we fine-tuned it from somebody else’s base model or a model we host ourselves, it’s okay.
Lex Fridman: And that flexibility allows you to-
Aravind Srinivas: Really focus on the user.

Продолжаем выкладывать записи с Turbo ML Conf, найти можно на нашем youtube.

Сегодня выложили NLP. Особенно рекомендую доклад Артура про подходы к построению LLM-приложений, нам тут есть что сказать! Ну и конечно доклад Толи Потапова про нашу T-Lite - under the hood.
▫️Полтора года с ChatGPT. Артем Бондарь, Head of NLP, Т-Банк
▫️Как сделать хороший перевод документов на базе LLM. Николай Карпачев, руководитель группы базового качества машинного перевода, Яндекс
▫️Подходы к построению LLM-приложений. Артур Самигуллин, руководитель платформы LLM, Т-Банк
▫️LLM для автоматизации поддержки. Ирина Степанюк, руководитель NLP-команды, Т-Банк
▫️Строим сильную базовую LLM на основе открытых моделей. Анатолий Потапов, руководитель группы фундаментальных технологий LLM, Т-Банк
▫️Вредные LLM‑советы для непослушных NLP‑разработчиков и их продактов. Иван Самсонов, руководитель прикладных исследований ИИ, AI VK

Продолжает полниться земля слухами про новую In-Device Siri на новых устройствах от Apple. На компактных локальных языковых моделях, конечно. Может, хоть так Siri станет умной )

Идея такая: есть LLM у тебя на телефоне или лэптопе, и ходит в разные бэкенды когда ей нужно. Так не требуется огромное количество железа в датацентрах для инференса, работает без интернета для базовых задач и безопасней.

Вот артиклы про компактные модели от Apple: 1, 2, 3
Вот статьи со слухами и анонсы: 1, 2, 3

Пишите в комменты ещё статьи/ссылки по теме, интересно что у Google.