Туториал от HuggingFace о том, как собрать и запрогать своего робота - ох, я знаю чем займусь на следующей неделе!

https://x.com/remicadene/status/1825455895561859185?s=46&t=unXuB1Uz5kPk0IP1JI6UKg

X (formerly Twitter)

Remi Cadene (@RemiCadene) on X

The wait is finally over!!! ***😁*** We just dropped an in-depth tutorial on how to build your own robot! Teach it new skills by showing it a few moves with just a laptop. Then watch your homemade robot act autonomously ***🤯*** 1/***🧵******👇***

Гайд по тестированию LLM приложений

AI Scientist

На моем июньском стриме по GenAI я рассказывал про позицию ряда людей из OpenAI про то, что в ближайшие 3-5 лет автоматизируют работу AI ученого. Собственно, вот первая ласточка: Sakana AI.

Я про них узнал впервые на ивенте Nvidia: там они собирали всех соавторов знаменитой “Attention is all you need” и один из них как раз основал Sakana-у. Вот, наконец, мы можем детальнее узнать, что они сделали: запилили AI агента, автоматизирующего работу AI ученого. Не просто придумать идею, а полный цикл: придумать, написать код, провести эксперименты, визуализировать результаты, и написать научную статью по мотивам.

Там есть одновременно немного пугающая и забавная штука: агент пытался обойти ограничения, наложенные авторами (кейс с таймаутом, когда вместо того, чтобы оптимизировать свой код, чтобы он быстрее выполнялся, агент просто решил написать код, который обходит таймаут). Страшно, потому что это как раз про AI системы, которые пытаются обойти ограничения, наложенные людьми, но мешающие им добиться цели

Интересная идея: mixture of agents

Вы вероятно слышали про mixture of experts архитектуру для LLM. Эта идея похожа: но вместо сеток берутся агенты. Делаем слои агентов, которые независимо обрабатывают запрос и передают ответ следующему слою. Агрегируем ответы в итоге получаем лучше перформанс, чем у индивидуальных LLM.

Де факто, юзается мой любимый принцип multi-model thinking : усредняя ответы разнах независимых моделей, мы снижаем ошибку. В итоге - профит.

Подробнее тут: https://arxiv.org/pdf/2406.04692

P.S. Токенов только не напасешься на все эти fancy архитектуры :-)

Уверен, вы уже наслышаны про Devin - агента, который пишет код. В эту степь еще парочка open source проектов, которые можно не только взять за основу для себя, но и использовать, чтобы держать руку на пульсе:
1) Devika
2) OpenDevin
3) SWE Agent

По количеству звездочек, их темпу роста и количеству форков первый OpenDevin, но ему дышит в спину Devika. По функционалу - честно, они все примерно про одно и то же, по бенчмаркам пытаются догнать или обогнать Devin; самое крутое оущение - оставить его что-то писать на ночь, а утром - посмотреть. Мне еще понравилось, что они разбивают таску на подзадачи, можно хотя бы за это их брать, а потом подзадачи самим прогать если очень хочется :).

Ну и, это, программеры с агентами будут круче программеров без оных ?

P.S. Не забудьте поставить квоты, если используете платную LLM, чтобы лишнего не потратить, так как они делают много запросов.

P.P.S. Вот даже интересно, как в ближайшем времени будут “судить” хакатон проекты? o__O

GitHub

GitHub - stitionai/devika: Devika is an Agentic AI Software Engineer that can understand high-level human instructions, break them…

Devika is an Agentic AI Software Engineer that can understand high-level human instructions, break them down into steps, research relevant information, and write code to achieve the given objective...

Некоторые из вас знают, что я фанат Santa Fe института. Каждому, кто разрабатывает агентов, я бы посоветовал пройти бесплатный курс “Introduction to Agent-Based Modeling”. Там нет ничего про LLM, но многое про агентов, про то, как их дизайнить и реализовывать. Я считаю, что имея эту базу, гораздо проще думать про агентов в контексте LLM. Ну и классические агентные модели сильно можно прокачать при помощи LLM.

www.complexityexplorer.org

Complexity Explorer

Complexity Explorer provides online courses and educational materials about complexity science. Complexity Explorer is an education project of the Santa Fe Institute - the world headquarters for complexity science.

На заметку: интересный поинт сказал один из экспертов, которому мы сделали цифрового двойника по мотивам его канала: что нужно делать recency bias, то есть придавать бОльший вес недавним документам, когда делаем RAG для сферы, которая быстро меняется (ai, crypto)

Когда готовишь прототип к продакшну, где будет multi-tenant, надо отслеживать косты, менять промпты на лету и тп, то полезно заюзать какой-нибудь фреймворк для всего этого.

Мне понравился http://langfuse.com - рекомендую; знаю, что есть LangSmith у LangChain, поэтому если вы используете что-то другое, то дайте знать в комментариях, почему его выбрали

При встраивании langfuse столкнулся с проблемой при интеграции с llama index: влоб встроить не удалось, данные про latency, cost не логировались, поэтому пришлось сделать дополнительно такое

@observe(as\_type="generation") \- у метода, где обращение к llm

и потом

langfuse_context.update_current_observation(input=compiled_analyze_transcript_prompt, output=str(response), model="gpt\-4\-0125\-preview")

Если указать модель, то он сам считает косты и колво токенов