Numbers every LLM Developer should know
by Ray and Jeff Dean

https://github.com/ray-project/llm-numbers

Еще один template language для LLM, теперь от Microsoft.

Потихонько девелопмент LLM applications стабилизируется. Люди понимают что решения типо langchain не юзабельны для сложных композиции LLM, так как у вас получается огромный лапша код полностью не юзабельный, особенно если он пишется большой командой.
Идея использовать классические template language с LLM достаточно очевидна, поэтому в скором времени мы увидим целый класс таких фреймворков. Код становится более понятный и легче поддерживаемый.

Но глобально все эти фреймворки не решают проблемы по настоящему сложных систем LLM аппов и агентов. Поэтому я работаю над фреймворком где основная абстракция это tractable стохастическая мутация строк. По настоящему сложные приложения не будут выглядеть как огромная композиция захардкоженых чейнов, аппликейшены будущего будут больше похожи на autogpt или babyagi. Где сама логика и флоу чейнов генерируется и декомпозируется автоматически.

https://github.com/microsoft/guidance

На данный момент молодому ресерчеру(или deeptech стартапу ахах) важно сфокусироваться на 4 направлениях

1. Engineering - Gpu optimisation/distributed training - методы по типу fast attention которые позволили обучить модели типо gpt-4 с большим context length

2. Lora и другие методы адаптеров и файн тюна, в будущем скорее всего у каждого человека будет персональный АИ который будет tailored к нему, вопрос где держать данные пользователя в весах нейронной сети или же в векторной базе данных, чуть позже попробую написать более подробный пост про это

3. Новые методы обучения LLM, такие как
   Efficient (Soft) Q-Learning for Text Generation with Limited Good Datahttps://arxiv.org/abs/2106.07704
   Один из самых красивых пейперов которые видел за долгое время

4. Meta learning LLM, Джон Шульман фаундер опенаи, один из самых мощных специалистов по meta learning в мире, поэтому это дело времени когда мы увидим meta learning llm

В первом посте я писал на сколько важно валидировать аутпут LLM. Это позволяет убрать галлюцинирование, контролировать constraints, и самое главное строить сложные композиции из LLM агентов которые смогут общаться между собой, декомпозировать задачи, критиковать и рефайнить. Например у нас есть LLM аналитик, LLM инженер, LLM board member итд

После разговора с одним VC, он говорит что за последнее время видел 50 LLM B2B стартапов которые пытаются делать кооперирующих LLM агентов.

Проблема в том что такие агенты при коммуникации умножают свои ошибки, и error propagation в каскаде агентов растет экспоненционально.

Данная проблема решается валидацией и constraints формальными методами над которыми я щас работаю. Но для этого нам нужны доступ к логитам чтобы строить маски. GPT-4 не дает этот доступ так как люди активно дистиллируют модель имея доступ к логитам и быстро забирают конкурентное преимущество openai почти за очень маленькие деньги. Скорее всего провайдеры больших foundation моделей не будут давать доступ к логитам в принципе.

Но появляется вопрос что делать юзерам апи моделей. В любом случае валидация будет нужна всем, и тогда люди будут просто активнее пользоваться опенсоурс моделями и поднимать их сами.
Прэтому я думаю openai и другие провайдеры позволят отправлять маски к ним без доступа к логитам напрямую. Таким образом они не будут проигрывать конкуренцию опенсорсу и другие не смогут заниматься дистилляцией.

Компании в будущем будут полностью управляться AI с минимальным вмешательством человека.

Интересный пейпер про операционную аналитику, ERP, digital twins и LLM

Towards autonomous system: flexible modular production system enhanced with large language model agents
https://arxiv.org/pdf/2304.14721.pdf

Комбинирование constraint SAT solver-a c LLM (in context learning)

Reliable Natural Language Understanding with Large Language Models and Answer Set Programming
https://arxiv.org/pdf/2302.03780.pdf

Хороший survey по prompt engineering написал Lil’Log из openai. Где он уложил 25 ключевых пейперов по prompt engineering каждый в пару предложении
https://lilianweng.github.io/posts/2023-03-15-prompt-engineering/

Все пейперы выше по prompt engineering, это нельзя назвать разделом machine learning, так как это другая дисциплина.
Порог входа в понимание пейперов очень низкий, вам не нужно знать хорошо математику или computer science. Поэтому можно читать сотни таких пейперов без напряга

Интересные пейперы по prompt engineering которые прочитал на этих выходных.

From Words to Code: Harnessing Data for Program Synthesis from Natural Language
https://arxiv.org/pdf/2305.01598.pdf

Unstructured and structured data: Can we have the best of both worlds with large language models?
https://arxiv.org/pdf/2304.13010.pdf

TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs
https://arxiv.org/pdf/2303.16434.pdf

MM-REACT : Prompting ChatGPT for Multimodal Reasoning and Action
https://arxiv.org/pdf/2303.11381.pdf

Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision
https://arxiv.org/pdf/2305.03047.pdf

GPT is becoming a Turing machine: Here are some ways to program it
https://arxiv.org/pdf/2303.14310.pdf

Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQLs
https://arxiv.org/pdf/2305.03111.pdf

A Case-Based Reasoning Framework for Adaptive Prompting in Cross-Domain Text-to-SQL
https://arxiv.org/pdf/2304.13301.pdf

Divide and Prompt: Chain of Thought Prompting for Text-to-SQL
https://arxiv.org/pdf/2304.11556.pdf

DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction
https://arxiv.org/pdf/2304.11015.pdf

Teaching Large Language Models to Self-Debug
https://arxiv.org/pdf/2304.05128.pdf

Querying Large Language Models with SQL [Vision]
https://arxiv.org/pdf/2304.00472.pdf

AUTOMATIC CHAIN OF THOUGHT PROMPTING IN LARGE LANGUAGE MODELS
https://arxiv.org/pdf/2210.03493.pdf

FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance
https://arxiv.org/pdf/2305.05176.pdf

Refining the Responses of LLMs by Themselves
https://arxiv.org/pdf/2305.04039.pdf

Simulating H.P. Lovecraft horror literature with the ChatGPT large language model
https://arxiv.org/pdf/2305.03429.pdf

Low-code LLM: Visual Programming over LLMs
https://arxiv.org/pdf/2304.08103.pdf

Complex QA & language models hybrid architectures, Survey
https://arxiv.org/pdf/2302.09051.pdf

PAL: Program-aided Language Models
https://arxiv.org/pdf/2211.10435.pdf

Reflexion: an autonomous agent with dynamic memory and self-reflection
https://arxiv.org/pdf/2303.11366.pdf?trk=public_post_comment-text

Tool Learning with Foundation Models
https://arxiv.org/pdf/2304.08354.pdf

ChatGPT Prompt Patterns for Improving Code Quality, Refactoring, Requirements Elicitation, and Software Design
https://arxiv.org/pdf/2303.07839.pdf

Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions
https://arxiv.org/pdf/2212.10509.pdf

Self-planning Code Generation with Large Language Model
https://arxiv.org/pdf/2303.06689.pdf

Prompted LLMs as Chatbot Modules for Long Open-domain Conversation
https://arxiv.org/pdf/2305.04533.pdf