#FREEDUROV

SGLang — еще один фреймворк для сервинга LLM

Помните vLLM? Его выпустили люди, причастные к LMSYS Arena, 20 июня 2023 (чуть больше года назад!)

Тогда vLLM пришел на замену TGI от huggingface и принес PagedAttention, механизм, который эффективно работал с памятью для KV cache, что позволило увеличить throughput в несколько раз

С тех пор произошло несколько интересных моментов:
1. TGI поменял лицензию с Apache 2.0 на платную
2. vLLM стал более-менее стандартом индустрии
3. Появился новый игрок от NVIDIA — TensorRT-LLM с поддержкой FP8 и бэкендом для тритона
4. В TRT-LLM завезли KV cache reuse, который нам ускорил инференс на несколько десятков процентов
5. TGI вернули Apache 2.0 (pathetic ?)

В целом, во все фреймворки быстро завозили новые модели (мистраль, mixtral, phi, qwen, etc), новые фишки (cache reuse, fp8, speculative sampling, In-flight Sequence Batching, etc).

Эвристика для выбора движка была примерно такая:
? Хочешь быстро и просто — используй vLLM
? Хочешь очень быстро и сложно — используй TRT

Теперь у нас новый сервинг от LMSYS:
1️⃣ user-friendly
2️⃣ easily modifiable
3️⃣ top-tier performance

ТО ЕСТЬ ???
1. Запускать можно также просто, как и vLLM
2. Все легко можно настроить и захакать, потому что все на python и в опен-сорсе
3. По скорости также, как и TRT-LLM

Волож снова возглавил ~~Яндекс~~ Nebius. Решил запрыгнуть в поезд ИИ:

У меня лично ощущение, что AI — это не хайп, а всерьез и надолго. Примерно так же, как было с интернетом и поиском в 90-е: большое изменение, которое происходит раз в поколение

Хехе, зарабатывать собираются на компьюте:

Основными клиентами Nebius должны стать AI-стартапы, которые вслед за крупнейшими игроками делают или собственные нейросети, или приложения на их основе. Им тоже нужно большое количество вычислительных мощностей, но получить их у крупнейших игроков на рынке — вроде Microsoft Azure или AWS — тяжело.

​​Итак, долгожданный релиз состоялся. Грег Брокман в кожанке (видимо, отжал её у Дженсена Хуанга) продемонстрировал голосовые возможности новой модельки. Что ж, очень впечатляет, работникам колл-центров точно стоит напрячься. Все необходимые элементы для создания терминаторов теперь в наличии, осталось напечатать баблишко и начать строить заводы.

Кстати, о деньгах. Люди задаются вопросом, как же теперь OpenAI будет зарабатывать, если лучшая модель доступна бесплатно. Будут зарабатывать на апишке, тем более после такого вкусного релиза количество желающих автоматизировать всё и вся в своём бизнесе только вырастет. Инсайдеры из долины также сообщают, что в ходе борьбы башен было решено выделить Саме 7 триллионов (правда не 7, а 5), поэтому собирать копейки с подписок вроде как не комильфо, надо работать по-крупному.

​​Мир терминаторов все ближе. Можно насладиться демкой от figure.ai, которые в коллаборации с Open AI добавили андроиду голос. Пока нет сведений, как можно записаться в сопротивление, но можно накидать мемов сюда

МЕМ ИЗ ЧАТА