? Amazon выходит из тени

Вчера прошла бомбическая конференция AWS re:Invent 2023. Облачного сегмента Amazon, который драйвит прибыльный рост компании последние годы

▶️На сцене звезды индустрии ИИ и не только. Nvidia, Anthropic, Pfizer, BMW…Но блистал в этот вечер Адам Селипски, глава AWS. Именно он стоял у истоков облачного гиганта и вывел AWS в ранг недосягаемого лидера (32% рынка)

Спич был полон объявлений и инсайдов. Что там нового?

1. Amazon Q — умный чатбот для бизнеса, доступен всем клиентам AWS. По сути аналог chatGPT за те же 20$, но с куда более широким охватом и обучавшийся на уникальных данных AWS за 17 лет! Такого GPT и не снилось

По замыслу, Amazon Q не просто генерит прикольные промо, но и сможет коннектить разные источники данных бизнеса. От хранилища S3 и Salesforce до Slack и Gmail. Индексация позволит выстроить смысловые связи между ними и создать автономных агентов, выполняющих задачи в браузере или с доками

Вишенка на торте — чатбот может генерить и проверять код, то есть Amazon будет претендовать на кусок Github Copilot. Посмотрим, как будет на практике. Заинтриговали

1. Апгрейд Amazon Bedrock — платформу для генеративного ИИ Amazon выкатил в октябре 2023. Сначала был просто доступ по API к ведущим LLM моделям, а теперь внедрили поверх фильтры для безопасности B2B клиентов. К тому же добавили собственные LLM модели Titan, но пока что в демо режиме

2. ETL, прощай — упростили мучительный процесс дата инжиниринга с настройкой пайплайнов данных, добавив нативные интеграции с SQL базами данных. Теперь, похоже, все будет летать и можно обойтись без dbt с Fivetran

3. Новое поколение чипов — показали свои последние чипы Graviton4 и Trainium2. Они заточены под нагрузки ML и стали на порядок более энергоэффективными. Anthropic даже закомитился на их использование в обучении своих моделей

▶️Этим набором новинок Amazon дал четко понять, что списывать его со счетов себе дороже. Компания подтвердила свою роль №1 облачного провайдера и на полную включилась в гонку ИИ

? Драма года из OpenAI
Я всегда выступал против закрытости LLM моделей, но не мог даже представить ТАКОГО хаоса

▶️Кажется, Альтман и ко смогли потушить пожар противоречий, но обнажились все проблемы дома OpenAI. По горячему закулисью Долины созрело пару мыслей:

1. Капиталист не может быть альтруистом — конфликт зародился при изменении оргструктуры OpenAI в 2019 году с non-profit (некоммерческой) на capped profit (ограничение прибыли для инвесторов)

Налицо противоречие мотивов — создание безопасной технологии (AGI) для общества или же бизнес жадность на API закрытой GPT-4?

1. Ужасная структура совета директоров — всего 6 человек (обычно 10), 3 основателя и 3 независимых. По сути хватило одного голоса Суцкевера, чтобы кикнуть Альтмана. До сих пор вопрос — почему не было Microsoft (главного инвестора на $11 млрд) и крупных VC фондов?

Сегодня расширили борд до 9 человек. Без Альтмана и Брокмана. Но что там забыл бывший минфин Ларри Саммерс? Плохой звоночек

1. AGI там и не пахнет — думаю, конфликт далеко не про безопасность моделей, а про их ограниченность. Функционал GPT-5 (по слухам) уперся в свой потолок и незначительно сильнее текущей версии. Зачем торопиться с выводом на рынок слабого продукта? Не пик ли это GPT?

2. Microsoft выходит победителем? — гигант готов принять всех 770 сотрудников OpenAI, идущих следом за Альтманом. С гарантиями по з/п, опционам и рабочим визам. Пока что перехода не произошло, но у Microsoft козырь в рукаве с доступом к пулу редких талантов

3. Впереди судебные иски — как против директоров OpenAI (в том числе Альтмана), так и Microsoft за монопольные игры. Как бы Сэм не повторил судьбу своего тезки из крипто “империи” FTX. Там же тоже все начиналось с призыва к госрегулированию…

▶️Развернувшаяся драма в очередной раз подтвердила мой тезис. Обществу необходим open-source — открытое развитие технологий с привлечением всего коммьюнити, а не 6/9 людей со слабо понятными мотивами

? Битва LLM моделей: OPEN vs CLOSED

Наплодилось же LLM моделей за последний год…Дабы не потеряться в них, собрал карту сильнейших, за которыми мы следим в фонде Axevil. Через призму извечного противостояния open-source и закрытых моделей

▶️Всю же палитру из почти 400 тыс! моделей с открытым исходным кодом, как foundational, так и fine-tuned, можно посмотреть и даже потестить на Hugging Face

Ниже поделюсь парой комментариев по содержанию самой карты:

1. Космическая скорость развития моделей на архитектуре трансформер. Доброй половины не было и полгода назад. Чего только стоит Grok от Илона на базе уникальных данных Твиттера real-time. Также ждем на подходе Olympus от Amazon

2. Open-source наступает на пятки GPT-4. Хоть детище OpenAI все еще сильнее открытых Llama и Mistral, гандикап уверенно сокращается. Такими темпами год-полтора и мы увидим доминацию (по бол-ву бенчмарков) open-source

3. Следующая веха — концентрация вокруг топ-5/7 фундаментальных LLM. Скорее всего текущих лидеров. Будут выступать основой, которую можно донастроить на своих данных под узкие задачи бизнеса

4. Феномен LLM имеет не только корни США. Свои центры силы находятся и в Китае, Франции, Израиле, России. Даже (по слухам), скоро могут появиться свои LLM в Индии и Казахстане

5. В Поднебесной свои баталии open VS closed. Похоже, Alibaba подсмотрел за Meta и пошел против закрытых Baidu/Huawei, поддержав на днях новый open-source проект 01.ai от ex-главы Google China по оценке в $1 млрд!

Но самое интересное, что вне зависимости от лагеря (open или closed), все мы соглашаемся с главным — LLM модели зависят от качественных данных!

▶️Решить проблему призван юникорн Scale AI, серый кардинал ИИ революции и лидер рынка маркировки данных, без которой сегодня невозможна ни одна LLM

Благодаря своему софту Scale AI помогает не просто ускорить процесс подготовки данных, но и автоматизировать весь MLOps с донастройкой и интеграцией любой модели для бизнеса. В том числе для OpenAI, Anthropic, Meta, StabilityAI и многих других

?Open-source: наш единственный спаситель
Куда ни посмотри, проекты с открытым исходным кодом глубоко проникли в нашу жизнь. Все лучшее, что есть у человечества, создано комьюнити неравнодушных энтузиастов и лежит (код) в общем доступе

▶️Как, например, операционки Linux и Android, браузер Brave, аналитический движок для больших данных Spark, мессенжер Signal, Wikipedia, Bitcoin...

Боюсь, без этих проектов у нашего мира не было бы шанса на спасение от норовящих все зарегулировать государств и вездесущих корпораций. Как итог, мы бы снова оказались в тоталитаризме. С неограниченной властью кучки людей, манипулирующих сознанием общества. О чем предупреждал Фридрих Хайек в “Дорога к рабству”

И риск такого сценария становится все актуальнее. С закрытыми LLM моделями (GPT-4, Claude), лежащими в основе бума генеративного ИИ

▶️Благо у нас есть open-source! Но чем же именно он так ценен и лучше закрытых решений?
1. Прозрачность — в отличие от черных ящиков из OpenAi, здесь код со всеми потрохами (харатеристики, документация) доступен для досконального изучения на предмет уязвимостей и бэкдоров абсолютно каждому

1. Безопасность — сила бдящего сообщества позволяет мгновенно находить и фиксить баги. Улучшенный софт можно развернуть на своих серверах, что снизит риск утечки данных и повысит устойчивость системы

2. Демократизация — технология становится доступнее для общества, стирая рамки между географиями и толщиной кошелька. Принцип равенства/свободы и прельщает разработчиков, а прецеденты защиты кода (по 1-ой поправке Конституции США) только усиливают это движение

3. Кастомизация — можно настроить софт под специфические требования бизнес задач, оптимизировав эффективность системы. Причем в разы дешевле готовых решений

4. Инновации — через открытую коллаборацию всех желающих находятся самые нетривиальные и безопасные пути развития технологии. В этом признается и сам бигтех, который частенько радует релизами в open-source. Все же 100 тыс голов лучше 100 сотрудников закрытой команды

? ИИ визионеры: за кем следить в Твиттере?
Твиттер (он же Х) сегодня главный источник информации. И точка. Именно здесь знания и инсайды из первых уст

▶️ Сегодня поделюсь собственной подборкой авторов, за которыми стоит следить, чтобы понимать повестку ИИ и чуть больше разбираться в технологии:

1. Yann LeCunn — главный по ИИ в Meta, трушный сторонник open-source (Llama). Создатель архитектуры сверточных нейронок для распознания изображений (1988 год) и один из 3 крестных отцов ИИ (deep learning)

2. Gary Marcus — голос нейронауки в СМИ, ex-стартапер ML проекта для Uber и главный хейтер OpenAI. Называет вещи своими именами, разграничивая deep learning и утопичный AGI

3. Andrew Ng — со-основатель ведущих ИИ лабораторий мира (Google Brain и Baidu), профессор Stanford по computer science и популяризатор науки (ex-CEO Coursera)

4. Demis Hassabis — со-основал в 2010 году DeepMind, ИИ сердцевины и исследовательского драйвера Google

5. Andrej Karpathy — один из лучших спецов в компьютерном зрении и deep learning. Возглавлял разработку автопилота в Tesla и в начале 2023 вернулся в стан OpenAI

6. Jim Fan — ведущий ИИ ученый в Nvidia, прошедший школу Google, OpenAI, Baidu, сегодня прикладывает руку к созданию роботов на базе мультимодальных моделей

7. Clément Delangue — основатель Hugging Face ($4,5 млрд), главной open-source платформы для коллаборации ML энтузиастов, обмена моделями и датасетами

8. Bindu Reddy — основательница MLOps платформы Abacus.ai, ранее руководила ИИ продуктами в Amazon и Google

9. Joscha Bach — немецкий исследователь на стыке ИИ и нейронаук, отвечает за продуктовые прорывы в AI Foundation

10. Fei-Fei Li — профессор Stanford, под ее руководством вышли десятки топ ученых. Также известна благодаря ImageNet (2009 год), базе маркированных картинок, что стало толчком развития компьютерного зрения

PS: сюда не попали еще СОТНИ умнейших людей. Пишут редко (Илья Суцкевер) или публикуют крайне технические вещи (Руслан Салахутдинов)
Пользуйтесь списком на здоровье, сохраняйте и шерьте с друзьями!

? От каких индустрий ждать ИИ прорывов?По стопам предыдущего поста. В каких областях уже сегодня происходит ИИ революция и где нас ждут сюрпризы?

▶️ Подсвечу 3 направления, стоящих внимания:

1. Беспилотные авто — мечта об автономном и безопасном транспорте становится с каждым днем все ближе. Команда британского стартапа Wayve (раунд B) создала модель LINGO-1, которая обучалась по инструкциям людей-водителей

Wayve синхронизировали текст (инструкции), визуал с датчиков и действия водителя. Как результат, модель улучшила логику планирования движений, ускорила процесс обучения и даже поддерживает диалог с пассажиром! Так, глядишь, роботакси Waymo и Cruise станут скоро повсеместной нормой. Если регулятор разрешит

1. Медицинский ассистент — LLM и диффузионные модели (аля Midjourney) расширили горизонты исследований молекулярной биологии, что даст толчок в решении ранее неизлечимых болезней

Теперь модели выявляют структуру белка всего лишь на базе последовательности аминокислот (ESM-2 от Meta) и предсказывают патогенные изменения в организме (AlphaMissence от DeepMind)

Но больше всего поразила Med-PaLM M (Google), сдавшая экзамен на лицензию врача США! Кроме текста, она распознает и интерпретирует изображения поверхности тела, снимки МРТ и даже клетки. Прям как супердоктор на все руки

1. Роботы для умного дома — выполнят широкий спектр задач человека по быту, от приготовления обеда до присмотра за порядком. Google снова порадовал, создав мощную мультимодальную модель PaLM-E на 562 млрд параметров

Миниатюрный робот трансформирует поступающие вокруг сенсорные данные в текстовые инструкции. То есть на базе запроса человека он составляет целый план действий по решению. Это уже далеко не игрушечный Amazon Astra, но только где его пределы, как долго он удерживает память и сколько это добро стоит?

▶️ Надеюсь, эти и другие вопросы будут скоро решены в коллаборации науки, инженерии и софта. Мы же, конечные пользователи, только выиграем от технологического прогресса ИИ, обогащающего многие области нашей жизни

? Mistral AI. Как французский стартап бросил вызов Open AIПока Open AI и Anthopic раздувают риски ИИ и призывают к регулированию (расчищают себе путь от конкурентов), прогресс open-source продолжается.

▶️ Так, в конце сентября мир увидел новую LLM модель с открытым исходным кодом от Mistral AI. Того самого парижского стартапа. Который появился из ниоткуда летом 2023 и привлек посевной раунд на $113 млн по оценке в $260 млн. От Lightspeed, Index Ventures, Redpoint, Эрика Шмидта (ex-CEO Google). Даже без MVP!

Но такой команде все можно простить. Основатели Mistral стояли за разработкой Llama в Meta и Flamingo в DeepMind.

Спустя всего 3 месяца модель готова. Потестить ее можно на Hugging Face, техническое описание лежит здесь. Почему же она заслуживает внимания?1. Эффективная компактность — обходя GPT-3 в точности ответов, Mistral в 20 раз меньше по кол-ву параметров (7,3 млрд vs 175 млрд). А тк косты на компьютерные вычисления напрямую зависят от размера модели, то и обучить Mistral вышло дешевле. Всего за $0.5 млн против $5 млн (GPT-3)

1. Круче чем Llama 2 — также Mistral оказался лучше open-source модели от Meta (13 млрд) по всем бенчмаркам. Думаю, дело в разнице контекстных окон, у Llama в 2 раза меньше (8000 токенов vs 4096)

2. Прозрачность превыше всего — модель open-source дает 100% видимость изменений в коде и защиту своих данных, помогая бороться с манипулированием за закрытыми дверями корпораций

3. Стресс-тест пройден — изначальная критика этичности модели, мол она генерит ответы на опасные вопросы (вроде рецепта бомбы), сошла на нет. Mistral сразу написали промпт в 10 строчек, который все эти риски успешно устранил

▶️ Для начала впечатляет. Сейчас Mistral AI работает над рядом моделей по пути Open AI. Для текста, кода, картинок, аудио. И чтобы закрепиться, в планах привлечь финансирование в Q3 2024 на $200 млн (в идеале долговое).

Думаю, с такой скоростью Mistral AI вполне может стать топ провайдером LLM моделей для целой Европы. И сделать это благодаря open-source коммьюнити.

? Generative AI стартапы: выживут не всеБуквально каждый день появляется новый проект в генеративном ИИ, решающий наши рутинные задачи. Как, например, копирайтинг или создание контента.

▶️ Только в этих нишах уже более 350 стартапов получили поддержку VC по КОСМИЧЕСКИМ оценкам. Некоторые превышают и 300 годовых выручек. Без прозрачной модели монетизации и плана по удержанию юзера в условиях суперконкуренции.

Напрашивается жесткая переоценка. Упомяну лишь крупняк с оценкой $1 млрд+. Думаю, что эти 4 могут пойти под нож, тк ведущие LLM модели (закрытые и open-source) уже сегодня могут генерить как продающий пост, так и качественный перевод.

1. Jasper AI — умный ассистент-копирайтер, который так восхваляли до chatGPT. В октябре 2022 они подняли раунд А на $125 млн по оценке в $1,5 млрд! Конечно, у них остался еще кэш. Но есть целый ряд НО:— Их продукт теряет уникальность, пользователей и выручку— Неделю назад сменился CEO и пошли сокращения
   — Снизили свою оценку пока что на скромные 20%

2. Typeface — менее известный B2B сервис по генерации текста с картинками. У этих ребят ситуация получше, ведь они привлекли B раунд на $165 млн по оценке в $1 млрд всего 3 месяца назад и получили крупных клиентов из Fortune 500. Но если LLM станут действительно мультимодальными, то нужен ли Typeface?

3. Grammarly — гигант по улучшению текста, оценка которого в ноябре 2021 составила $13 млрд! Даже несмотря на свою прибыльность чуть ли не с самого старта (2009 год), никто не отменял возможный отток клиентов в пользу более универсальных решений.

4. Deepl — главный по переводу на 31 язык мира. Немецкий стартап, поднявший раунд в январе 2023 на $100 млн по оценке в $1 млрд и очевидно уступающий лидерам по охватам аудитории и широте функционала

▶️ Компании находятся не в самом завидном положении. Им остается либо снижать цену подписки (тупиковая опция), делать пивот и молиться или же партнериться/сливаться с бигтехом. Гонка инноваций в ИИ в очередной раз показывает, что сегодняшние лидеры могут оказаться не у дел уже завтра.