Не забудьте поставити будильник на 10 am PT сьогодні!

Уже через декілька годин відбудеться нова презентація від OpenAI, на яку я чекаю з нетерпінням. Ми вже давно не отримували ніяких оновлень від них. Останнім часом про це ходить багато чуток, і існує переважно дві точки зору:

1️⃣ Ми можемо бути на стадії вичерпання можливостей AI
Ця думка походить з різних джерел, але ось мої два улюблені:

👉 Has Generative AI Already Peaked? - Computerphile
👉 Evidence that LLMs are reaching a point of diminishing returns — and what that might mean2️⃣ На нас чекає наступний величезний стрибок
Ця точка зору в основному виходить з виступів CEO OpenAI та загадкового Chat-GPT2. Хороша новина - те, що ви будуєте, покращиться з цими новими апдейтами, погана - нові апдейти повністю замінять ваш продукт.

👉 The Possibilities of AI , Which Companies Will Be Steamrolled by OpenAI?
👉 gpt2-chatbot

В якому ви таборі? Я чув, що деякі люди навіть роблять ставки на це!

YouTube

Has Generative AI Already Peaked? - Computerphile

Bug Byte puzzle here - https://bit.ly/4bnlcb9 - and apply to Jane Street programs here - https://bit.ly/3JdtFBZ (episode sponsor). More info in full description below ↓↓↓ A new paper suggests diminishing returns from larger and larger generative AI models.…

Новий спосіб "тренування" LLM

Ми всі знайомі з кількома філософіями тренування LLM.

1️⃣ Full Fine-Tuning — тренуйте всі свої параметри
2️⃣ PEFT (LoRA, DoRA тощо) - тренуйте лише невелику частину потрібних матриць.

💡Але є ще й новий спосіб, про який я дізнався тільки нещодавно: Representation Fine-Tuning (ReFT) — основна ідея полягає в тому, що ви навчаєтесь змінювати репрезентацію вхідних даних замість параметрів моделі!

В 10-50 разів менший за будь-який PEFT спосіб, при цьому перевершуючий його!
👉 https://github.com/stanfordnlp/pyreft

Виглядає дуже багатообіцяюче!

GitHub

GitHub - stanfordnlp/pyreft: ReFT: Representation Finetuning for Language Models

ReFT: Representation Finetuning for Language Models - stanfordnlp/pyreft

Чому всі бенчмарки брешуть

Як ви уже знаєте, я обожнюю драми в індустрії, і одна з останніх стосується TensorFlow/Flax та PyTorch.

В чому суть: команда TensorFlow/Flax створила бенчмарк, який включав PyTorch. Команда PyTorch не погодилася з результатами, тому вони перезапустили бенчмарки та отримали кращі результати.

Цікаво спостерігати за цим публічно. +1 доказ того, що, хоча публічні бенчмарки можуть бути корисними гайдами, але вам завжди слід перевіряти їх самостійно для вашого конкретного випадку.

Оригінальні твіти були видалені,
- https://twitter.com/JeffDean/status/1774638521657196767
- https://twitter.com/soumithchintala/status/1776311683385880983
і я думаю, що обидві команди, яких я вважаю дуже крутими, працюють над публікацією нових, більш узгоджених бенчмарків разом!

Тут сказано про це: https://twitter.com/soumithchintala/status/1776431955845759222

X (formerly Twitter)

Jeff Dean (@🏡) (@JeffDean) on X

Important caveat: I'm told the Pytorch development team hasn't fully vetted these benchmarks yet, so take the native Pytorch results with a grain of salt. I would mostly use these as a comparison of the performance of different backends for Keras.

PR по фактах

Зараз багато шуму навколо Devin від Cognition. Вчора команда опублікувала деякі деталі: час виконання, TTD та потенційні проблеми з даними в тренувальному датасеті.

Я люблю глибше занурюватися в оригінальне джерело; в твітері і лінкедині дуже багато BS, але код і коміти ніколи не брешуть (майже).

Давайте подивимось на цей PR. Вражає! Автори не прийняли його і закрили подібну фічу через “human mande” PR, але все одно це гарна спроба + коментарі веселі!

Зараз слідкую - замерджить Andrej Karpathy цей PR чи ні.

Linkedin

Cognition | LinkedIn

Cognition | 519 followers on LinkedIn. We are an applied AI lab focused on reasoning, and code is just the beginning. | Makers of Devin, the first AI software engineer. We are an applied AI lab focused on reasoning. We’re building AI teammates with capabilities…

Triton inference server і компанїї на його основі

Я люблю компанії, які розроблять продукти в open-source і заробляють за допомогою додаткових оферингів на його основі. І, звичайно, намагаються уникати проблем, подібних до Elastic з AWS.

Одним з помітних винятків тут є Triton Inference Server - публічний inference server від Nvidia, який має відносини один до багатьох: існує кілька компаній, що створюють продукти на його основі.

Я знайшов принаймні чотири:
1️⃣ Seldon
2️⃣ ClearML
3️⃣ AWS SageMaker
4️⃣ І, звичайно, сама Nvidia.

Безсумнівно, їх набагато більше! Мені цікаво, чи колись команда Triton сама ініціює створення власної компанії.

Elastic Blog

Amazon: NOT OK - why we had to change Elastic licensing

We've had a few questions about our recent license change to Elasticsearch and Kibana....

Компанії-розробники AI чіпів

Nvidia зі своїм hardware (Nvidia GPU, H100, A100 тощо) + software(CUDA) є стандартом для тренування та деплою ML моделей, але існує і багато інших чіпів. Наприклад, зовсім нещодавно Groq представила LPU, і багато інших.

Ось невеликий список стартапів і великих технологічних компаній, які займаються розробкою чіпів для ML, і за якими я слідкую:

Startups
🟢 Public:
- Cerebras (WSE-2)
- GraphCore (IPU)

🟥 Internal:
- Groq (LPU) - available only via LLM API

Big Tech
🟢 Public:
- AWS Graviton
- AWS Trainium
- AWS Inferentia
- Google TPUs
- Intel habana

🟥 Internal:
- Meta: MTIA 
- Tesla: FSD Chip and Dojo Chip
- Microsoft: Maia 100

Якщо ви хочете глибше зануритись - перегляньте цю серію публікацій: AI Accelerators — Part IV: The Very Rich Landscape від Adi Fuchs.

Те, чого я особисто вважаю не вистачає - неупереджені та зрозумілі бенчмарки для різних чіпів і задач. Існують деякі від HF, наприклад, але схоже, що ця робота ще в процесі.

www.graphcore.ai

IPUs in the Cloud

Cloud service providers around the globe now offer Graphcore IPU services, enabling innovators everywhere to make new breakthroughs in machine intelligence with the flexibility of the cloud

Відсоткові ставки, tech cooldown та як це впливає на інженірінг

Підвищення ставок та уповільнення IT принесли багато негативу: масові звільнення, ускладнення пошуку нової роботи, і тп.

Але це також принесло щонайменше одну позитивну зміну: інженерні практики стають набагато більш прагматичними, простішими та реалістичними. Відійти від тисяч мікросервісів, не використовувати красиві, але недоцільні інструменти, та менше overengineering.

Більше про це тут - "The end of 0% interest rates: what it means for software engineering practices" (потрібна платна підписка, але основні висновки зрозумілі навіть з частини тексту).

На жаль, це все ще не стосується ML/AI. Всі додають LLM & RAG, незалежно від того, потрібні вони вам чи ні.

Pragmaticengineer

The end of 0% interest rates: what it means for software engineering practices

Could we see monoliths favored over microservices, full-stack tools over platform specific ones and pragmatic, simpler architecture as a response to 10+ years of 0% interest rates ending?

Погляд в LegalLens

Нещодавно нашу статтю LegalLens було прийнято на головну конференцію EACL. Я хотів би показати, як можна почати з нуля та розробити власні рішення для legal NLP.

Проста класифікація: LegalLensNLI, ви отримуєте 2 рядки та маєте класифікувати їх до 3 класів, легко почати з нуля, використовуючи приклад HF для класифікації тексту.

Просте завдання розпізнавання іменованих сутностей (NER): LegalLensNER. Ви отримуєте один рядок і маєте знайти 3 сутності, почніть з нуля з прикладом HF для класифікації токенів.

На мою думку, одна з найскладніших речей у ML - це створення датасетів, і ви вже його маєте!

Linkedin

Our paper is accepted to EACL 2024! LLMs for NLP detection by Darrow. | Ben Hagag posted on the topic | LinkedIn

I am incredibly excited to announce that our paper, "LegalLens: Leveraging LLMs for Legal Violation Identification in Unstructured Text," has been accepted to…

PaaS наносить удар у відповідь

Останнім часом я помітив нову хвилю PaaS компаній:
▶️ Render
▶️ Railway
▶️ Fly.io

Зараз про них чути зі всіх боків і вони замінюють такі застарілі варіанти, як Heroku. Ідеально, коли ви хочете розпочати маленький, швидкий проєкт і вам не хочеться займатись інфраструктурою.

Але згодом настає момент, що ваш проєкт стає настільки великим, що вам потрібен набагато більший контроль над ним, і ви наймаєте команду інфраструктури та переходите на щось на кшталт Kubernetes.

Цікаво, яке майбутнє чекає на PaaS компаній у такому випадку?

Render

Cloud Application Hosting for Developers | Render

Render is a unified cloud to build and run all your apps and websites with free TLS certificates, global CDN, private networks and auto deploys from Git.

Чудове рев'ю про бази даних у 2023

Людина, за якою варто слідкувати, якщо ви цікавитесь DB - Andy Pavlo, кожен рік випускає рев'ю всього, що сталось за цей час у світі баз даних.

Рев'ю за 2023 тут - роздуми про векторні бази даних, в SQL додали графи і багато-багато драми!

Цитата:
You don't need to watch movies or television shows for entertainment! You can get all the drama you need in your life through databases!

Ottertune

Databases in 2023: A Year in Review | OtterTune

From the rise of vector databases to SQL:2023 to MariaDB troubles and the FAA outage, 2023 was an exciting year in database history.