Genesis - генератор физики реального мира. Впечатляет..
https://www.youtube.com/watch?v=mKSttLFNlW0

NVIDIA представила Edify 3D — генератор 3D сцен на базе ИИ. Создаёт высококачественные сцены по простому описанию, причём все объекты полностью редактируемы. Новый этап в создании 3D-контента!

Сколько на самом деле стоит инференс GPT-4o?

Почему-то многие думают, что провайдеры больших языковых моделей продают API чуть ли не себе в убыток. Я бы хотел поделиться прикидками о том, почему это совсем не так, и заодно помечтать о том, сколько параметров мы можем себе позволить тратить на модель, которая сможет заменить человека в работе.

Все расчёты можно воспроизвести в колабе, меняя цифры, как вам захочется. Выводы остаются неизменны.

Для расчётов нам нужно сделать несколько допущений:
1. Количество активированных параметров в модели. Для GPT 4 Turbo широко ходили слухи про 200 миллиардов параметров, так что 4o должна быть меньше. По данным Artificial Analysis, пропускная способность GPT-4o – 95 tok/s, что находится между LLama 3.1 7b (182 tok/s) и 70b (80 tok/s). Для наших целей предположим, что в 4o 100 миллиардов активированных параметров, делая скидку на то, что в OpenAI инференсом занимаются крайне толковые люди. Кстати, Gemini Flash 1.5 с последним обновлением выдаёт 330 tok/s.
2. Амортизированная стоимость сервера с 8 H100. Чтобы не сильно расстраиваться, возьмём оценку сверху как цену такого сервера на AWS – на сегодняшний день $39.33 в час. На рынке цены могут быть минимум в пять раз меньше.
3. MFU – какой процент вычислений используется эффективно. Стандартом является 30-50%, для наших прикидок возьмём 30%.

При таких допущениях (а с другими вы можете поиграть в колабе), стоимость инференса миллиона токенов получается $0.23. Сравним это с официальной ценой в $2.5 за input и $10 за output и получим наценку API в ~50 раз. И это – оценка сверху со всеми допущениями в сторону удорожания. С другой стороны, кому-то же надо скидываться Саме на Koenigsegg. ?‍?

Заодно мы можем посчитать, насколько дешевле модели в сравнении с кожаными мешками. Взяв минимальную зарплату в Нью-Йорке ($16) и производительность в 100 токенов в минуту (среднее у людей примерно 50 слов в минуту), получим стоимость миллиона токенов в $2666.67. Даже o1 со своими $60 / Mtok тут рядом не стоит. Есть, куда расти!

https://www.phind.com/blog/introducing-phind-405b-and-better-faster-searches

Очень шустрая замена perplexity.ai со своей сеткой!
Попробуйте поиск, он работает очень быстро!

Прямо в хром завезли AI, он пока доступен в DEV билде. Это Gemini Nano модель.
Версия хрома с поддержкой: https://www.google.com/chrome/canary/
Демка: https://t.co/qIB2FgxHQY

Install Chrome Canary: Ensure you have version 127. Download Chrome Canary.
Enable Prompt API: Open chrome://flags/#prompt-api-for-gemini-nano, set it to "Enabled".
Enable Optimization Guide: Open chrome://flags/#optimization-guide-on-device-model, set it to "Enabled BypassPerfRequirement". Restart the browser.
Download Model: Go to chrome://components/, find "Optimization Guide On Device Model", ensure it’s fully downloaded. If the version is "0.0.0.0", click "Check for update".
Troubleshoot: If the "Optimization Guide On Device Model" is not displayed, disable the settings in steps 2 and 3, restart your browser and re-enable it.
Verify Setup: Open a webpage, press F12, and check window.ai in the console.

try-chromeai.vercel.app

Chrome AI

Vercel AI provider for Chrome built-in model (Gemini Nano)

В новом Google Chrome будет встроена LLM на уровне API браузера прямо, Gemini

Набор слухов про GPT-5 и даже про GPT-6 над которой уже началась работа. А ещё в chatgpt, возможно, будет реклама внутри ответов GPT! Или не будет никогда:)

https://x.com/8teAPi/status/1783719748188168548?t=T8sc9pZY-CLDpQqoLBUYRA&s=35