Маск пытается в OpenAI 2.0

Его новая компания xAI, выложила 314B (а это реально Пи3дец как много для опенсорса) MoE модель Grok-1.

По метрикам, пишут, что лучше чем GPT-3.5, но, имхо для 314B звезд с неба не хватает. Реализация на:

import haiku as hk import jax

Из интересного, это самый большой опенсорс (в текущем поколении моделей), да еще и под лицензией apache. Ну а пока, кажется, что 46.7B (8x7B MoE) Mixtral или Hermes-Mixtral (ну и если нужно полегче 7B Mistral / Hermes-Mistral или совсем лайтовую 2.7B phi2) самое адекватное, что есть из опенсорса.

Код здесь. https://github.com/xai-org/grok-1

Все, что вы хотели знать о SORA

The Wall Street Journal взяли интервью у Миры Мурати (OpenAI CTO). Ждем SORA в этом году (она надеется, что будет доступно юзерам в течение пары месяцев). Обещают стоимость генераций, соизмеримую с DALL-E (что бы это ни значило)

📼 YouTube: https://www.youtube.com/watch?v=mAUpxN-EIgU

Сегодня Международный женский день.

Тут не будет поздравлений, состоящих из пошлых клише в стиле "... женщины, которые вдохновляют нас не только своей красотой, но и своими успехами".. аж плохо стало...

Я хочу написать о реальной борьбе, которую ведет каждая женщина. Этот день — не о цветах и комплиментах, а о признании тех вызовов, с которыми сталкиваются женщины ежедневно.

Сегодня я хочу призвать каждого из нас задуматься. Начнем с того, что будем открыто говорить и признавать проблему, которая существует.

Могу добавить, что я очень рад тому, что вижу все больше женщин в сфере AI ресерча, которые делают невероятно крутые вещи. И еще рад тому, что в моем окружении нет места токсичным рабочим паттернам и стереотипам, а есть уважение, равенство и доверие!

Всем хорошего дня!

Точность в нейминге размера модели критически важна для LLM, поскольку это влияет на справедливость сравнения, воспроизводимость результатов и понимание компромиссов между размером модели и её производительностью. Решил создать тред на HF. так что поддержать…

не сдавайтесь 🫶

📝 Официальный подробный гайд по Prompt Engineering в GPT-4 от OpenAI

https://platform.openai.com/docs/guides/prompt-engineering/strategy-test-changes-systematically

https://youtu.be/QdBZY2fkU-0?si=oTfNhOhFxQfHJoUO

YouTube

Grand Theft Auto VI Trailer 1

Song: Love Is A Long Road Artist: Tom Petty Written by Thomas Earl Petty and Michael W. Campbell Published by Universal Music Works on behalf of Wild Gator Music (GMR) and Wixen Music Publishing, Inc. as agent for Gone Gator Music (ASCAP) and NotoriousJBPSongs…

Stable Diffusion XL — Turbo. Text2Image в реальном времени

Stability AI представила SDXL Turbo — новаторскую модель генерации изображений из текста в реальном времени. Основываясь на технологии Adversarial Diffusion Distillation (ADD), SDXL Turbo достигает высочайшего качества, уменьшая количество необходимых шагов инференса с 50 до одного!

SDXL Turbo доступна для испытаний на платформе редактирования изображений Stability AI: Clipdrop, и пока предназначена только для некоммерческого использования.

https://youtu.be/adDyTzBdUcg?si=8NqucZ4y29IAHYNE

👉 https://stability.ai/news/stability-ai-sdxl-turbo

YouTube

SDXL Turbo