Скоро подкатят прекрасные новости, поэтому я немного выпал :) будет много контента связанного с этим

А пока мемчик

А это прикол? Или чуваки серьезно?

Новый четкий лидербоард для оценки моделей

Scale

SEAL leaderboards

model-eval-public by Scale

Кому было интересно, ну вообщем начали тренировать новую модель OpenAI - наверное GPT5Q или около того. Известно это стало из новости об образовании safety комитета, ну правильно боятся что натренируют снова ерунды по всяким чувствительным вопросам.

Так же до меня дошло почему Игорь Бабушкин в xAI такой круто и видимо потому что он написал вот такую работу, которая говорит что мол есть такой эффект Grokking (оттуда и название модели Илона видимо), якобы это такая продвинутая генерализация даже если непосредственно таких данных вы в сетку не кормили (Петя друг Вани. Ваня 1999 года рождения. Тогда можем сказать что Ваня 1999 года рождения друг Пети.). Тема интересная так как смахивает на то, что какие-то логические цепочки можно получить скормив ну очень много подобного рода данных. Вы кормите и данные и некоторые зависимости между ними, а модель при очень долгом обучении на таких данных начинает эти зависимости неким образом соединять выводы новые правила (импликация и прочие штуки).

И вот выходит новая работа которая очень хорошо развивает эту тему.
Авторы изучают как же так иногда выходит получить гроккинг (а-ля магия), а иногда нет. Если кратко, то эффект по сути сводится к тому что мы можем получить связи OOD (out of distribution) имея много примеров и связей между ними и потом на них очень долго обучаем. Хороший обзор.

Еще крутая тема это Super-alignment но о ней потом.

Кому интересно ребята собрали раунды в AI landscape. Так для изучения.

Специально для вас собрал из Docsend. Мемо Секвойи о решении иневстировать в YouTube. Это одна из луших их инвестиций как по скорости возврата так и по его размеру.

Конечно мемо было раскрыто в рамках разбирательства виакома против ютуба. Но что конечно для нас плюс, очень интересно читать о том, какие факторы взвешивали топ партнеры фондов уже в 2000х.

Неплохо https://x.com/elonmusk/status/1770565942168420750?s=46

X (formerly Twitter)

Elon Musk (@elonmusk) on X

Livestream of @Neuralink demonstrating “Telepathy” – controlling a computer and playing video games just by thinking

Люблю сочинения Фейнмана. Все-таки наука дает незаменимые знания и опыт. Давай не забывать.

The first principle is that you must not fool yourself.

И не забывайте повторять эксперименты :)

https://calteches.library.caltech.edu/51/2/CargoCult.htm

Помню когда-то Facebook хвастался философией и культурой, что у них не users, а people. Ну да ну да. https://about.meta.com/uk/media-gallery/executives/

Это наверное после переименования в meta.