Ну и касательно предыдущего тезиса.

Цитата: "Ilya Sutskever, co-founder of AI labs Safe Superintelligence (SSI) and OpenAI, told Reuters recently that results from scaling up pre-training - the phase of training an AI model that uses a vast amount of unlabeled data to understand language patterns and structures - have plateaued." Вообщем наконец-то начали признавать как обстоят дела. И думаю что Илья хорошо понимает что нужны другие методы и алгоритмы для следующего шага. Трансформеры в полной мере примерно показали себя.

Одна из самых как по мне значимых статей вышла. Она убедительно показывает, что мы достигаем пределов квантизации. В работе говорится: чем больше токенов используется для обучения, тем больше точности требуется. Или помните все эти битнеты(где всего веса из трех цифр 1 0 -1) и прочее (кажется это полное опровержение данной идеи).

Важно:
- почти всегда мы достигали лучшей производительности и прочего путем снижения размерности (пусть даже и циферок)
- другими словами замедление пришло и оно реально, похоже надо учиться улучшать то что есть уже и оптимизировать под более узкие кейсы

Всем интересующимся AI на серьезно обязательно читать

https://arxiv.org/pdf/2411.04330

Не все может в курсе, но было время играл профессионально в футбол за тогда еще Смена, которая потом стала академией Зенита Санкт-Петербург. Поэтому переживаю на спорт и кажется там очень много проблем. Особенно в поиске талантов и процессу как игрок идет от молодежки к взрослому уровню. Кто смотрел такой сериал «вне игры»? Да я в целом верю что с помощью технологий можно значительно улучшить процесс в футбольных школах. Коррупции там тоже дофига.

Например, слежу за JuniStat - там ребята научили сеточки точно считать данные футболистов с помощью мобильника и собрали метрики с тысяч игроков от 8 до 18 лет по всему миру. Клубы и федерации используют эту систему, чтобы отслеживать данные перспективных игроков через тесты, валидированные по стандартам FIFA.

В мое время такие технологии были недоступны - сложно представить сколько детей могли бы показать себя и попасть на радары только по своим данным.
Ну и для тех кому не безразличен спорт и все такое вот канал CEO, и да это не реклама. Один из немногих проектов которые хочется поддержать, и я даже не инвестор @junistatsystem

Так как у нас тут снова много новых подписчиков. Обновляю пост со своими «самыми полезными» постами.

Считаю плюс минус достойно внимания:
- про нетворкинг в твиттере
- про тиктоки для собак и кошек
- про то что я был первый официальный посетитель Apple Park
- про пуши в приложениях
- про mute
- мой драфт дека для ранней стадии consumer продукта
- про аналитику стартапов ранней стадии
- как выглядит апдейт для инвесторов - шаблон письма
- про паттерны быстрорастущих приложений
- про комьюнити немного
- почему я отказался от публичности
- про то что я бы делал иначе стартанув сейчас Prisma
- на кого подписан с колокольчиком в твиттере
- про сделку, и сделки о покупке стартапов в целом
- про всякие собеседования
- чуть чуть про retention
- про саботаж как проектную деятельность от ЦРУ

Нашел свой дек образца конца 2017, начала 2018 или где-то там. Может кому интересно. Поднял дек этот где-то лям сразу, но просто потому что после Prisma. В долине заходил норм :)
Что бы вы поменяли в нем? Или добавили? Слайд с командой не нужен был если что.

Новый четкий лидербоард для оценки моделей

Scale

SEAL leaderboards

model-eval-public by Scale

Кому было интересно, ну вообщем начали тренировать новую модель OpenAI - наверное GPT5Q или около того. Известно это стало из новости об образовании safety комитета, ну правильно боятся что натренируют снова ерунды по всяким чувствительным вопросам.

Так же до меня дошло почему Игорь Бабушкин в xAI такой круто и видимо потому что он написал вот такую работу, которая говорит что мол есть такой эффект Grokking (оттуда и название модели Илона видимо), якобы это такая продвинутая генерализация даже если непосредственно таких данных вы в сетку не кормили (Петя друг Вани. Ваня 1999 года рождения. Тогда можем сказать что Ваня 1999 года рождения друг Пети.). Тема интересная так как смахивает на то, что какие-то логические цепочки можно получить скормив ну очень много подобного рода данных. Вы кормите и данные и некоторые зависимости между ними, а модель при очень долгом обучении на таких данных начинает эти зависимости неким образом соединять выводы новые правила (импликация и прочие штуки).

И вот выходит новая работа которая очень хорошо развивает эту тему.
Авторы изучают как же так иногда выходит получить гроккинг (а-ля магия), а иногда нет. Если кратко, то эффект по сути сводится к тому что мы можем получить связи OOD (out of distribution) имея много примеров и связей между ними и потом на них очень долго обучаем. Хороший обзор.

Еще крутая тема это Super-alignment но о ней потом.