https://diamond-wm.github.io/

Играем в диффузионный CSGO

Познакомился с сетями Хопфилда в гениальном курсе по теории информации от David McKay. Невероятно прикольная штука которая пока не взлетела и не нашла практических применений. Самоорганизующаяся память! Лично для меня выглядит как то чего не хватает нейросетям, а RAG и обращения к внешним хранилищам это костыли, которыми мы пытаемся закрыть эту потребность.

Есть какие-то попытки привнести их в современные нейросети и даже слой в Pytorch. Никак не доберусь прочитать, но постараюсь сделать обзор.

В общем сети Хопфилда это покемон за которого я болею

tl;dr: lead ML engineer at Neon.tech, $150-350k/year, remote

Мы ищем инженера пилить AI-кодогенерацию в новый проект Neon!

Подождите, но Neon же делает базы данных?

Да. БД, которые, неожиданно, оказались идеально приспособлены для AI SWE-агентов.

Нейронки пишут код за секунды и очень быстро создают десятки тысяч баз данных, к которым, возможно, никто никогда не обратится пять минут спустя.
Neon же умеет создавать новые БД за доли секунд, а уже имеющиеся при неактивности могут "уснуть" и проснуться почти мгновенно, когда понадобятся — магия!✨

Теперь ребята хотят сделать своего собственного AI разработчика. Мы ищем техлида-инженера, который за это возьмётся, а в будущем — расширит и возглавит небольшую AI-команду.

Пара фактов про Neon:
🟡основатель — Никита Шамгунов, он же фаундер SingleStore — другой СУБД с оценкой выше $1B;
🟡инвестиции — более $100M от Menlo Ventures, Khosla Ventures, Founders Fund и других;
🟡команда — контрибьюторы в Postgres и ex-CTO Dropbox на борде 😎

Ещё у них очень интересно и приятно работать. Знаем, потому что собственноручно наняли десяток человек в их кор команду!

Вы — тот, кого мы ищем, если:🌟у вас есть опыт с LLM и вы хорошо понимаете AI тренды;
🌟вы техлид или тимлид, который любит и готов кодить руками;
🌟совсем идеально, если в бэкграунде у вас — опыт разработки БД.

Полная удаленка, оформляют по всему миру через Oyster, вилка $150-350k + equity.

Смотреть на ваши невероятные резюме готов Федя @owlkov 👀

Год назад я обозревал доклады с Practical ML Conf 2023 от Яндекса и теперь стараюсь за ней послеживать, потому что там появляются очень ценные доклады про применение ML. В сентябре прошла Practical ML Conf 2024, и я наконец-то добрался посмотреть пару докладов.

Все доклады можно найти здесь.

Посмотрел Виктора Плошихина, который рассказывал про создание LLM для работы с кодом.

Особенно интересные моменты:
- Обучали не на next token prediction, а на next statement prediction, потому что в коде можно выделить законченные куски кода.
- Главная онлайн метрика - retention. Насколько разработчики возвращаются к использованию ассистента.
- Назвали очень интересную оффлайн метрику: UnitTest. Берется test покрывающий функцию, маскируем часть кода в этой функции, заполняем с помощью ассистента, проверяем, проходит ли тест.
- Изобрели другую оффлайн метрику, скомбинировав несколько факторов, чтобы она коррелировала с Retention.
- Между пользователем и LLM стоит CPU бекенд с Catboost, который решает, надо ли дополнять контекст, кеширует и позволяет делать A/B тесты. Разделять GPU инференс и CPU бизнес логику вообще бестпрактис.

Мало сказали про модель помимо того, что ее размер около 7B. В основном получилось про метрики и данные, но мне кажется это как раз самая интересная часть. Хотя я бы еще послушал про методы ускорения, которыми они добились ответов p99 в пределах 500ms.

Решил посмотреть, что творится в мире книг, которые не должны существовать.

Первая страница книги "More Effective ChatGPT Prompts..." и там 👀 ...

Многие спросили про использование LLM для написания книги.

Была такая история:
- Привет, бот. Смотри, я пишу такую книгу, вот концепция, для кого книга, описание стиля, каркас главы, семпл текста. Мне не нравится пример в первой главе, да и вообще хотелось бы сквозное повествование: чтобы в течение всей книги сохранялся один сеттинг и все примеры имели к нему отношение. Нужно, чтобы тема была понятная каждому, интересная и прикольная, но чтобы про нее были реальные данные и не выглядело совсем игрушечно.

Что сказал сильный ИИ 🧠🧠🧠:
- Братан, ты по адресу. Я знаю тему, которая тебе нужна: ИИ в садоводстве. Возьмёшь датасеты про ирисы и вино. Всем будет интересно и полезно. Можешь не благодарить и $100 чаевых себе оставь, банкет за мой счет

🎆🎆🧠🤯

# Я пишу научно-популярную книгу про искусственный интеллект

Контракт с издательством подписан и можно наконец-то вам рассказать.

Когда мне предложили писать книгу про ИИ моя реакция была такой: "Я???"

Определённо мне не хватит экспертизы сказать что-то весомое по технической части или концептуализировать, что ИИ несет для общества.

Однако я обнаружил, что есть обделенная вниманием ниша, где именно я могу кое-что сделать. Все книги про ИИ делятся на технические, футурологические и про применение в бизнесе. Плюс всякий треш про ваш перввй миллиард на нейросетях. Вот чего не хватает: научпопа.

Я намерен написать лучшую книгу, которая объяснит любопытному читателю как работает искусственный интеллект. Без спекуляций о будущем, запугиваний, что вас завтра заменят, инструкций как трансформировать свой шиномонтаж с помощью ChatGPT. Без пустого хайпа.

Не знаю как самая важная тема века осталась без веселого просветительского материала, но постараюсь это исправить и рассказать, что действительно происходит и как оно работает.

Я хочу показать всем, что ИИ это очень интересно, доступно каждому и просто круто.

Редко выпадает шанс сделать что-то действительно отлично. Здесь я его вижу. Можно написать лучшую книгу в своем роде.

Всем известно, что писать книги сплошное удовольствие. Физик-космолог Макс Тегмарк в своей книге описывает как исследовал что-то связанное с космической радиацией. Шест лет работы, чтобы построить один график. В результате получилась статья в которой было шестьдесят соавторов. Он пишет, что это было самое изнурительное дело в его жизни. Потом добавляет: кроме этой книги.

Так что пожелайте мне удачи

VLM в Нейро

Сегодня у нас большое обновление в Поиске. В том числе, команда VLM тоже приняла в нём участие!

Написали с коллегами пост на хабр про то, как мы затаскивали VLM в Нейро (писал про релиз здесь). В этот раз мы немного раскрыли подробности про то, как работает Нейро, где и зачем потребовалась там мультимодальность. Припорошили немножечко теорией про VLM.

Больше ни слова в посте, приятного прочтения поста!

Стрим про карьеру, собеседования и бигтех #career #interviews Choose your fighter. Собрал вам тут бигтех-банду для стрима: - Татьяна Шаврина (LI) – Research Scientist Manager в лондонской Мете в команде LLama-4, авторка канала @rybolos_channel (пост-приветствие).…