Поздравляю всю команду AIRI с новым рекордом — 17 статей принято на Neurips 2024!

О результатах и трендах

→ Качественное изменение в работе языковых моделей напоминает ситуацию с ImageNet. Сейчас мы выходим на плато, когда разница в несколько процентов не так значима, как было на заре популярности ChatGPT. Весь прошлый год прошел под знаком развития текстово-картиночных ответов диалоговых моделей, и ключевой тренд ближайшего будущего — объединение модальностей, понимание различных форматов данных одновременно.

→ Необходим поиск альтернативных, более устойчивых архитектур, чтобы переходить с большого количества GPU на CPU.

→ Чтобы партнерские проекты были эффективными, нужно повышать узнаваемость ученых и чаще говорить о практической пользе фундаментальных достижений. Обучая, например, ИИ-помощник врача, ученые получают от одной клиники-партнера много медицинских снимков и мало описаний, а от другой — наоборот. Данные и текстовые описания в разных системах не связываются. Это классическая задача переноса данных, и в ее решении помогут результаты работы Александра Коротина по изучению нейронного оптимального транспорта.

О людях и красоте

→ ИИ отличается от классической математической науки, потому что ИИ это не только научный процесс, но и менеджмент высокого уровня. В центрах ИИ возникли ученые-менеджеры, которые умеют объединять экспертов из разных областей для решения практических задач. Исследования важны, но исследователи — важнее! Помимо интеллектуальных систем, необходимо уделять внимание обучению людей осознанной и эффективной работе с ними.

→ При наличии бюджета и ставок в компаниях начинается активный найм студентов на первых двух курсах. Часто в результате ребята теряют время и в университетах, и на работе, в итоге оставаясь на линейных позициях. Нужно поощрять осознанное поступление в аспирантуру. Если бизнес заберет всех студентов, он сам же пострадает.

→ 90% идей появляются внезапно. Этот момент — то, ради чего ученые всей этой ~~ерунд..~~. деятельностью занимаются! Красота науки — это идея. Ее не видят люди.

→ Физически обоснованный ИИ имеет существенные преимущества над «просто ИИ» в контексте решения сложных научных задач о природодостоверном моделировании процессов. Об этом мы много говорили на сессии ML+Физика с Александром Корсунским.

→ Увидеть примеры инженерной красоты можно в работах Он-квока Ли.