Как обычно много работы, поэтому статей тут не так много, но держите хотя бы новости про нас https://poolside.ai/checkpoint/unveiling-our-partnership-with-aws

А в этой статье интересным образом пытаются развязать выучивание знаний и выучивание "навыков" на этапе finetuning https://arxiv.org/abs/2410.19290

Очень неплохая статья, которую стоит прочесть, чтобы узнать о том, как можно использовать scaling laws для подбора оптимальной архитектуры и гиперпараметров, избежав при этом дорогих абляций на больших моделях. Конкретные детали не так важны, как общая концепция muTranssfer + scaling law + гридсерч по семействам маленьких моделей https://arxiv.org/abs/2304.06875v4

А вот вышло хорошее интервью нашего фаундера на подкасте 20VC

Очень любопытная статья, позволяет взглянуть на alignment с новой (как минимум для меня) стороны

Очень неплохая статья, где пробуют теоретически объяснить, почему DPO и подобные offline алгоритмы (где мы не семплируем из политики а только учимся на уже имеющихся примерах) работают хуже, чем online алгоритмы. И, что еще лучше, предлагают простой способ побороться с этим: давайте во время обучения DPO семплировать on policy примеры и просто считать на них не реворд какой-нибудь, а KL дивергенцию с исходной политикой, и добавлять в лосс