«Цифровой двойник» СКИФ обретает конкретику и помогает готовить научные кадры | ИВМиМГ СО РАН
https://icmmg.nsc.ru/ru/content/news/cifrovoy-dvoynik-skif-obretaet-konkretiku-i-pomogaet-gotovit-nauchnye-kadry

#новостиОтделения2
#семинарыФИЦ

🗓 20 ноября в 12:00 состоится заседание научного семинара Отделения «Моделирование сложных физических и технических систем»

На заседании семинара будет представлен доклад на тему: “Современные суперкомпьютерные платформы 2024”.

Докладчик: кандидат физико-математических наук Черных Игорь Геннадьевич (рук. ЦКП Сибирский Суперкомпьютерный Центр СО РАН, зав. лаб. Суперкомпьютерного Моделирования ИВМиМГ СО РАН).

В докладе будет представлен обзор современных и перспективных суперкомпьютерных архитектур для решения широкого круга задач, связанных с машинным обучением и анализом данных. Также будет детально разобрана вычислительная и инженерная инфраструктура одного из ведущих суперкомпьютерных центров в мире, созданного, в том числе, для решения задач, связанных с большими языковыми моделями.

📍Заседание состоится в смешанном формате в конференц-зале ФИЦ ИУ РАН по адресу: г. Москва, ул. Вавилова, дом 44, корп. 2, пом. 124.

💻 Интернет-трансляция будет доступна по ссылке: https://frccsc.ktalk.ru/hpc

18-19 ноября 2024 г. пройдёт Вторая научная конференция "Модели и методы динамики разреженных газов".

Страничка конференции https://www.frccsc.ru/conferences/rarefied

Прямая трансляция заседаний, а также подключение участников, пожелавших выступить дистанционно, будет доступно в дни конференции по ссылке https://frccsc.ktalk.ru/ficrgd

Программа докладов прилагается.

В России создан бенчмарк LIBRA для оценки моделей на длинном контексте

Специалисты SberDevices, МФТИ, AIRI и Ecom. tech разработали бенчмарк LIBRA для оценки моделей на длинном контексте для русского языка. Он включает 21 задачу, каждая из которых разделена на четыре группы сложности и позволяет оценивать LLM в различных длинах контекстов — от 4 тыс. до 128 тыс. токенов.

В первую группу специалисты поместили задачи, связанные с поиском короткого фрагмента информации среди большого количества нерелевантного текста. Во второй группе перед моделями поставили задачи найти ответ на вопрос и ответы с множеством выбора. Третья группа стала логическим усложнением задач из второй группы: перед моделями возникла необходимость поиска ответа, распределенного среди нескольких релевантных фрагментов во всем тексте. Четвертая группа состояла из задач, требующих от LLM понимания всего контекста, решения задач в комплексных доменах.

Для распределения экземпляров датасетов по длинам контекстов исследователи посчитали на всем бенчмарке среднее количество токенов, получаемое при токенизации одного слова. Это значение получилось примерно равным 3, оно и было выбрано для подсчета длины контекста в токенах.

По словам специалистов, увеличение длины решаемых задач ожидаемо приводит к деградации качества у большинства моделей даже в том случае, если последовательности далеки от выхода за пределы заявленных длин контекстов этих моделей.

? Источник: https://habr.com/ru/companies/sberdevices/articles/834638/

? LIBRA на GitHub и Hugging Face
? Статья на arxiv.org