Мы начинаем наш семинар https://us06web.zoom.us/j/88299182516?pwd=OzD6nYhPwKeuAym4b4eRblKBMtFSbZ.1

17 декабря в 18:30 у нас выступит Vipula Rawte (University of South Carolina, США) c докладом
“The Troubling Emergence of Hallucination in Large Language Models”

Аннотация:
The recent advancements in Large Language Models (LLMs) have garnered widespread acclaim for their remarkable emerging capabilities. However, the issue of hallucination has parallelly emerged as a by-product, posing significant concerns. While some recent endeavors have been made to identify and mitigate different types of hallucination, there has been a limited emphasis on the nuanced categorization of hallucination and associated mitigation methods. To address this gap, we offer a finegrained discourse on profiling hallucination based on its degree, orientation, and category, along with offering strategies for alleviation. As such, we define two overarching orientations of hallucination: (i) factual mirage (FM) and (ii) silver lining (SL). To provide a more comprehensive understanding, both orientations are further sub-categorized into intrinsic and extrinsic, with three degrees of severity - (i) mild, (ii) moderate, and (iii) alarming. We also meticulously categorize hallucination into six types: (i) acronym ambiguity, (ii) numeric nuisance, (iii) generated golem, (iv) virtual voice, (v) geographic erratum, and (vi) time wrap. Furthermore, we curate HallucInation eLiciTation ( ), a publicly available dataset, comprising of 75,000 samples generated using 15 contemporary LLMs along with human annotations for the aforementioned categories. Finally, to establish a method for quantifying and to offer a comparative spectrum that allows us to evaluate and rank LLMs based on their vulnerability to producing hallucinations, we propose. Hallucination Vulnerability Index (HVI). Amidst the extensive deliberations on policy-making for regulating AI development, it is of utmost importance to assess and measure which LLM is more vulnerable towards hallucination. We firmly believe that HVI holds significant value as a tool for the wider NLP community, with the potential to serve as a rubric in AI-related policy-making. In conclusion, we propose two solution strategies for mitigating hallucinations.

Ссылка на семинар: https://us06web.zoom.us/j/88299182516?pwd=OzD6nYhPwKeuAym4b4eRblKBMtFSbZ.1

Мы начинаем наш семинар https://us06web.zoom.us/j/88299182516?pwd=OzD6nYhPwKeuAym4b4eRblKBMtFSbZ.1

3 декабря в 18:30 у нас выступит Любовь Тупикина (CRI/Bell labs, Франция) с докладом:

“Some techniques on processing textual data with lower dimensional embeddings”

Аннотация: Мы поговорим о математических задачах, которые возникают при обработке больших данных. В частности, о задаче вложения пространств высокой размерности в пространства низкой размерности. Если действовать стандартными методами, при вложении данных часто можно столкнуться с серьезными проблемами, например, глобальная структура таких данных не представится точно, и что еще важнее — метрики низкоразмерного пространства выбираются «по умолчанию». Нас будет интересовать вопрос, какую модель вложения использовать в этих ситуациях, и вообще, когда этот вопрос для данных можно решить. Мы исследуем т. н. латентное пространство (latent space) методов вложения, используя комбинацию двух подходов: вложения гиперграфов и техник уменьшения размерности. В качестве одного из приложений нашего подхода мы рассмотрим данные текстов статей на arXiv.org, чтобы понять, как ландшафт знаний можно охарактеризовать с помощью представления данных высшей арности (гиперграфов). Мы также обсудим открытые проблемы (no solutions to be promised, yet some questions to discuss:), такие как вопрос о том, как такое представление данных в виде гиперграфа может быть связано с объяснимостью архитектуры моделей встраивания типа BERT etc..

Ссылка на встречу: https://us06web.zoom.us/j/88299182516?pwd=OzD6nYhPwKeuAym4b4eRblKBMtFSbZ.1

Сегодня не все смогли присоединиться к семинару. Просим прощения за подобную неорганизованность. Запись семинара доступна на нашем Youtube канале.

Мы начинаем наш семинар: https://telemost.yandex.ru/j/89085873905223

19 ноября в 18:30 у нас выступит команда Vikhr models c докладом:

“Как мы русифицировали языковые модели и пришли к лучшей в классе открытой модели на русском”

Ссылка на видеовстречу: https://telemost.yandex.ru/j/89085873905223

Мы начинаем наш семинар https://telemost.yandex.ru/j/47047112884196

29 октября в 18:30 у нас выступит Виктор Москворецкий (Сколтех) с докладом

“LLM for Taxonomy-Related Tasks”

Аннотация: Большие языковые модели все чаще используются в исследованиях как универсальный инструмент для решения различных задач. Однако их применение к задачам, связанным с таксономиями, до сих пор изучено недостаточно (например, построение таксономий, предсказание новых узлов, поиск родительского узла для добавления нового элемента и т.д.). В докладе будут представлены две статьи, опубликованные на конференциях COLING/LREC и ACL в этом году. Рассматривается применение языковых моделей для предсказания вершин в графе таксономии, а также способность моделей переносить знания о таксономии на другие задачи: предсказание лексических следствий, поиск родительских вершин в существующем графе и построение таксономий с нуля.

Ссылка на видеовстречу: https://telemost.yandex.ru/j/47047112884196