Ира Николаева завела канал и делится новостями и экспериментами нашей RnD-команды. Подписывайтесь!

А у Арсения Пименова вышел интересный тест визуальных моделей на работах импрессионистов. Кстати, тест не случайно посвящен картинам — Арсений еще в университете проводил исследование в этой области. Их научная группа изучала, что сильнее влияет на цену картины на аукционах: биография художника или характеристики самого произведения.

В ближайшие недели выходит релиз OWASP Top 10 for LLM Applications 2025. Часть старых уязвимостей исключается из гайда, и их заменят новые.

Model Denial of Service. DOS-атака на LLM больше не считается уязвимостью моделей как таковых, и этот пункт заменит Unbounded Consumption.

Overreliance — недоверие к результатам работы LLM будет переименовано в Misinformation. Это не о дипфейках и дезинформации, а о фактической неточности генерации и, как ни странно, качестве работы кодовых моделей. Остаются вопросы к этой "уязвимости", но хотя бы неудачное название Overreliance уйдет в прошлое :)

Insecure Plugin Design больше не будет в списке критичных уязвимостей. GPT-плагины так и не получили массового распространения, и даже GPT Store остается нишевым маркетплейсом. Вместо этого в новом гайде добавлена глава про уязвимости RAG-систем, которые стали стандартом в реализации корпоративных ИИ-ассистентов.

Кража модели также перестает быть уязвимостью, вынесенной на первый уровень фреймворка.

Выделена новая уязвимость System Prompt Leakage, на которую OWASP рекомендует обратить внимание разработчикам прикладных решений на GenAI. Дискуссия о том, стоит ли включать ее отдельным пунктом или оставить в рамках Prompt Injection, длилась долго, но в результате голосования утечка системного промпта вошла в новую версию фреймворка.

Также доработаны существующие разделы списка уязвимостей, добавлены свежие инциденты и ссылки на таксономии MITRE ATLAS и штатовский NIST AI Risk Management Framework.

К новой версии, безусловно, остаются вопросы, но это движение вперед и актуализация видов угроз для GenAI-приложений. OWASP — это открытое сообщество, и сейчас решения о включении тех или иных пунктов принимаются на основе обсуждений и голосования, а не статистики инцидентов.

Команда Project Zero из Google впервые с помощью LLM обнаружила скрытую уязвимость в SQLite. Еще полгода назад в CyberSecEval2 исследователи указывали, что топовые модели пока не способны находить уязвимости, но всего несколько месяцев спустя этот результат был опровергнут. Разбор можно прочитать в Сиолошной.

Направление использования кодовых моделей для поиска уязвимостей быстро развивается. Объем исследований за последние месяцы наглядно показывает обзор "The Good, the Bad, and the Ugly" — только за 2023 год было опубликовано 83 работы о защите и обнаружению атак с помощью LLM. Надеюсь, авторы обновят свой обзор в следующем году, и мы сможем увидеть, насколько продвинулись инструменты за год.

Коллеги в понедельник проводят вебинар про метрики и бенчмарки в практических задачах на LLM. Приходите!

Закончился наш курс по безопасности ИИ в AI Talent Hub / ИТМО. Краткие итоги:
1. Программа курса была собрана в феврале по статьям с arxiv, как лоскутное одеяло. В апреле вышло 2 учебника, чеклисты по внедрению ИИ, которые помогут преподавать материал системно.
2. Область развивается стремительно, в месяц появляется полсотни новых работ, которые часто опровергают результаты прошлых исследований. Спрос на специалистов безопасности в ИИ высокий.
3. Участники курса тестировали aligment открытых и проприетарных моделей. Так же успешно провели тестирование LLM чат-бота для крупной ритейл компании, в области beauty.
4. Вышли статьи на Хабре: Артём Гроза и Данил Копецкий протестировали промпт-инъекции для Saiga2, Дарья Лютова написала про атаки через низкоресурсные языки, и Данил Капустин про "контрабанду токенов". Никита Беляевский выступил на конференции "Путь в науку" с докладом про методы промпт-инъекций.

Спасибо экспертам за поддержку и помощь в создании курса: Антону Белоусову, Артёму Семенову, Татьяне Шавриной, Ирине Николаевой и Елене Мимоглядовой. Благодаря вам курс получился увлекательным и полезным! Спасибо всем слушателям за усердие и участие во внеклассных активностях!

Смотрите открытую лекцию Татьяны Шавриной с нашего курса о том, как выбирать языковую модель. Ссылка на видео.