https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard

Достаточно интересный дашборд. Тут можно увидеть рейтинг "зацензуренности" той или иной модели.

В 2024 году появился новый метод по увеличению устойчивости LLM к adversarial атакам - Rainbow Teaming. Но сначала я расскажу немного о классических подходах, которые используются для защиты систем от кибератак: Red Teaming, Blue Teaming.

Сам термин “Red Team” возник во времена Холодной войны, где красными были коммунистические государства (с преимущественно красным цветом флагов), а синими - страны Западного мира. Оценивая возможные действия при атаке противника, военные моделировали различные угрозы для лучшей проработки своих стратегических планов. Со временем такой метод прогнозирования поведения противника стал применяться во многих областях. Поэтому, если мы говорим об информационной безопасности, то Red Teaming - это комплексная имитация атак с использованием технических, социальных и даже физических средств, направленная на оценку кибербезопасности системы. Blue Teaming же отвечает за мониторинг безопасности, обнаружение и предотвращение угроз инфраструктуры.
Есть и другие виды (и цвета) команд, но я не буду останавливаться на их особенностях и целях.

Теперь все готово для того, чтобы написать и о Rainbow Teaming. Аdversarial атаки могут вводить модель в заблуждение, а это может стать причиной небезопасного, предвзятого или некорректного поведения модели. Все это является серьезной проблемой, поэтому был предложен подход Rainbow Teaming для генерации разнообразных и высокоэффективных adversarial запросов. Он состоит из следующих шагов:
1. Определение особенностей для измерения разнообразия adversarial запросов (например, “Категория риска”, “Стиль атаки”).
2. Создание архива adversarial запросов, инициализируя его случайными примерами на первом этапе.
3. Создание оператора мутации для эволюции adversarial запросов.
4. Создание модели предпочтений, которая ранжирует adversarial запросы в зависимости от их эффективности.

А на картинке вы можете увидеть пример обновления adversarial запроса на основе двух признаков: категории риска и стиля атаки.

Хочу вам кое-что заспойлерить .. только тихо .. Это не сюжет нового фильма Гая Ричи там или Deadpool 3 .. Хотя что-то схожее есть .. Я хочу вам рассказать о том самом докладе, который я анонсил и, который будет полностью представлен на конференции SafeCode…

Вчера на оффзоне в разговоре я понял, что AI Sec специалист - это и AI, и Sec одновременно (внезапно, да). С одной стороны, всё не заканчивается на атаках через пиклы, уязвимости библиотек для ml и промпт-инъекциях в LLM - надо погружаться в нюансы работы всего пайплайна, от сбора до продуктовой эксплуатации. И с другой стороны - необходимо понимание существующих решений по сканированию уязвимостей, регистрации и обработке алертов и инцидентов безопасности, чтобы хотя бы ответить на вопрос, что уже защищено, а что нет.
Чтобы удержаться на плаву, в потоке прогресса, который только набирает обороты, самостоятельное обучение и штудирование матчасти оказывается недостаточно, к сожалению. Конечно, самым емким и результативным способом получения знаний, идей и ответов на сложные вопросы является общение. Порой несколько часов самостоятельного поиска можно заменить получасом мозгоштурма со сведущим человеком.
А где их найти, как не конференциях, подобных OFFZONE и TurboML?) И вот просто ходишь по конференциям, присоединяешься к различным беседам, и пошло-поехало. Так я нашел множество интересных личностей, с которыми получилось обсудить важные вещи

В общем, я приглашаю всех на мероприятие, посвященное развитию именно таких навыков - коммуникации, развитию сети контактов и понимания коллег и друзей.

Ссылка. Музей криптографии, завтра, 25.08, 11:00. Мест всего 30.

Там будут Алиса, Борис, я и еще много интересных ребят, приходите!

На этой ноте я завершаю свой броадкастинг по AI security на offzone2024. На самом деле было гораздо больше крутого материала. 11 докладов и куча активностей. Кто не сходил в этом году - обязательно посетите в следующем. Спикерам спасибо )) ??

+1 к Advisory, где описаны уязвимости MLOPS решений.

• ещё одна свежая книга в наш список того, что необходимо почитать летом.

В книге описаны угрозы конфиденциальности для машинного обучения, фреймворки для защиты и реальные примеры кода - для того чтобы эту защиту выстроить. Есть также отдельные разделы по защите моделей.

? (в PDF версии плохо перепарсился код, поэтому лучше читать в epub).

?.

Понравился мне GitBook, и решил я, что буду там вести блог(писать длинные статьи, вместо телетайпа) + мини-вики(там это также есть, заметочки про атаки на mlops). Я уже завёз туда первую обзорную статью про фреймворки для MlSecOps. Если кому-то интересно узнать кто сейчас предлагает фреймворк для того, что-бы безопасно выстроить процесс разработки ML или в каком фреймворке описано больше всего уязвимостей.. то вот

https://blog.wearetyomsmnv.wtf/articles/mlsecops-frameworks-...-which-ones-are-available-and-what-is-the-difference

8 фреймворков я пока-что знаю))).

К вашему ознакомлению. Да, не на родном, но думаю это не станет проблемой.