LLamaGuard-7b для проверки промтов и ответов на вредный контент.
Доступ к самой модельке нужно запрашивать.

https://huggingface.co/meta-llama/LlamaGuard-7b

Прогнал (по 1 запуску на сценарий) одну из самых лучших 7B моделек на сегодня https://huggingface.co/openchat/openchat-3.5-0106

CyberMetric-10000-v1.json | Final Accuracy: 78.3%

CyberMetric-500-v1.json | Final Accuracy: 82.8%

Результаты по тем 80 вопросам, что в табличке выше: CyberMetric-80-v1.json | Final Accuracy: 85.0%

Вопросы на которые ответила неправильно на CyberMetric-80-v1.json добавлю в комментарий к посту.

huggingface.co

openchat/openchat-3.5-0106 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Выложили бенчмарк-датасет на 10000 вопросов (в форме теста) по разным направлениям кибербезопасности, чтобы проверять знания людей и ллмок.

На картинке результаты прогона по 80 специально отобранным из 10000 вопросам.

https://github.com/cybermetric/CyberMetric

Кстати, прямо сейчас проходит

Large Language Model Capture-the-Flag (LLM CTF) Competition @ SaTML 2024

Как я понял из описания продлится до 3 марта.
Кнопочка регистрации команды активна

https://ctf.spylab.ai/

На этот раз обзорная статья по LLM в киберсеке

Large Language Models in Cybersecurity: State-of-the-Art
https://arxiv.org/abs/2402.00891

rebuff - детектор промт-инъекций.

Позволяет проверить пользовательский ввод
эвристиками,
LLMкой,
добавлять атаки в векторную базу для поиска похожих атак в будущем,
добавлять canary токены.

Проект все еще в активной разработке.

https://github.com/protectai/rebuff

GitHub

GitHub - protectai/rebuff: LLM Prompt Injection Detector

LLM Prompt Injection Detector. Contribute to protectai/rebuff development by creating an account on GitHub.

Наткнулся на интересную разработку от NVidia. У них есть фреймворк нацеленный на разработку AI пайплайнов для реалтайм обработки больших объемов данных с акцентом на кибербезопасность.
В последнее время много работают в направлении AI Cybersecurity.
NVIDIA Morpheus
https://developer.nvidia.com/morpheus-cybersecurity

NVIDIA Developer

NVIDIA Morpheus - AI Framework for Cybersecurity

Filter, process, and monitor real-time data with AI to identify, capture, and act on cybersecurity threats that are difficult to detect in the data centers, cloud, and edge.

Большая работа по исследованию adversarial атак на Reward Machine-based обучение с подкреплением.

Adversarial Attacks to Reward Machine-based Reinforcement Learning
https://arxiv.org/abs/2311.09014

О Transfer Learning в домене кибербезопасности

Systemization of Knowledge (SoK)- Cross Impact of Transfer Learning in Cybersecurity: Offensive, Defensive and Threat Intelligence Perspectives
https://arxiv.org/abs/2309.05889

Transfer Learning - это адаптация ML алгоритма натренированного для решения одной задачи под другую.