Что не так с информационной безопасностью в сфере ИИ?

В бизнесе все чаще используют технологии ИИ и большие языковые модели для анализа и генерации текста (LLM-модели). Это чат-боты для работы с клиентами, приложения на основе нейросетей и даже алгоритмы для тестирования кибератак. По версии консалтинговой компании Gartner, к 2026 году в разработке 70% мобильных версий IT-продуктов будет использован ИИ. Однако для обучения алгоритмов, которое почти не контролирует человек, нужен большой объем конфиденциальных корпоративных данных. Тем временем киберпреступники также вооружаются новыми технологиями и генерируют угрозы с еще большей скоростью. При этом обезопасить ИИ от атак с помощью классических инструментов ИБ в силу особенностей систем невозможно. Так алгоритмы становятся привлекательной мишенью для хакеров.

Уделять внимание совершенствованию методов защиты ИИ бизнес начал только в последние два года. Почти все учебные материалы для специалистов в этой сфере публикуются на английском языке и ориентированы на реалии англоязычного мира. «Учебников» же для новичков пока вообще не существует. До вузов эта дисциплина также не «добралась». Поэтому экспертам по ИБ в области ИИ приходится учиться на собственных ошибках и самим разрабатывать стандарты для защиты систем.

Для решения этой проблемы в России ИТМО совместно с компанией Raft запустили исследовательскую лабораторию LLM Security Lab. Цель проекта — создание экспертного сообщества по вопросам безопасности ИИ, а также подготовка специалистов в этой области. Инициатива реализуется на базе AI Talent Hub — магистратуры по машинному обучению ИТМО и Napoleon IT.

Какие задачи стоят перед участниками лаборатории?

В рамках проекта студенты под руководством экспертов будут развивать научные и прикладные разработки. Ключевыми направлениями исследований станут:

• Мониторинг и анализ контента. Разработка инструментов для отслеживания атак и анализа токсичности сообщений внутри пользовательской системы.
• Имитация кибератак и защита персональных данных. Изучение новых типов атак, разработка решений для предотвращения утечек конфиденциальной информации и обеспечения безопасности ИИ-продуктов.

Участники лаборатории также присоединятся к образовательному курсу «Безопасность LLM». Программа охватывает актуальные проблемы безопасности и этики в сфере ИИ, такие как разработка инструментов мониторинга и обнаружения атак на LLM-приложения, тестирование и сравнение характеристик этики LLM-моделей, очистка данных от чувствительной информации для обучения алгоритмов, аудит и защита ИИ-решений для бизнеса.

«Студенты будут работать с реальными коммерческими кейсами. Мы будем проводить аудит приложений, очистку персональных данных и анализ данных для крупных вендоров. Эти задачи будет передавать Raft от заказчиков. То есть практические задания курса будут составлены на основе запросов индустрии. Так студенты подготовятся к решению реальных бизнес-задач в области безопасности ИИ», — отметил разработчик курса «Безопасность LLM» и основатель лаборатории, руководитель AI продуктов Raft Евгений Кокуйкин.

В рамках курса также есть возможность подготовить материалы для публикации в тематических изданиях и выступления на IT-конференции. Выпускник первого потока курса, который проходил весной этого года еще не на базе лаборатории ИТМО, Данил Капустин представил тему «Виды промпт-инъекций и низко-ресурсные атаки» на конференции GigaConf. Другие участники также выступили с докладами на Saint HighLoad++ и Offzone. Старт учебной программы намечен на октябрь 2024-го.

Кто будет читать лекции и помогать с исследованиями?

Руководитель лаборатории — Евгений Кокуйкин. На протяжении нескольких лет он управлял командами разработки в Microsoft, Google и Evernote, сейчас стоит во главе отдела AI-продуктов Raft. Среди преподавателей также Дмитрий Ботов, руководитель образовательной программы «Искусственный интеллект» в ИТМО, Антон Белоусов, руководитель отдела разработок Raft с опытом работы в стартапах по информационной безопасности в сотрудничестве с Bosch, Mastercard, Ernst & Young и Deutsche Bank, и Ирина Николаева, начальник R'n'D отдела Raft. Для работы со студентами планируется приглашать и экспертов крупнейших отечественных IT-компаний: «Айтри», «EGGHEADS», «WiseAdvice» и «Positive Technologies».

Кто может стать участником лаборатории?

Встречи с преподавателями и экспертами проходят онлайн. Поэтому слушать лекции, выполнять задания и работать над исследованием можно из любой точки мира. Кроме того, присоединиться к проекту могут учащиеся любого российского вуза — не обязательно быть магистрантом ИТМО.

Требования к участникам:

• интерес к области ИБ при работе с ИИ, а также к прикладным или научным разработкам в ИБ;
• понимание работы LLM-моделей и архитектуры веб-приложений;
• знание Python на уровне, достаточном для написания собственных функций, классов, скриптов;
• желателен опыт подготовки данных, тренировки ML-моделей и умение работать с технической литературой на английском языке.