Новый метод защиты от атак исследования вычислительных моделей ИИ и машинного обучения, направленные на воссоздание у нарушителя обучающих наборов и извлечение моделей «Умный шум»

В рамках реализации ключевого проекта «Комплекс технологических решений по защите систем искусственного интеллекта и машинного обучения от компрометации результатов их работы» перед разработчиками центра компетенций «Технологии доверенного взаимодействия» стояла задача создать новый метод защиты от атак исследования вычислительных моделей ИИ и машинного обучения, направленные на воссоздание у нарушителя обучающих наборов и извлечение моделей.
С целью реализации поставленной задачи, был проведен большой комплекс работ по анализу угроз исследования вычислительных моделей ИИ и машинного обучения, направленных на воссоздание обучающих наборов и извлечение моделей, а также подходов к защите от них.

По результатам исследований специалистам центра удалось систематизировать механизмы реализации угроз исследования вычислительных моделей ИИ и машинного обучения, направленных на воссоздание у нарушителя обучающих наборов и извлечение моделей, а также существующие методы защиты от них и разработать новый метод защиты от атак исследования вычислительных моделей ИИ и машинного обучения.

Метод «Умный шум» — реализует гибкое задание количества шума, налагаемого на выходе защищаемой модели, использует градиентный шаг для оптимизации шума. Делает невозможным для нарушителя вывод о принадлежности отдельных образцов набору данных, на котором обучалась атакуемая модель;
Метод на базе контроля расстояний в запросах: не воздействуя на механизмы защищаемой модели, выявляет поток запросов, поступающих от нарушителя при зондировании атакуемой им модели, по отклонению от нормального распределения данных, характерного для поведения обычных пользователей. Обеспечивает выявление и затем блокировку нарушителя, исследующего атакуемую модель;

Экспериментально подтверждена эффективность разработанных методов.

Все новости

При использовании материалов сайта активная ссылка на источник обязательна

Контакты:

office@nti.tusur.ru

Без рубрики

Новый метод защиты от атак исследования вычислительных моделей ИИ и машинного обучения

- ntiadmin|Опубликовано 28.06.2024

По результатам исследований специалистам центра удалось систематизировать механизмы реализации угроз исследования вычислительных моделей ИИ и машинного обучения