Как работать с искусственным интеллектом

В середине июля 2024 года Минцифры РК представило руководителя нового Комитета искусственного интеллекта, поэтому снова поговорим о системных аспектах и рисках ИИ, которые директора по ИБ и топы С-Level должны учитывать в своей работе.

Итак, о каких элементах отрасли ИИ мы обычно говорим (и зачастую путаем одно с другим)?

Искусственный интеллект (AI) — компьютерные системы, которые обычно могут выполнять задачи, требующие человеческого интеллекта (зрительное восприятие, распознавание речи, перевод).

Машинное обучение (ML) — это тип ИИ, с помощью которого компьютеры находят закономерности в данных или решают проблемы автоматически.

Большие языковые модели (LLM) используют алгоритмы, обученные на огромном объеме данных — превращение связей между частями данных в вероятности для прогнозирования последовательности.

Непрерывное обучение (CL) включает в себя методы корректировки или продолжения обучения модели после его развертывания на основе оперативного взаимодействия и обратной связи.

Есть четыре стадии работы с информационными системами — проектирование, разработка, развертывание и эксплуатация.

Безопасное проектирование

Основная цель — заложить кибербезопасность внутрь проекта ML, интегрировать ее в рабочие процессы, обучить исследователей данных и разработчиков ПО уязвимостям и видам сбоев в рабочих процессах и алгоритмах ML, внедрить принцип Secure by design.

Что учесть при реализации:

• методы обхода ML путем конкретных входных данных, предназначенных для сбоя;
• введение вредоносных данных в процесс обучения модели для отравления модели и ухудшения производительности;
• получение конфиденциальной информации;
• извлечение обучающих данных из развернутой модели (инверсия модели).

Безопасная разработка

Основная цель — определить применимые принципы ко всей разработке системы ML, понять всю цепочку поставок кода, использовать прозрачные и отслеживаемые данные, цепочки, модели данных, инсайд.

Что учесть при реализации:

• жестко и регулярно проверять тех, кто создает, обрабатывает и маркирует ваши данные, поэтому имеет прямое влияние на поведение вашей модели;
• контролировать код и сеты данных со стороны, находить плохо маркированные данные, предотвращать отравление данных;
• регулярно использовать инструменты сканирования и проверять ими целостность кода и данных;
• отслеживать распространенные уязвимости, связанные с вашим ПО и библиотеками кода.

Безопасное развертывание и эксплуатация

Основная цель — определить, как злоумышленники могут эксплуатировать доступ к модели, понять компромисс между прозрачностью и безопасностью, чтобы смоделировать потенциальные последствия нападения, создать параметры конфигурации системы, обеспечивающие защиту от распространенных угроз для этих стадий.

Что учесть при реализации:

• атаки, направленные на то, чтобы модель неправильно классифицировала конкретные примеры или создавала непредвиденные результаты (отравление LLM);
• атаки на доступность, когда злоумышленник ухудшает скорость или качество данных вывода;
• атаки с созданием модели-заменителя для имитации цели (чужая ML как услуга — MLaaS).

Конечная цель безопасности вашего бизнеса в партнерстве с ИИ — создание актуальных моделей CL — должно стать автоматизированным процессом, включая соответствующий мониторинг источников ошибки и отравлений. Также важно уметь предсказать стадии, где модель может начать корректировать свои прогнозы на основе новых обучающих данных, деградировать или, наоборот, превратиться в «Скайнет».