ИИ и безопасность

Актуально

1625

Уже скоро в Астане пройдет ставший традиционным форум Digital Bridge. Ваш покорный слуга модерирует на форуме панель по теме искусственного интеллекта (ИИ) в кибербезопасности, поэтому решил сделать эту колонку эпиграфом к предстоящему событию.

Многое было сказано о том, какие угрозы несет генеративный интеллект, если использовать его некорректно. Давайте поговорим о том, что может произойти, если применять его по назначению.

Западные регуляторы уже давно не только обсуждают, но и используют алгоритмы ИИ для облегчения прогнозной аналитики при сохранении конфиденциальности данных, для борьбы с мошенничеством при ускорении различных визовых процессов, для прогноза необходимого технического обслуживания, а также для таких привычных нам (и плохо работающих) вещей, как прогнозирование погодных условий.

Эти сценарии не лишены проблем, из которых ключевая (но не единственная) – конфиденциальность данных в моделях ИИ. Проблема особенно важна, если учесть, что в Казахстане, к примеру, все время происходит состыковка огромного объема данных, которые государство собирает о гражданах, с желанием иметь открытое правительство, при котором эти данные публикуются.

Также важным преимуществом ИИ является возможность написания кода, даже если у пользователя ограниченные познания. Тем не менее обновления моделей ИИ могут легко (и неожиданно) нарушить работу ваших приложений.

Техногиганты, работающие с ИИ, прекрасно осознают это, и недавно руководители семи ведущих компаний подписали мировое соглашение о включении по умолчанию технологий безопасности в разработку своих ИИ. Такие компании, как Amazon, Google, Meta, Microsoft и OpenAI и другие, поставили перед собой три цели:

обеспечение безопасности продукта до его выхода на рынок;
включение безопасности в качестве неотъемлемого элемента;
завоевание общественного доверия посредством публичной отчетности.

Время покажет, будут ли соблюдать эти компании соглашение, но уже сейчас профильные специалисты в Казахстане активно обсуждают потенциальные предубеждения и социальные риски, связанные с использованием ИИ. Среди решений, к примеру, местные дата-саентисты предлагают включать водяные знаки в результаты работы ИИ, чтобы уменьшить угрозу обмана посредством контента генеративного ИИ. Неизбежность прихода ИИ в казахстанский бизнес из мирового заставляет многих CISO в стране уже сейчас думать и решать – друг он или враг, будет ли отношение к нему как к товарищу по команде.

Какие острые вопросы следует задать ИИ от лица CISO?

Производила ли ИТ-команда вместе с бизнесом всестороннее тестирование алгоритмов ИИ перед внедрением? Какие стандарты ИБ в ИИ были использованы в алгоритмах? (К примеру, NIST AI RMF 1.0.)
Откуда взялись данные, используемые для обучения ИИ? Если использовались персональные данные, дали ли связанные лица свое согласие на это?
Что делает алгоритм ИИ, чтобы предотвратить или максимально смягчить предвзятость в результатах?
Всесторонне ли поставщик решил проблемы безопасности, связанные с машинным обучением, и если да, то как?
Был ли ИИ спроектирован с учетом сложности поверхностей атаки систем ИИ, и если да, то каким образом?
Как цепочки поставок и сторонние компоненты искусственного интеллекта проверялись на предмет рисков для безопасности и конфиденциальности и как последние затем снижались?

Важно помнить, что именно люди руководят процессом, когда ИИ является партнером в команде. ИИ будет умножать ваши действия, правильные они или нет. Ваши лучшие люди сделают возможным лучшее использование технологий. И наоборот.