АРРФР разработает защиту от рисков автономных ИИ-агентов
Агентство также использует ИИ для анализа киберинцидентов
АРРФР намерено выстроить систему контроля за ИИ-агентами, которые используются в финансовом секторе. Надзор, по данным агентства, должен охватывать весь цикл работы таких систем — от целей и заложенных инструкций до принимаемых решений и их результатов.
Особое внимание планируется уделять прозрачности алгоритмов, контролю со стороны человека и защите клиентов от дискриминации, скрытых комиссий и навязывания дополнительных услуг.
Как отметил первый заместитель председателя агентства Тимур Абилкасымов, если ИИ-агент действует в заданных рамках, а человек сохраняет контроль над решениями, устанавливая уровень доверия, лимиты и условия, такой подход остается управляемым.
При этом, по его словам, появляются более автономные агенты, способные самостоятельно принимать решения и формировать наборы финансовых продуктов и услуг. Для них необходимо создавать дополнительные механизмы защиты.
В числе новых рисков Абилкасымов выделил скрытый jailbreak — атаки через интерфейсы и коммуникацию с ИИ-агентами, которые направлены на обход установленных ограничений. По его оценке, механизмы защиты от таких угроз пока находятся на ранней стадии развития как в банковском секторе, так и в мире в целом.
ИИ используют и для кибербезопасности
АРРФР также применяет ИИ-агентов в рамках системы коллективного иммунитета от киберрисков Qainar. К ней подключено более 100 финансовых организаций.
В рамках системы агентство использует ИИ-агентов для анализа и структурирования информации о киберинцидентах и оперативного обмена данными об угрозах. Qainar позволяет участникам рынка совместно реагировать на атаки и повышать киберустойчивость.
Кроме того, агентство расширяет применение собственных ИИ-агентов для контроля отдельных систем банков.
