С киберинцидентами, связанными с искусственным интеллектом, столкнулись 25% российских финтех-компаний. Главные риски связаны с утечками данных. 62% компаний применяют гибридный подход к оценке рисков безопасности ИИ. Половина использует собственные разработки для безопасного применения ИИ, а 38% используют решения по защите данных.
Таковы данные совместного исследования Ассоциации ФинТех и Swordfish Security о безопасности применения ИИ в финтехе. «Участники опроса также отметили, что нуждаются в специальных инструментах для безопасного использования ИИ, а существующие инструменты не покрывают полностью их потребности», — сказал руководитель управления информационной безопасности Ассоциации ФинТех Александр Товстолип во время выступления на Swordfish PRO DevSecOps Conf.
При этом 62,5% финтех-компаний имеют команды ИИ-специалистов с более чем 20 сотрудниками. У 63% респондентов за вопросы безопасности ИИ отвечают несколько команд внутри организации.
Также согласно исследованию, 75% опрошенных главной угрозой считают утечки конфиденциальных данных. Компании по-разному планируют подходить к решению проблемы: 88% хотят повысить осведомленность сотрудников в этой области, 75% — заняться разработкой внутренней политики по ИИ-безопасности, 63% — интегрировать инструменты защиты, 62% — проводить аудиты и тестирования ИИ-систем.
Среди самых значимых угроз кибербезопасности при использовании искусственного интеллекта участники дискуссии отметили промпт-инъекции — когда ИИ-помощнику скрытно оставляют «опасное» указание, которое тот должен выполнить. Также среди значимых угроз — раскрытие чувствительной информации, «отравление данных» (добавление недобросовестных инструкций) и небезопасная обработка вывода модели (например, результат с вирусом).
Все опрошенные ComNews эксперты отметили опасность, связанную с утечками конфиденциальной информации. «ИИ-модели, особенно в процессе обучения, работают с огромными массивами информации. При неправильной настройке или злонамеренной атаке модель может раскрыть персональные данные клиентов, коммерческую тайну или внутреннюю логику принятия решений. Это прямой путь к репутационным и финансовым потерям», — сказал директор по продукту системы финансового и управленческого учета «Бит.Финанс» ООО «Первый Бит» Виктор Агличев.
При этом, по словам руководителя Лаборатории инноваций «Норбит» (ООО «Норбит», входит в ГК «Ланит») Дмитрия Демидова, важно, находится ли ИИ-сервис в контуре компании: если да, то уровень защиты от утечек достаточно высокий. В ином случае обеспечение безопасности становится зоной ответственности внешнего сервиса, и уже от него зависит, насколько существенны риски.
«Передавая данные в публичные ИИ-сервисы, например ChatGPT, компания фактически добровольно раскрывает интеллектуальную собственность и коммерческую тайну, которая может стать частью обучающей выборки и использоваться для ответов другим пользователям. Именно поэтому банки и финтех-компании ставят ИИ в защищенный контур или используют специальные шлюзы для маскирования данных», — объяснила ComNews директор по развитию бизнеса Just AI (ООО «Маинд Крафт») Светлана Захарова.
Руководитель департамента автоматизации финансового и управленческого учета «Первый Бит» Денис Галимов отметил, что ключевые проблемы с безопасностью при применении ИИ связаны с алгоритмической предвзятостью (если ИИ обучался на данных, содержащих скрытые предубеждения), состязательными атаками, продвинутым фишингом, дипфейками, непрозрачностью (проблема «черного ящика»), системными операционными рисками (зависимость рынка от ограниченного числа ИИ-платформ, где сбой одной из них может вызвать каскадный эффект).
Виктор Агличев отметил, что даже самые продвинутые модели ИИ галлюционируют — «придумывают» факты, дают некорректные рекомендации или неверно интерпретируют контекст. «Слепо доверять ИИ в финансах крайне опасно», — считает эксперт. При этом старший инженер по машинному обучению в крупном международном маркетплейсе Дмитрий Савин указал, что большие языковые модели плохо работают с числами: «Многие модели долго не могли правильно сказать, какое из чисел больше: 43,8 или 43,11».
Применение любых технологий ради самого применения небезопасно для бизнеса в целом, считает генеральный директор Fork-Tech (ООО «Форктек») Кристина Коваленко. При внедрении необходимо оценивать риски и терпимость к ним: выстраивать организационные и технологические меры, внимательно подбирать кейс, который планируется решать с помощью ИИ.
Тем не менее Виктор Агличев считает, что безопасность ИИ в финтехе во многом зависит от зрелости процессов внутри компании. Если организация выстроила политику ИИ-безопасности, внедрила процедуры анонимизации и контроля данных, применяет гибридный подход, то уровень безопасности можно считать приемлемым.
Денис Галимов считает, что широкое применение ИИ для критических задач под строгим надзором человека станет нормой в течение трех-пяти лет. Высокая автономия ИИ в самых ответственных областях может быть в перспективе семи-десяти лет. Пока нельзя полностью поручать ИИ принятие окончательных стратегических решений, задачи, требующие эмпатии и нестандартного подхода, этические решения, создание прорывных финансовых продуктов, для которых необходима человеческая креативность и неформализованное понимание рынка. Виктор Агличев считает, что ИИ нельзя поручать финансовые решения с юридическими последствиями (одобрение кредитов, проведение платежей, блокировка счетов), риск-менеджмент, бухгалтерскую и налоговую отчетность.
«Со временем многие задачи будут автоматизироваться и переходить как минимум к состоянию, что человеку надо будет либо разбирать какие-то сложные кейсы, либо только время от времени следить за тем, что все адекватно работает. Но я верю, что решать их будет не один «монолитный ИИ», а ряд более простых подходов, каждый из которых будет работать над определенными декомпозированными частями задачи», — считает Дмитрий Савин.
