Как защитить бизнес и данные при внедрении ИИ

При обследовании, или анализе перспектив внедрения ИИ, есть риск установить неверную цель проекта, которая не соответствует задачам бизнеса. Могут возникнуть и просчеты, связанные с недооценкой ресурсов, отсутствием необходимых данных, их смещением или низким качеством. Все это влечет за собой упущенные рыночные возможности, срыв сроков, перерасход бюджета и заморозку ИИ-инициатив.

На стадии проектирования возникает риск выстроить архитектуру системы без учета требований безопасности, что в перспективе может привести к ряду сложностей и дополнительных уязвимостей, которые можно было не допустить на ранних этапах. Другие возможные источники рисков — отсутствие механизмов контроля ИИ-решений и привязка к единственному поставщику продуктов на базе больших языковых моделей (LLM) и машинного обучения (ML). Такие риски могут повысить уязвимость всей корпоративной ИТ-инфраструктуры, привести к компрометации целой системы, масштабным киберинцидентам и полному отказу ИИ-решения.

На этапе разработки основная часть рисков связана с чувствительной информацией, которая используется при обучении модели, а также с уязвимостями в алгоритмах и коде. Кроме того, во время обучения в систему могут попасть «отравленные» (или же заведомо неправильные) данные. Эти факторы способны привести к компрометации стратегических решений, росту киберрисков и поверхности атаки.

В процессе внедрения системы в эксплуатацию возможны конфликты интеграции и, как следствие, рост количества угроз, связанных с незащищенным контуром исполнения. Могут также возникнуть угрозы деградации производительности и «теневого ИИ» — несанкционированного использования сторонних ЛЛМ-сервисов сотрудниками или разработчиками решения. Это может привести к искажению отчетности, в подготовке которой участвует ИИ, скрытым затратам на решение, перерасходу бюджета на инфраструктуру и даже остановке операционной деятельности.

При эксплуатации ИИ возможны манипуляции входными данными для обхода или обмана модели. В отдельных случаях модели могут устаревать, а качество прогнозов — деградировать. Кроме того, компании могут столкнуться с компрометацией компонентов ИИ и непрозрачной работой системы. Это снижает эффективность бизнес-процессов, нарушает функционирование критически важных сервисов.

На этапе обследования необходимо в первую очередь оценить риски. Смежный приоритет — заложить отдельный бюджет на информационную безопасность и с самого начала привлечь экспертов. Не стоит забывать и об инструментальной оценке качества данных.

При проектировании решения особенно важно использовать идеологию Secure by Design с учетом специфики бизнеса. Другими словами, следует интегрировать функции безопасности в ИИ-систему наравне с функциональными требованиями. В фокусе должно быть и планирование human-in-the-loop — методология, при которой человек активно участвует в машинном обучении и принятии решений. Еще два приоритета для ответственного подхода — внедрить архитектуру Zero-trust для моделей искусственного интеллекта.

На стадии разработки следует прежде всего защищать хранилища данных модели и каналы передачи этих данных, а также проводить регулярное систематическое автоматизированное сканирование данных и кода. Команде стоит внедрить тестирование на уязвимости и использовать стандарты безопасной разработки для машинного обучения.

На этапе внедрения будет полезно автоматизировать настройку среды и наладить автоматическую проверку всех каналов интеграции. Хорошей практикой станут комплексные тестовые запуски в среде, максимально приближенной к промышленной среде, и применение чек-листов перед началом полноценного применения ИИ.

Для максимально эффективной и безопасной эксплуатации важно проводить регулярные аудиты системы и переоценку рисков, а также обучать персонал работе с новым инструментарием, в том числе в формате тренингов. Из технических мер можно порекомендовать настройку автоматических оповещений и внедрение системы детального журналирования действий с моделью и самой ИИ-системы.