Риски использования ИИ в компании: угрозы для бизнеса и защита от них
Компании внедряют ИИ быстрее, чем понимают его риски. Системы на основе искусственного интеллекта обещают автоматизацию, экономию и конкурентное преимущество, но одновременно создают новые уязвимости, которых не было раньше. Речь идёт не только о киберугрозах, но и о юридических, репутационных и операционных проблемах. Чтобы внедрить ИИ безопасно, нужно сначала разобраться, что именно может пойти не так.
Неконтролируемое использование ИИ сотрудниками
Это один из самых недооценённых рисков. Сотрудники начинают использовать публичные ИИ-сервисы для ускорения работы: анализируют внутренние документы, обрабатывают данные клиентов, пишут коды и письма в ChatGPT, Claude или локальные решения. Руководство об этом не знает. Более половины работников в крупных компаниях уже используют ИИ самостоятельно, порой скрывая это от IT-отделов.
Проблема не в самом факте использования, а в том, что это происходит без политик, без контроля и без понимания последствий. Когда сотрудник загружает конфиденциальную информацию в бесплатный сервис, данные попадают на внешние серверы. Компания теряет контроль над информацией и часто нарушает собственную политику конфиденциальности.
Типичные сценарии:
- Специалист по маркетингу анализирует стратегию развития компании в ChatGPT, чтобы быстрее написать отчёт. Информация о планах развития теперь находится на серверах OpenAI.
- Программист пишет код на основе корпоративных API в публичном ИИ. Позже выясняется, что система скопировала чувствительные параметры подключения.
- HR использует ИИ для анализа резюме кандидатов, загружая персональные данные. Это нарушает требования закона о защите персональных данных.
Компании часто узнают об этом случайно: через аудит, когда утечка уже произошла, или когда IT-отдел замечает подозрительный трафик. К этому моменту ущерб уже нанесён.
Почему сотрудники скрывают использование ИИ
Люди не специально вредят компании. Причины прозаичны: руководство запретило ИИ (часто без объяснения почему), но работник видит, что это ускоряет его работу в два раза. Он может завершить задачу быстрее, взять больше проектов или просто не переработать. Или компания не предоставила официальное решение, а внешние сервисы легко доступны.
Добавим сюда фактор недопонимания. Многие сотрудники не осознают, что загрузка информации в облако — это риск. Им кажется, что если сервис популярный и используют его миллионы, то он безопасный. На самом деле популярность и безопасность — разные вещи.
Исследования показывают, что компании, которые не установили политики использования ИИ, теряют контроль над 30–40% потоков конфиденциальной информации через публичные сервисы. Это происходит медленно и незаметно, но накапливается.
Как это выглядит в реальности
Возьмём финансовую компанию среднего размера. У неё 200 сотрудников, среди них аналитики, трейдеры, специалисты по рискам. Кто-то из команды начинает использовать ИИ для анализа рыночных данных — не полных, но всё же внутренних. Другой сотрудник использует его для написания отчётов. Третий загружает клиентские портфели, чтобы получить рекомендации.
В какой-то момент это масштабируется. Если компания не внедрила контролируемое решение, десять процентов команды могут ежедневно загружать разные куски информации в разные системы. За год это сотни тысяч записей. Если один из этих сервисов будет взломан, скомпрометирована значительная часть данных компании.
Или другой сценарий: компания заключила контракт с клиентом, в котором обещала хранить данные локально. Сотрудник без злого умысла использовал облачный ИИ для обработки этих данных, чтобы работать быстрее. Клиент проводит аудит, обнаруживает нарушение, требует компенсацию. Контракт расторгается, репутация компании страдает, возможны судебные издержки.
Первый шаг: признать реальность
Компании часто выбирают неправильную стратегию: полный запрет на ИИ с надеждой, что это решит проблему. Это не работает. Запрет лишь загоняет использование в подполье. Лучше признать, что ИИ-инструменты уже используются, и установить правила игры.
Первый шаг — провести инвентаризацию. Какие сервисы используются в компании? Кто их использует? Какие данные загружаются? Это можно узнать через:
- Опрос команды (анонимный, чтобы люди не боялись признаться).
- Анализ трафика через корпоративный брандмауэр — какие домены посещают сотрудники.
- Интервью с руководителями подразделений о том, где они видят потенциал ИИ.
На основе этого картину можно начать выстраивать политику, которая не является полным запретом, а определяет безопасные способы работы с ИИ.
Утечка персональных данных в ИИ-системы
Это напрямую связано с предыдущим риском, но имеет отдельное измерение. Если компания загружает персональные данные в любую ИИ-систему — публичный облачный сервис, локальное решение или закупленное у поставщика — возникает вопрос о законности этого действия.
В России действует закон о защите персональных данных. Если компания обрабатывает персональные данные граждан (а это может быть информация о клиентах, сотрудниках, партнёрах), она обязана обеспечить безопасность этих данных. Передача данных в ИИ-систему считается обработкой и требует согласия субъекта данных и соответствующих мер защиты.
На практике это означает несколько проблем:
- Если компания использует публичный сервис типа ChatGPT, персональные данные оказываются на серверах компании-поставщика, часто за границей. Это может нарушить требования законодательства.
- Если компания использует локальное решение, оно должно быть установлено и защищено так, чтобы соответствовать стандартам безопасности. Многие компании этого не делают.
- Если компания работает с ИИ-сервисом отечественного поставщика, всё равно требуется договор, в котором чётко описаны права и обязанности сторон, включая обработку персональных данных.
Штрафы за нарушение закона о защите персональных данных начинаются с 50 тысяч рублей для физических лиц и доходят до 5 миллионов рублей для юридических лиц в зависимости от тяжести нарушения. Кроме того, возможны судебные иски от субъектов данных.
Где скрывается риск
Риск часто не очевиден. Компания может быть уверена, что защитила данные, но упустила детали. Например:
- Если ИИ-система анализирует письма клиентов, в которых упоминаются их ФИО, даты рождения, номера документов — это персональные данные, которые требуют защиты.
- Если система обучается на данных клиентов (даже в анонимизированном виде), это всё равно считается обработкой персональных данных.
- Если компания использует ИИ для анализа поведения клиентов, предиктивного моделирования или персонализации — всё это требует правовой базы.
Многие компании понимают необходимость защиты персональных данных в традиционных информационных системах, но недооценивают эту необходимость в контексте ИИ. Причина в том, что ИИ-системы обрабатывают данные иначе: они анализируют паттерны, строят предсказания, могут переиспользовать данные для обучения новых моделей.
Практический пример
Компания, которая предоставляет услуги кредитования через мобильное приложение, хочет использовать ИИ для быстрой оценки кредитоспособности. Она загружает данные клиентов (ФИО, адреса, историю платежей, доход) в облачную ИИ-платформу, которая обучила модель на этих данных. Система выдаёт рекомендацию: одобрить или отклонить заявку.
На поверхности это выглядит логично. Но с точки зрения закона произошло несколько событий:
- Персональные данные клиентов переданы третьей стороне (поставщику ИИ).
- Эти данные используются для обучения моделей, которые могут быть использованы для других клиентов компании.
- Нет явного согласия клиентов на такое использование их данных.
- Если данные хранятся на серверах за границей, это может нарушить требования о локализации данных.
В случае проверки регулятора или судебного иска компания может понести штрафы и репутационный ущерб. Даже если она действовала добросовестно и просто не осознавала риск.
Киберриски и новые векторы атак
ИИ-системы создают новые точки входа для киберугроз. Это не означает, что ИИ сам по себе опаснее, чем другие технологии. Это означает, что киберпреступники теперь используют ИИ как инструмент атаки, и компании должны адаптировать свою защиту.
Первый векtor — фишинг и социальная инженерия. ИИ может генерировать реалистичные письма на русском языке, имитирующие стиль руководства компании, клиентов или партнёров. Качество такого контента значительно выше, чем было несколько лет назад. Сотрудник получает письмо от якобы директора компании, в котором просят срочно перевести деньги. Письмо написано правильно, с деталями, которые выглядят убедительно. Человек может не заметить подвоха.
Второй вектор — атаки на саму ИИ-систему. Если компания использует ИИ для анализа данных или принятия решений, злоумышленник может попытаться манипулировать входными данными, чтобы система выдала неправильный результат. Это называется adversarial attack или состязательной атакой. Например, если ИИ-система анализирует отправки в банке для выявления мошенничества, хакер может попытаться сформировать транзакцию так, чтобы система её пропустила.
Третий вектор — компрометация самой ИИ-модели. Если компания хранит модель локально или в облаке без достаточной защиты, злоумышленник может получить доступ к весам модели, данным обучения или функциональности системы. С этой информацией он может создать обходные пути или выявить уязвимости.
Почему это особенно опасно
Традиционные системы безопасности сосредоточены на защите периметра: файрволы, VPN, многофакторная аутентификация. ИИ-системы требуют дополнительных слоёв защиты потому, что они функционируют иначе.
Если компания использует публичный API ИИ-сервиса, даже если она отправляет туда только абстрактные данные, существует риск утечки через параметры запроса. Если компания обучает модель на собственных данных, эта модель может случайно запомнить конфиденциальную информацию и воспроизвести её при определённых входах (phenomenon called memorization).
- Если ИИ-система интегрирована с системой управления контентом или базой данных, взлом ИИ-сервера может дать доступ к остальной инфраструктуре.
- Если компания доверяет ИИ критические решения (например, одобрение кредитов или доступ сотрудников), компрометация системы имеет прямые деловые последствия.
- Если компания использует ИИ для мониторинга безопасности, взлом этой системы может скрыть следы других атак.
Реальные примеры
В 2023 году исследователи обнаружили, что в некоторых моделях языков возможно извлечение данных обучения через специальные подсказки. Если компания обучила модель на конфиденциальных данных клиентов, злоумышленник может попытаться заставить модель воспроизвести эти данные.
Другой пример: компании, использующие ИИ для анализа изображений в системах видеонаблюдения, обнаружили, что система может быть обманута с помощью специально подготовленных изображений или видео. Человек с маской определённого типа может быть классифицирован как совсем другой человек или не человек вообще.
Третий пример: когда компания интегрирует ИИ с корпоративной сетью, она создаёт новый канал для проникновения. Если ИИ-сервис требует доступа к внутренним данным, даже с ограничениями, это расширяет вектор атаки.
Как компании должны реагировать
Не нужно отказываться от ИИ из-за киберугроз. Нужно адаптировать существующие практики безопасности и добавить новые.
Во-первых, компания должна провести оценку рисков для каждого ИИ-решения, которое она внедряет. Насколько критично это решение? Какие данные оно обрабатывает? Что произойдёт, если система будет скомпрометирована? На основе этого определяются требования к защите.
Во-вторых, нужно изолировать ИИ-системы от критической инфраструктуры. Если ИИ-система анализирует маркетинговые данные, она не должна иметь доступ к финансовым системам. Если она используется для внутреннего анализа, она не должна быть доступна из интернета.
В-третьих, требуется мониторинг необычной активности. Если ИИ-система начинает делать неожиданные запросы к базам данных, отправлять данные на неизвестные адреса или выдавать результаты, которые не соответствуют обучению, это может быть признаком атаки.
Нарушение авторских прав и проблемы с контентом
ИИ-системы обучаются на огромных объёмах данных. Когда компания использует генеративный ИИ для создания контента — текстов, кода, изображений — возникает вопрос: откуда этот контент берётся и имеет ли компания право его использовать?
Это не праздный вопрос. Модели вроде GPT обучены на миллиардах текстов, которые были собраны из интернета без явного согласия авторов. Когда система генерирует новый текст, она комбинирует паттерны из обучающих данных. Иногда результат близок к оригинальному тексту из набора обучения. Иногда система прямо воспроизводит фрагменты из защищённых авторским правом произведений.
Для компании это создаёт несколько проблем.
Первая проблема: неосознанное копирование
Компания использует ИИ для написания маркетингового контента, создания описаний товаров или генерации кода. ИИ выдаёт результат, который кажется оригинальным. Но на самом деле система частично воспроизвела текст или код из защищённого источника.
Если компания опубликует этот контент, она может нарушить авторские права. Автор оригинального текста или владелец авторских прав может подать иск. Даже если компания действовала добросовестно и не осознавала нарушение, ущерб уже нанесён.
Пример: разработчик использует ИИ для написания части кода. ИИ генерирует функцию, которая совпадает с кодом из открытого проекта с лицензией GPL. Если компания не знает об этом и использует код в закрытом проекте, она нарушает условия лицензии. Это может привести к судебному иску и обязательству открыть исходный код проекта.
Вторая проблема: неясная ответственность
Кто несёт ответственность за нарушение авторских прав — компания, которая использовала ИИ, или поставщик ИИ-сервиса? Это не полностью урегулировано в законодательстве, и ответ зависит от конкретной ситуации и юрисдикции.
В большинстве условий использования облачных ИИ-сервисов сказано, что пользователь несёт ответственность за контент, который он генерирует. Компания поставщика не гарантирует, что этот контент не нарушит авторские права. Это означает, что если компания использует ИИ и создаёт контент, который нарушает авторские права, ответственность падает на компанию.
В США уже были судебные разбирательства, в которых авторы и издатели подали коллективные иски против компаний, разработавших ИИ-модели. Они утверждают, что модели обучены на защищённых авторским правом произведениях без разрешения. Это может привести к изменениям в законодательстве и повысить риск для компаний, которые используют ИИ.
Третья проблема: качество и аккуратность
Даже если ИИ не копирует текст напрямую, он может создавать контент, который проблематичен с точки зрения авторских прав по другим причинам. Например, ИИ может создать изображение, которое очень похоже на известную фотографию или работу художника, но достаточно отличается, чтобы избежать прямого копирования. Это находится в серой зоне: не совсем нарушение авторских прав, но и не совсем оригинальная работа.
Если компания публикует такой контент, она рискует претензиями от авторов или судебными спорами о том, является ли работа оригинальной.
Есть и другой аспект: ИИ-система может создавать контент, который ссылается на реальные события, людей или компании, но неправильно или с ошибками. Например, ИИ может написать о продукте компании, приписав ей функции, которых нет, или о руководителе, составив его биографию из неправильных данных. Это может быть расценено как клевета или нарушение репутации.
Как компании защищают себя
Первый шаг — проверка сгенерированного контента перед публикацией. Это может быть ручная проверка (человек читает текст и проверяет его на оригинальность) или использование инструментов для выявления плагиата. Такие инструменты сканируют текст и ищут совпадения с известными источниками.
Однако полная проверка каждого куска контента может быть неэффективна, особенно если компания генерирует большие объёмы информации. Поэтому компании часто выбирают более практичный подход:
- Использование ИИ только для вспомогательных задач, где нарушение авторских прав менее вероятно. Например, ИИ может помочь в структурировании информации, но не писать весь контент.
- Явное указание в контенте на использование ИИ. Это может помочь защитить компанию от претензий о том, что она скрывала использование автоматизации.
- Использование ИИ-сервисов, которые предоставляют гарантии относительно авторских прав. Некоторые поставщики (например, Microsoft с Copilot) предлагают возмещение убытков, если сгенерированный контент нарушит авторские права.
- Разработка собственных моделей, обученных на лицензированных или оригинальных данных. Это снижает риск, но требует больше инвестиций.
Компаниям, которые активно используют ИИ для создания контента, стоит также проконсультироваться с юристами о том, как минимизировать риск в их конкретной ситуации. Это может включать специфические политики в отношении ИИ, требования к проверке контента или выбор определённых ИИ-сервисов.
Ошибки ИИ в продуктах и клиентском сервисе
ИИ не идеален. Системы совершают ошибки, и эти ошибки могут иметь реальные последствия для клиентов и компании. Проблема в том, что компании часто не осознают, насколько часто ИИ ошибается и что может пойти не так.
Когда ИИ-система интегрирована в продукт или сервис, она становится частью взаимодействия клиента с компанией. Если система ошибается, это влияет на качество услуги и доверие клиента. Более того, это может быть источником ответственности компании.
Типичные ошибки ИИ
ИИ-системы могут ошибаться по разным причинам. Некоторые из них видны, другие скрыты.
Галлюцинации — один из самых известных типов ошибок. ИИ генерирует информацию, которая звучит правдоподобно, но совершенно ложна. Например, если клиент спрашивает ИИ-чатбот компании о конкретном продукте, система может выдумать характеристики, которые не существуют. Или ИИ может привести цифры, которые выглядят реалистично, но полностью неправильны.
Предвзятость — ИИ-система может принимать решения, которые несправедливы или дискриминационны. Например, система кредитования может реже одобрять кредиты для определённых групп людей не потому, что это запрограммировано явно, а потому, что в обучающих данных было смещение. Система "научилась" этому паттерну и воспроизводит его.
Контекстные ошибки — ИИ может не понять контекст или нюансы ситуации. Например, система поддержки клиентов может рекомендовать неправильное решение потому, что не поняла суть проблемы. Или система перевода может неправильно перевести фразу, которая имеет несколько значений.
Сбои на краях распределения — ИИ хорошо работает на типичных случаях, которые были в обучающих данных, но может давать неправильные результаты на необычных или экстремальных случаях. Например, если ИИ обучена на фотографиях людей европейского происхождения, она может плохо работать с людьми других этнических групп.
Последствия для компании
Когда ИИ-система, интегрированная в продукт, ошибается, это может стоить компании дорого.
На уровне клиентского опыта: клиент получает неправильный ответ, неправильную рекомендацию или неправильное решение его проблемы. Он разочаровывается, может оставить отрицательный отзыв или перейти к конкуренту.
На уровне доверия: если клиент несколько раз получит неправильные результаты от ИИ-системы, он перестанет доверять компании и её продуктам.
На уровне ответственности и риска: в некоторых случаях ошибка ИИ может привести к финансовому ущербу для клиента. Например, если ИИ-система дала неправильный финансовый совет, клиент может потребовать компенсацию. Если система несправедливо отклонила кредитную заявку из-за дискриминационного смещения, компания может быть привлечена к ответственности по закону о равных правах.
Компания, которая использует ИИ для принятия решений, которые влияют на права или интересы людей (кредиты, найм, распределение ресурсов), несёт повышенную ответственность за точность этих решений. Даже если система работает правильно в 99% случаев, 1% ошибок может привести к серьёзным проблемам.
Примеры из практики
В 2018 году Amazon отказалась от ИИ-системы для подбора кандидатов на вакансии, потому что выяснилось, что система дискриминирует женщин. Система была обучена на исторических данных о найме в компании, где большинство сотрудников были мужчины. Система "научилась" предпочитать мужчин и начала отсеивать женские резюме. Amazon потеряла репутацию, и это стало предупреждением для других компаний.
Другой пример: чатботы, которые используют ИИ для поддержки клиентов, часто генерируют неправильные ответы. Клиент спрашивает о политике возврата, а бот выдумывает условия, которые не существуют. Клиент недоволен, компания должна всё объяснять и извиняться.
Третий пример: системы рекомендаций в интернет-магазинах иногда рекомендуют продукты, которые не имеют никакого смысла для клиента. Это может быть забавно, но это также снижает конверсию: клиент не получает полезные рекомендации и может не совершить покупку.
Как управлять этим риском
Компании должны признать, что ИИ ошибается, и подготовиться к этому. Во-первых, нужно регулярно тестировать ИИ-системы на ошибки и смещения. Это может включать тестирование на различных типах входных данных, в том числе на краях распределения.
Во-вторых, нужно иметь механизм обратной связи. Если клиент или сотрудник заметит ошибку ИИ-системы, это должно быть задокументировано и проанализировано. Компания должна исправлять ошибки и совершенствовать систему на основе этой информации.
В-третьих, нужно иметь резервный механизм. Если ИИ-система не может принять решение или даёт результат, в котором компания не уверена, это должно быть передано человеку для проверки. Например, если чатбот не уверен в ответе, он должен предложить клиенту связаться с оператором.
В-четвёртых, компания должна быть прозрачной о том, что она использует ИИ, и о его ограничениях. Клиенты должны знать, что рекомендация пришла от ИИ, а не от человека-эксперта. Это помогает установить правильные ожидания.
Применение ИИ в кадровых решениях
ИИ начинает применяться в управлении персоналом: подбор кандидатов, оценка производительности, определение зарплаты, принятие решений об увольнении. Это кажется логичным: ИИ может обработать много резюме, провести первичный отбор, выявить паттерны в данных о производительности. Но это один из самых рискованных применений ИИ в компании.
Проблема в том, что кадровые решения влияют на жизнь людей. Неправильное решение ИИ может лишить человека работы, снизить его зарплату или помешать ему получить должность. Это имеет юридические последствия, так как компания может быть обвинена в дискриминации.
Где скрывается дискриминация
Дискриминация в ИИ-системах часто не очевидна. Система может быть запрограммирована без явного намерения дискриминировать, но всё равно давать дискриминационные результаты.
Причина в том, что ИИ-система обучается на исторических данных. Если в компании исторически было больше мужчин на руководящих должностях, система может выучить, что мужчины лучше подходят для этих должностей. Если в компании исторически люди определённого возраста имели лучшие показатели производительности (потому что, например, они лучше вписывались в корпоративную культуру), система может начать отдавать предпочтение людям этого возраста.
Система может также использовать косвенные признаки дискриминации. Например, система может выбирать кандидатов на основе названия университета, на который они ходили. Это может коррелировать с социально-экономическим статусом, а не с квалификацией. Система может выбирать людей на основе пауз в трудовой истории — а это часто вынуждено требуется людям с семейными обязанностями, включая женщин.
Юридические риски
В России, как и в других странах, дискриминация при приёме на работу запрещена законом. Это включает дискриминацию по полу, возрасту, национальности, инвалидности, семейному статусу и другим признакам.
Если компания использует ИИ-систему для принятия кадровых решений, и эта система систематически дискриминирует определённые группы людей, компания может быть привлечена к ответственности. Даже если компания утверждает, что система "объективна" и "основана на данных", это не защитит её от претензий. Закон требует, чтобы кадровые решения были справедливыми и недискриминационными, независимо от того, кто их принимает — человек или ИИ.
В Европе вступил в силу Акт об искусственном интеллекте, который включает специальные требования для ИИ-систем, используемых в кадровых решениях. Такие системы классифицируются как высокорисковые и требуют повышенной прозрачности, документации и проверок на предвзятость. Подобные требования рано или поздно могут появиться в России.
Практический пример
Крупная ИТ-компания внедрила ИИ-систему для первичного отбора резюме. Система была обучена на резюме сотрудников, которые хорошо себя показали в компании. Компания предположила, что система выучит признаки хороших кандидатов и будет выбирать лучших.
Через несколько месяцев компания заметила, что система отклоняет резюме от женщин-программистов значительно чаще, чем резюме от мужчин-программистов. При более внимательном анализе выяснилось, что компания изучала данные о людях, которые уже работают в компании. А в компании было много мужчин. Система выучила, что мужчины — лучшие кандидаты, потому что в обучающих данных большинство хороших кандидатов были мужчинами.
Компания быстро выключила систему, чтобы избежать судебных претензий. Но ущерб уже был нанесён: квалифицированные женщины-программисты были отклонены системой.
Как компании должны действовать
Первое правило: если компания использует ИИ для кадровых решений, она должна регулярно проверять систему на предвзятость. Это означает анализ результатов системы с точки зрения различных демографических групп. Если система систематически даёт разные результаты для разных групп, это признак проблемы.
Второе правило: ИИ не должна быть единственным фактором в кадровом решении. Даже если система даёт рекомендацию, это должно быть проверено и одобрено человеком. Человек может увидеть контекст, который система пропустила, и может исправить ошибку.
Третье правило: компания должна быть прозрачна о том, что она использует ИИ в кадровых решениях. Кандидаты должны знать, что система просматривает их резюме. Это может быть указано в объявлении о вакансии или на сайте компании.
Четвёртое правило: компания должна иметь механизм для обжалования решения ИИ. Если кандидат считает, что система несправедливо его отклонила, он должен иметь возможность попросить пересмотр его кандидатуры человеком.
Недостаток прозрачности и доверия к ИИ
ИИ часто называют чёрным ящиком. Система принимает решение, выдаёт результат, но никто не знает точно, почему она это сделала. Это создаёт серьёзные проблемы доверия между компанией, клиентами и сотрудниками.
Когда человек совершает ошибку, он может объяснить, почему он так поступил. Когда это делает руководитель, он может обосновать свое решение. Когда решение принимает ИИ, часто невозможно дать полное объяснение. Система работает на основе миллионов параметров, каждый из которых влияет на результат. Понять, какой именно параметр привёл к этому решению, технически сложно или вообще невозможно.
Почему прозрачность важна
Прозрачность важна по нескольким причинам.
Во-первых, это вопрос справедливости и уважения к людям. Если ИИ-система отклонила кредитную заявку человека, тот человек должен знать, почему. Он должен иметь возможность понять, на основе каких критериев была принята такая решение. Если система не может объяснить свое решение, это ощущается несправедливым.
Во-вторых, это вопрос выявления ошибок. Если система принимает решение, но не может объяснить его, сложнее найти ошибки и предвзятость. Люди не могут проверить логику системы и убедиться, что она работает правильно.
В-третьих, это вопрос соответствия регулятивным требованиям. В некоторых регулирующих органах начинают требовать, чтобы компании объясняли, как работают их ИИ-системы, особенно если эти системы влияют на права или интересы людей. Это требование называется explainability или interpretability.
Практические последствия
Банк использует ИИ-систему для одобрения кредитов. Система анализирует кредитную историю, доход, семейный статус и другие факторы. Клиент подаёт заявку, и система выдаёт ответ: кредит отклонен. Но она не может объяснить почему. Может быть, потому что у клиента недостаточно дохода? Или потому что его возраст не подходит? Или потому что система выучила какой-то паттерн, который кажется дискриминационным?
Клиент не может понять, как ему улучшить свою заявку. Банк не может проверить, работает ли система правильно. Регулятор не может убедиться, что система не дискриминирует.
Или другой пример: компания использует ИИ для оценки производительности сотрудников. Система анализирует количество выполненных задач, время, потраченное на работу, качество результатов и другие метрики. На основе этого система даёт оценку производительности каждого сотрудника. Но сотрудник не понимает, на основе какой логики система его оценила. Он может думать, что система несправедлива, и потерять доверие к компании.
Как компании решают эту проблему
Одно из решений — использование моделей, которые более интерпретируемы. Например, простые дерева решений или линейные модели легче объяснить, чем глубокие нейронные сети. Компания может пожертвовать некоторой точностью ради прозрачности.
Другое решение — использование методов объяснения ИИ. Существуют техники, которые берут чёрный ящик ИИ-системы и пытаются объяснить её решения. Например, система может выделить, какие входные параметры были наиболее важны для конкретного решения. Это не полное объяснение, но лучше, чем ничего.
Третье решение — комбинирование ИИ с человеком. ИИ-система даёт рекомендацию, но окончательное решение принимает человек. Человек может объяснить, почему он согласился или не согласился с рекомендацией ИИ. Это добавляет слой прозрачности и ответственности.
Четвёртое решение — документирование того, как работает система. Компания должна иметь чёткое описание того, какие данные использует система, какие алгоритмы она применяет, какие решения она принимает. Это документирование помогает людям, которые работают с системой, понять её логику.
Незащищённые договоры с поставщиками ИИ
Когда компания использует ИИ-сервис, она заключает договор с поставщиком. Этот договор определяет права и обязанности обеих сторон. Многие компании недостаточно внимания уделяют этому договору и потом сталкиваются с проблемами.
Договор может содержать множество подводных камней. Например, он может сказать, что поставщик не несёт ответственность за качество услуги. Или что компания передаёт данные поставщику, и тот может использовать их в своих целях. Или что поставщик может прекратить услугу в любой момент без предупреждения.
Типичные проблемы в договорах
Во-первых, ограничение ответственности. Многие договоры об услугах ИИ содержат пункты, в которых поставщик ограничивает свою ответственность. Например, он может сказать, что его максимальная ответственность за убытки компании — это сумма платежей за месяц. Если компания понесла убыток в миллион рублей из-за ошибки ИИ-системы, а месячный платёж составляет 100 тысяч рублей, компания может получить максимум 100 тысяч рублей компенсации. Это может быть недостаточно.
Во-вторых, использование данных. Договор может сказать, что компания передаёт данные поставщику, и тот может использовать их для улучшения своих систем. Это означает, что конфиденциальная информация компании может быть использована для обучения моделей, которые потом используются конкурентами. Компания может не знать об этом и потом узнать, что её данные были использованы.
В-третьих, прерывание услуги. Договор может содержать пункт, в котором поставщик оставляет за собой право прекратить услугу в любой момент. Если компания интегрировала ИИ-систему в свой основной процесс, прерывание услуги может парализовать её работу. Например, если ИИ-система используется для обработки заказов клиентов, и поставщик внезапно отключит услугу, компания не сможет принимать заказы.
В-четвёртых, обновления и изменения. Поставщик может обновить ИИ-систему или изменить её функциональность. Это может повлиять на результаты, которые компания получает. Например, если компания использует ИИ для анализа изображений, обновление могло изменить то, как система распознаёт объекты. Это может привести к проблемам в процессах компании.
Компании, которые полагаются на облачные ИИ-сервисы, находятся в состоянии зависимости от поставщика. Если поставщик повысит цены, компания должна будет либо согласиться, либо искать альтернативу. Если поставщик изменит условия использования, компания должна приспосабливаться. Эта зависимость называется vendor lock-in и это серьёзный стратегический риск.
Как компании должны защищать себя
Первое правило: прочитать договор внимательно. Многие компании подписывают договоры, не читая их полностью. Это ошибка. Договор определяет ваши права и обязанности, и важно понимать, что в нём написано.
Второе правило: консультироваться с юристом. Если компания не знает, как интерпретировать определённые пункты договора, она должна обратиться к юристу. Это может стоить денег сейчас, но может сэкономить деньги потом.
Третье правило: договариваться об условиях. Договор — это не финальный документ. Компания может попросить изменить условия. Например, она может попросить повысить лимит ответственности, ограничить использование данных, или получить гарантию на время предупреждения перед прерыванием услуги. Поставщик может согласиться или предложить компромисс.
Четвёртое правило: иметь план на случай прерывания услуги. Компания должна подумать, что произойдёт, если поставщик отключит услугу. Есть ли альтернативные поставщики? Может ли компания внезапно переключиться на другого поставщика? Есть ли у компании достаточно времени для подготовки к такому сценарию? На основе этого анализа компания может решить, насколько критична зависимость от этого поставщика.
Влияние ИИ на конкуренцию и ценообразование
ИИ меняет динамику конкуренции на рынке. Компания, которая рано внедрит ИИ, может получить преимущество перед конкурентами. Но это создаёт и новые риски.
Первый риск — усиление монополии. Если несколько крупных компаний контролируют лучшие ИИ-системы, они могут использовать их для подавления конкуренции. Например, они могут использовать ИИ для анализа данных конкурентов, для более эффективного маркетинга или для разработки лучших продуктов быстрее, чем конкуренты. Со временем это может привести к тому, что конкуренция сойдёт на нет, и рынок будет контролироваться несколькими игроками.
Второй риск — ценовая дискриминация. ИИ может быть использована для установления разных цен для разных клиентов на основе их поведения, истории покупок, платёжеспособности и других факторов. Это может быть выгодно для компании (она может получить максимальную прибыль от каждого клиента), но это может быть воспринято как несправедливое. Клиент может узнать, что другой клиент платил меньше за то же самое, и это может повредить репутацию компании.
Третий риск — сговор посредством ИИ. Если несколько компаний используют похожие ИИ-системы для установления цен, они могут случайно начать координировать цены. Например, если все компании используют ИИ, которая анализирует цены конкурентов и устанавливает свои цены немного выше, это может привести к тому, что все цены будут расти синхронно. Это может быть воспринято как ценовой сговор, даже если компании не координировали это явно.
Регулятивные последствия
Антимонопольные органы начинают обращать внимание на использование ИИ в ценообразовании и конкуренции. Если регулятор решит, что компания используёт ИИ для подавления конкуренции или для ценовой дискриминации, компания может быть оштрафована.
В России Федеральная антимонопольная служба (ФАС) может расследовать компании, которые используют ИИ для установления цен. Если будет установлено, что ИИ используется для сговора или для ограничения конкуренции, компания может быть привлечена к ответственности.
Как компании должны действовать
Компании должны быть осторожны при использовании ИИ для ценообразования. Они должны проверить, что система не приводит к ценовой дискриминации или к неосознанному сговору. Компании должны документировать, как работает система, и иметь возможность объяснить регулятору, как система устанавливает цены.
Как управлять рисками применения ИИ в компании
Зная об этих рисках, компания должна иметь систему управления ими. Это не означает, что компания должна избегать ИИ полностью. Это означает, что компания должна подойти к внедрению ИИ стратегически и осторожно.
Технологические меры защиты
Первый слой защиты — технологический. Компания должна использовать ИИ-решения, которые спроектированы с учётом безопасности. Это означает:
- Использование закрытых или локальных ИИ-систем вместо публичных облачных сервисов для обработки конфиденциальной информации. Если компания должна использовать облачный сервис, она должна убедиться, что данные передаются зашифрованными и что поставщик имеет надлежащие меры безопасности.
- Регулярное тестирование ИИ-системы на уязвимости. Компания должна иметь специалистов, которые проверяют, можно ли манипулировать системой, можно ли извлечь из неё конфиденциальные данные, или можно ли сделать ошибку при выполнении определённых условиях.
- Изоляция ИИ-системы от критической инфраструктуры. Если ИИ-система используется для анализа маркетинговых данных, она не должна иметь доступ к финансовым системам или системам управления производством.
- Мониторинг работы ИИ-системы. Компания должна отслеживать, как работает система: какие входные данные она получает, какие результаты она выдаёт, есть ли аномалии в её работе.
- Использование версионирования и откатов. Если компания обновила ИИ-систему и она начала давать неправильные результаты, компания должна иметь возможность быстро откатиться на предыдущую версию.
Обучение команды и внутренние политики
Второй слой защиты — организационный. Компания должна создать культуру, в которой люди понимают риски ИИ и знают, как правильно его использовать.
Во-первых, компания должна провести обучение для всех сотрудников. Не только для ИТ-специалистов, но и для менеджеров, аналитиков, маркетологов и всех, кто может использовать ИИ. Обучение должно включать:
- Что такое ИИ и как он работает (базовое понимание).
- Какие риски связаны с ИИ в контексте их работы.
- Какие политики компании в отношении ИИ.
- Какие сервисы одобрены компанией, а какие запрещены.
- Что делать, если они заметили проблему с ИИ-системой или хотят использовать новый ИИ-сервис.
Во-вторых, компания должна установить чёткие политики в отношении ИИ. Эти политики должны определять:
- Какие типы данных можно загружать в какие ИИ-системы.
- Какие задачи можно решать с помощью ИИ, а какие нет.
- Какие ИИ-сервисы одобрены, а какие запрещены.
- Кто отвечает за внедрение новых ИИ-систем и как проводится этот процесс.
- Как компания будет контролировать использование ИИ и как она будет отслеживать проблемы.
В-третьих, компания должна создать центр компетенций по ИИ. Это может быть небольшая команда (или даже одно лицо в малой компании), которая отвечает за ИИ-стратегию, оценку новых решений и поддержку сотрудников в использовании ИИ.
Юридическое и договорное обеспечение
Третий слой защиты — юридический. Компания должна убедиться, что её использование ИИ соответствует всем применимым законам и что у неё есть надлежащие договоры с поставщиками.
Во-первых, компания должна провести юридический аудит. Компания должна проверить:
- Соответствует ли использование ИИ закону о защите персональных данных и другим законам о конфиденциальности.
- Нарушает ли использование ИИ какие-либо авторские права или интеллектуальную собственность.
- Может ли использование ИИ привести к дискриминации и нарушению законов о равных правах.
- Требует ли использование ИИ каких-либо разрешений или соответствия определённым регулятивным требованиям.
Во-вторых, компания должна тщательно просмотреть договоры с поставщиками ИИ и убедиться, что они защищают интересы компании. Если необходимо, компания должна попросить внесения изменений в договор.
В-третьих, компания должна иметь страховку, которая покрывает риски, связанные с использованием ИИ. Это может включать страховку от утечек данных, от ошибок ИИ-системы или от судебных исков.
Регулирование ИИ в России
Российское государство начинает разрабатывать нормативно-правовую базу для регулирования ИИ. Это важно для компаний знать, потому что это может повлиять на способ, которым они используют ИИ.
В 2024 году был принят Федеральный закон № 243-ФЗ об искусственном интеллекте. Этот закон определяет, что такое ИИ, устанавливает требования к безопасности и определяет ответственность за неправильное использование ИИ.
Закон классифицирует ИИ-системы по уровню риска: системы с минимальным риском, системы с ограниченным риском и системы с высоким риском. Для каждого уровня установлены разные требования.
Системы с высоким риском — это системы, которые могут влиять на фундаментальные права людей. Это включает системы, используемые в кадровых решениях, системы для определения доступа к услугам, системы для оценки кредитоспособности и другие.
Для систем с высоким риском закон требует:
- Проведение оценки влияния на права человека до внедрения системы.
- Документирования о том, как работает система.
- Мониторинга и регулярной проверки системы на предвзятость и ошибки.
- Прозрачности: люди должны знать, что их оценивает ИИ-система, и должны иметь возможность оспорить решение.
- Наличие механизма обратной связи и способа для людей жаловаться на решения ИИ-системы.
Компании должны быть готовы к этим требованиям. Даже если полное регулирование ещё не вступило в силу, компании должны начать подготавливаться сейчас.
Часто задаваемые вопросы
Должна ли моя компания избегать ИИ полностью?
Нет. Избежание ИИ полностью может привести к тому, что компания будет отставать от конкурентов. Вместо этого компания должна подойти к внедрению ИИ стратегически: понять риски, установить политики и внедрять ИИ осторожно.
Какой первый шаг должна предпринять компания?
Первый шаг — провести инвентаризацию текущего использования ИИ. Компания должна узнать, какие ИИ-системы уже используются сотрудниками, какие данные загружаются и какие процессы зависят от ИИ. На основе этого компания может разработать стратегию управления рисками.
Нужна ли компании специальная команда для управления рисками ИИ?
Это зависит от размера компании и её опыта с ИИ. Малая компания может иметь одного человека, который отвечает за ИИ-стратегию. Крупная компания может иметь целый отдел. Главное — иметь кого-то, кто отвечает за эту область.
Как компания должна справляться с ошибками ИИ-системы?
Компания должна иметь процесс для регистрации, анализа и исправления ошибок. Когда обнаруживается ошибка, она должна быть задокументирована, проанализирована, и система должна быть улучшена, чтобы избежать такой ошибки в будущем.
Может ли компания быть привлечена к ответственности за ошибки ИИ-системы?
Да, компания может быть привлечена к ответственности. Даже если ошибка произошла из-за ошибки ИИ-системы, компания всё равно несёт ответственность перед своими клиентами и перед законом за результаты, которые выдает система, которую она использует.
ИИ — это мощный инструмент, но как и любой инструмент, он требует ответственного использования. Компании, которые осознают риски, планируют заранее и устанавливают правильные системы контроля, получат преимущества ИИ, не впадая в ловушку. Компании, которые игнорируют риски, рано или поздно столкнутся с серьёзными проблемами. Выбор за вами.
