Пресса о страховании, страховых компаниях и страховом рынке

Казахстанский портал о страховании, 19 октября 2026 г.

Ошибки ИИ создают новый риск профессиональной ответственности

94 просмотра

Использование искусственного интеллекта в юридической работе все чаще приводит к новой категории профессиональных ошибок: система может создавать убедительно выглядящие, но несуществующие судебные решения, цитаты и правовые аргументы.

Очередной показательный случай произошел в США, где юристы, представлявшие интересы State Farm в страховом споре, признали использование системы искусственного интеллекта при подготовке судебных документов, в которых впоследствии обнаружились ссылки на несуществующие судебные решения.

Ситуация важна для страхового рынка сразу с двух сторон. С одной стороны, распространение ИИ меняет профиль риска юридических, консалтинговых и других профессиональных компаний. С другой — страховщики сами все активнее применяют аналогичные технологии при урегулировании убытков, анализе документов и принятии решений.

В судебные документы попали несуществующие дела

Спор возник вокруг страхового требования после повреждения жилого дома в городе Карсон, штат Калифорния. В ходе разбирательства внешние юристы State Farm представили суду документы, содержавшие ссылки на судебные решения, которых в действительности не существовало.

По данным американских СМИ, проблемы были обнаружены в нескольких поданных документах. В них содержались семь несуществующих судебных ссылок, а также неправильные названия дел и цитаты.

Юристы впоследствии признали, что при подготовке материалов использовался специализированный юридический инструмент искусственного интеллекта Irys, а полученные результаты не были должным образом проверены перед подачей в суд.

Сам по себе случай является продолжением уже известной проблемы так называемых «галлюцинаций» генеративного ИИ — способности модели формировать правдоподобную, но фактически неверную информацию. Однако для профессиональных услуг последствия такой ошибки значительно серьезнее, чем при обычном информационном запросе.

ИИ не становится ответственным за профессиональную ошибку

Ключевой юридический вопрос заключается в том, кто отвечает за результат работы системы.

Использование искусственного интеллекта не переносит профессиональную ответственность с человека или организации на алгоритм. Если юрист подписывает и подает документ в суд, именно он подтверждает достоверность содержащейся в нем информации.

То же относится к другим профессиональным услугам:

- Аудитор не может сослаться на ошибку аналитической системы как на основание освобождения от ответственности за неверное заключение.

- Врач остается ответственным за профессиональное решение, даже если использовал автоматизированную систему поддержки.

- Финансовый консультант не освобождается от требований к качеству рекомендации только потому, что ее первоначальный вариант сформировал ИИ.

Поэтому использование технологии создает не новый субъект ответственности, а новый источник профессиональной ошибки.

Скорость ИИ одновременно является источником риска

Основное преимущество генеративного ИИ заключается в способности быстро обрабатывать большие объемы информации. Но именно скорость может создавать ложное ощущение надежности. Система способна за несколько секунд подготовить текст, для проверки которого человеку потребуется значительно больше времени.

Возникает экономический парадокс: компания внедряет ИИ для сокращения трудозатрат, однако надежное использование технологии требует дополнительной процедуры проверки результата. Если такой контроль отсутствует, производительность повышается за счет увеличения риска ошибки.

Для юридических компаний эта проблема особенно чувствительна: документ может выглядеть профессионально и содержать убедительно сформулированные аргументы, поэтому вымышленную ссылку значительно сложнее заметить, чем очевидную техническую ошибку.

Страховщикам придется пересматривать профессиональный риск клиентов

Распространение генеративного ИИ ставит новые вопросы перед страховщиками профессиональной ответственности.

Традиционный андеррайтинг юридической фирмы оценивает ее специализацию, размер, опыт сотрудников, историю требований, крупнейших клиентов и внутренние процедуры контроля.

Теперь появляется дополнительный блок вопросов:

- Использует ли организация генеративный ИИ?
- Для каких задач?
- Разрешено ли сотрудникам самостоятельно выбирать внешние системы?
- Какие данные могут передаваться в такие сервисы?
- Требуется ли обязательная проверка результата человеком?
- Фиксируется ли использование ИИ в рабочем процессе?
- Кто несет ответственность за окончательное утверждение документа?

Фактически страховщику необходимо оценивать не наличие технологии, а систему управления ее использованием.

Полный запрет ИИ также вряд ли станет решением

Для страховщика самым простым подходом могло бы стать ограничение или исключение ответственности, связанной с использованием генеративного ИИ. Но такой подход трудно применять в долгосрочной перспективе.

ИИ постепенно становится стандартным рабочим инструментом юридических, бухгалтерских, консалтинговых, инженерных и других профессиональных организаций. Полностью исключить его использование означает страховать все меньшую часть реальной деятельности клиента.

Кроме того, сама технология может снижать профессиональный риск: ИИ способен находить несоответствия в документах, проверять большие массивы информации, выявлять пропущенные положения договоров и помогать специалисту обнаруживать ошибки.

Поэтому значение имеет не сам факт применения ИИ, а качество контроля.

Организация, которая использует технологию в рамках четко определенных процедур и проверяет результат, может представлять меньший риск, чем компания, сотрудники которой пользуются публичными системами без каких-либо правил.

Появляется риск накопления профессиональных ошибок

Есть и еще одна проблема, характерная непосредственно для страхования.

Если одна компания допускает ошибку в одном документе, возникает отдельный страховой случай. Но если ошибка заложена в широко используемую систему искусственного интеллекта, она потенциально способна воспроизводиться у множества пользователей.

Например, специализированная юридическая система может использоваться сотнями юридических фирм.

Некорректная модель, ошибочное обновление или проблема с источником данных способны привести к аналогичным профессиональным ошибкам одновременно у большого количества страхователей.

Для страхового портфеля это уже риск накопления.

Страховщик может считать клиентов независимыми друг от друга, хотя фактически они используют одного технологического поставщика. Такая проблема очень похожа на накопление киберриска вокруг общего облачного сервиса или программного обеспечения.

Ответственность может затронуть и разработчика системы

Распространение специализированных профессиональных систем создает еще один уровень возможных требований.

Если профессиональная организация понесла убыток из-за ошибки ИИ, возникает вопрос о возможной ответственности разработчика технологии. Ответ будет зависеть от договора, заявленных возможностей продукта, предупреждений об ограничениях системы и обстоятельств конкретного события.

Таким образом, один инцидент потенциально способен затронуть несколько видов страхования:

- профессиональную ответственность пользователя системы — если клиенту причинен ущерб из-за неправильной профессиональной работы;

- ответственность технологической компании — если причиной стала ошибка продукта или услуги;

- киберстрахование — если событие связано с компрометацией данных или вмешательством в систему;

- ответственность директоров и должностных лиц — если масштабное использование технологии без надлежащего контроля приводит к корпоративным или регуляторным претензиям.

Границы между традиционными страховыми продуктами становятся менее очевидными.

Аналогичный риск возникает внутри страховой компании

Случай State Farm имеет для страхового рынка дополнительное значение, поскольку ИИ все активнее внедряется непосредственно страховщиками. Технология используется для анализа требований, медицинских документов, фотографий повреждений, выявления мошенничества, подготовки клиентских ответов и поддержки андеррайтинга.

Логика ответственности остается той же: если система подготовила ошибочную рекомендацию по страховому требованию, окончательная ответственность перед клиентом остается у страховщика.

Поэтому вопрос человеческого контроля становится особенно важным там, где результат работы ИИ способен непосредственно влиять на права страхователя.

Автоматическое извлечение информации из документа и автоматическое решение об отказе в выплате — принципиально разные уровни риска.

Чем больше полномочий получает система, тем жестче должны быть требования к проверке ее действий.

Проверка результата становится самостоятельной процедурой контроля

По мере распространения ИИ компании будут вынуждены формализовать процедуры проверки его работы. Фразы «сотрудник должен проверить результат» может оказаться недостаточно.

Необходимо определить:

- какие результаты требуют обязательной проверки;
- кто имеет право их утверждать;
- какие источники необходимо перепроверять;
- как фиксируется использование ИИ;
- можно ли впоследствии установить, какой результат сформировала система и какие изменения внес человек;
- что происходит при обнаружении ошибки.

Такая процедура постепенно становится аналогом других элементов профессионального контроля качества.

Для страховщика наличие формализованной проверки может стать одним из факторов оценки риска и определения условий страхования.

ИИ меняет само понятие профессиональной небрежности

До распространения генеративного ИИ профессиональная ошибка обычно связывалась с недостаточными знаниями, невнимательностью специалиста или нарушением установленных процедур.

Теперь возникает новая ситуация: специалист может получить ошибочную информацию не потому, что самостоятельно неверно провел анализ, а потому, что слишком сильно доверился автоматизированной системе.

Однако с точки зрения ответственности результат практически не меняется.

Если профессионал должен был проверить информацию и не сделал этого, использование ИИ становится частью механизма ошибки, но не освобождает его от обязанности действовать с должной осмотрительностью.

Поэтому со временем может измениться и стандарт профессионального поведения. То, что сегодня рассматривается как рекомендуемая проверка результатов ИИ, постепенно способно стать обязательной частью нормальной профессиональной практики.

А после этого отсутствие такой проверки само по себе может рассматриваться как признак небрежности.

Для страхования профессиональной ответственности это означает существенное изменение оценки риска: вопрос будет заключаться уже не в том, использует ли клиент искусственный интеллект, а в том, способен ли он доказать, что контролирует его работу.

Подготовлено порталом Allinsurance.kz

Ваше мнение об этом материале:

— Ваше имя
— Ваш email
— Тема

Ваш отзыв (заполняется обязательно):

Укажите код на картинке слева:

Установите трансляцию заголовков прессы на своем сайте

 Подробнее »

Получить код для трансляции заголовков прессы »