Почему мы доверяем ИИ больше, чем себе
Представьте: в больницу госпитализируют пожилого человека с судорогами. Врач назначает ему стандартный противосудорожный препарат — дилантин.
Рецепт написан от руки. Перед закрытием аптеки сотрудник вносит заказ в компьютер — чтобы лекарство можно было получить ночью из автоматизированного шкафа в отделении. Система работает просто: набираешь первые три буквы названия, выбираешь нужный препарат из выпадающего списка. Сотрудник вводит «dil» — и в этот момент его отвлекают. Вернувшись к экрану, он кликает на первое подходящее название и не замечает, что это дилтиазем, а не дилантин. Один — для сердца, другой — от судорог.
В отделении бумажная карта заполнена правильно. Медсестра сверяет ее с информацией на экране шкафа с лекарствами и видит расхождение. Она останавливается: смотрит на карту, а затем на экран. И берет то, что показывает система. Ночью пациент получает 300 миллиграмм дилтиазема вместо дилантина. Утром у него резко падает давление и замедляется пульс. И только тогда медики находят ошибку.
Этот случай — хрестоматийный пример того, что в поведенческой психологии называют automation bias или ошибкой автоматизации: склонности человека доверять автоматизированным системам больше, чем собственным наблюдениям, даже когда перед глазами есть явный сигнал, что что-то не так.
Это первая часть блога об искусственном интеллекте и когнитивных искажениях. В этой серии материалов мы поговорим о том, как технологии влияют на наше мышление и разберем реальные примеры: от банального поддакивания до ситуаций, когда чат-бот и пользователь вместе уходят в коллективное заблуждение.
Пример с путаницей в лекарствах — не единичный случай проявления ошибки автоматизации. В 2024 году американские исследователи предложили 220 врачам в нескольких клиниках прочитать несколько рентгеновских снимков грудной клетки, опираясь на подсказки от системы искусственного интеллекта. Алгоритм не только выдавал диагноз, но и подсвечивал подозрительные участки. Удивительно, но инструмент, который должен был облегчить работу медикам, напрямую влиял на то, как часто те ошибаются.
В тех случаях, когда ИИ указывал на правильную область и предлагал верный диагноз, точность врачебного вердикта поднималась почти до 92–93 процентов — заметно чаще, чем без его участия. Но стоило только алгоритму уверенно промахнуться — подсветить не ту зону или предложить не тот диагноз, — как специалисты повально ошибались. Правильный ответ давали только 24–26 процентов врачей.
Фактически один и тот же инструмент в эксперименте работал одновременно и как помощник, и как помеха. Как только на экране появлялась подсказка, многие врачи опирались в большей степени на нее, нежели на свое суждение. Причем собственное мнение они воспринимали как нечто второстепенное, требующее дополнительного обоснования. В итоге ответственность за диагноз размывалась: формально решение все еще принимал человек, но психологически оно уже ощущалось как совместное — причем алгоритм в этой паре негласно выходил на первый план. Это и есть automation bias.
А что происходит с другой стороны ― как пациенты реагируют на ИИ-диагностику? В 2025 году в онлайн‑эксперименте несколько сотен участников сравнивали диагнозы и планы лечения, предложенные врачом и искусственным интеллектом, причем по задумке оба варианта были одинаково точными. Тем не менее люди заметно выше оценивали профессионализм и надежность человека: уровень доверия к нему держался в районе 4,8 балла из 5, тогда как к ИИ — примерно 4,3–4,5 балла. Эта разница почти не зависела ни от возраста, ни от уровня образования, ни от цифровой грамотности участников.
Перед нами обратная сторона automation bias — algorithm aversion: там, где алгоритм показывает сопоставимые или даже лучшие результаты, люди все равно склонны считать, что в сложных вопросах здоровья последнее слово должно остаться за человеком. В результате в одной и той же системе возникают две крайности: профессионалы доверяют ИИ больше, чем стоило бы, а пациенты — меньше.
Именно в этот момент возникает парадокс ИИ-систем, который встречается во многих сферах — от медицины до автопилотов. Мы добровольно делим с алгоритмом принятие решений, но не понимаем, как разделяется ответственность за ошибки. Формально решение по‑прежнему принимают люди: врач подписывает заключение, пациент дает согласие на лечение, руководитель клиники утверждает протокол. Но на практике в каждом из этих звеньев появляется удобный посредник — система, на которую можно сослаться, когда что‑то идет не так. Алгоритм становится одновременно и аргументом («так показала модель»), и мишенью («это ИИ ошибся»).
В этом смысле automation bias и algorithm aversion — только часть набора когнитивных искажений, которые проявляются в системах с ИИ и вокруг них. В более широком контексте то, как люди относятся к таким системам, переплетено с другими эффектами: от восприятия ИИ как «черного ящика» до склонности приписывать ему либо почти магическую объективность, либо, наоборот, полную ненадежность.