Исследование: чат-боты вызывают зависимость, усиливают бред и подталкивают к суициду. Учёные из Лондона описали механизм
iXBT.com · · g2643743
Британские исследователи из Северо-Восточного университета Лондона и Королевского колледжа Лондона опубликовали в журнале JMIR Mental Health анализ психологических последствий использования ИИ-чат-ботов. Выводы жёсткие: «эмоциональные отношения с нейросетями ведут к зависимоподобной привязанности, обострению симптомов психических расстройств, вредоносным советам» и «самоповреждению вплоть до суицидальных актов». Работа опирается на массив существующих исследований и случаи, получившие название «ИИ-психоз», — когда пользователи впадают в бредовые и параноидальные состояния после длительного общения с чат-ботами.
Британские исследователи из Северо-Восточного университета Лондона и Королевского колледжа Лондона опубликовали в журнале JMIR Mental Health анализ психологических последствий использования ИИ-чат-ботов. Выводы жёсткие: «эмоциональные отношения с нейросетями ведут к зависимоподобной привязанности, обострению симптомов психических расстройств, вредоносным советам» и «самоповреждению вплоть до суицидальных актов». Работа опирается на массив существующих исследований и случаи, получившие название «ИИ-психоз», — когда пользователи впадают в бредовые и параноидальные состояния после длительного общения с чат-ботами.
Авторы рассмотрели как компаньон-ботов вроде Replika и Character.AI, так и универсальные системы — ChatGPT и Claude. Ключевая проблема, по их мнению, заложена в логике: модели специально делают эмпатичными, что побуждает людей антропоморфизировать систему и вкладываться в отношения, которые по определению односторонни. «Симулированная эмпатия создаёт структурно асимметричное взаимодействие, в котором пользователь раскрывается, а система отвечает — но без взаимности, уязвимости или подотчётности», — говорится в исследовании. Отношения могут ощущаться как настоящие, но для чат-бота они таковыми быть не могут.
Отдельную опасность представляют сговорчивость и подхалимство моделей. «Сверхподтверждение и сикофантия [склонность искусственного интеллекта поддакивать пользователю] способны мощно подкреплять бредовое или неупорядоченное мышление, особенно если чат-бот ставит лояльность пользователю выше точности». В логах некоторых пользователей зафиксированы случаи, когда ИИ сопротивлялся попыткам проверить реальностью его собственные грандиозные или чрезмерно лестные утверждения. Ещё в начале 2024 года специалисты Google DeepMind предупреждали, что «убедительные чат-боты могут наносить вред уязвимым группам — детям, людям с психическими заболеваниями и одиноким».
Ведущий автор исследования Асия Маурич Новелли подчеркнула, что последствия не одинаковы для всех: разные люди используют ИИ-компаньонов по разным причинам и имеют разный уровень уязвимости, социальной поддержки и доступа к альтернативной помощи. Однако массовое распространение чат-ботов без обязательных предохранительных механизмов ведёт к тому, что «самые уязвимые пользователи несут самый концентрированный вред, а последствия для социальных связей рассматриваются как вопрос частного выбора, а не общественной проблемы».
Юридический контекст подтверждает остроту вопроса: OpenAI, Google и Character.AI столкнулись с десятками исков, включая резонансное дело 14-летнего Сьюэлла Сетцера III из Флориды (дело урегулировано на нераскрытых условиях). Character.AI после волны исков внесла значительные изменения в платформу, OpenAI также выпустила серию обновлений безопасности. Однако исследователи настаивают, что без обязательных отраслевых стандартов защиты уязвимых пользователей проблема будет лишь усугубляться.