ИИ всё ещё не умеет убедительно имитировать человеческое общение — особенно эмоции
iXBT.com ·
Большие языковые модели ещё не способны достоверно воспроизводить человеческую манеру общения, даже если специально обучать их имитировать конкретных пользователей. К такому выводу пришли авторы исследования, сравнившие ответы девяти открытых языковых моделей с реальными сообщениями людей на платформах X, Bluesky и Reddit.
Алгоритмы машинного обучения различали человеческие и сгенерированные ответы с точностью 70–80% даже после калибровки моделей — дополнительной настройки под стиль и особенности общения пользователей.
Для проверки авторы разработали CHAT (Conversational Human Authenticity Test) — систему оценки сходства искусственного текста с человеческим. Она объединяет несколько показателей: насколько легко отличить ответы модели от ответов человека, насколько близки они по смыслу, а также чем различаются их стиль, лексика, эмоциональная окраска и тематика. Такой подход позволяет не просто установить факт различий, но и определить, какие особенности речи модели воспроизводят хуже всего. В исследовании проверили девять моделей семейств Apertus, DeepSeek, Gemma, Llama, Mistral и Qwen, используя пять стратегий настройки, включая дообучение, стилевые примеры и извлечение релевантного контекста.
Самым устойчивым признаком искусственного происхождения оказалась эмоциональная окраска. Настройка помогала моделям лучше воспроизводить формальные характеристики сообщений, например длину предложений и количество слов, но различия в тональности и эмоциональном выражении сохранялись. Анализ также выявил устойчивую роль сентиментальной окраски и токсичности — характеристик, связанных с выражением отношения и эмоциональных реакций.
Иными словами, модели научились воспроизводить внешнюю форму онлайн-диалога лучше, чем его эмоциональную составляющую.
Увеличение размера модели само по себе не решало проблему: Llama 3.1 с 70 млрд параметров не показала заметного преимущества перед значительно меньшими моделями. Более того, модели без дополнительного обучения следованию инструкциям в целом лучше имитировали человеческую речь, чем модели, специально настроенные на выполнение запросов. Эффект зависел и от платформы: наиболее убедительно модели воспроизводили общение в X, хуже — в Bluesky, а сложнее всего им давались Reddit и его более разнообразные разговорные нормы.
Главное ограничение обнаружилось при сопоставлении естественности и точности смысла. Методы, благодаря которым ответы становились менее различимыми для классификаторов, одновременно снижали их семантическое сходство с настоящими человеческими сообщениями. И наоборот, ответы, наиболее близкие по смыслу к оригиналам, чаще распознавались как искусственные. Этот компромисс сохранялся при разных способах настройки и отбора сгенерированных ответов. Более свободные параметры генерации также снижали выявляемость ИИ-текста, но ценой дальнейшего ухудшения смыслового соответствия.
Результаты особенно важны для социальных наук, где языковые модели всё чаще используют для имитации участников опросов, прогнозирования благополучия, изучения политического поведения и моделирования общественных реакций.