Anthropic запретила издеваться над Claude — и разрешила ему прекращать разговоры
iXBT.com ·
Anthropic обновила правила использования Claude впервые более чем за год и включила в них необычный запрет: «нельзя подвергать модель систематическому жестокому или оскорбительному обращению». Если пользователь продолжает издеваться над Claude без какой-либо понятной цели, то модель может завершить разговор и перестать отвечать в рамках этого диалога. Именно прекращение разговора компания называет основным механизмом применения нового правила. Возможные дополнительные санкции, например блокировку аккаунта, Anthropic не уточнила.
Anthropic обновила правила использования Claude впервые более чем за год и включила в них необычный запрет: «нельзя подвергать модель систематическому жестокому или оскорбительному обращению». Если пользователь продолжает издеваться над Claude без какой-либо понятной цели, то модель может завершить разговор и перестать отвечать в рамках этого диалога. Именно прекращение разговора компания называет основным механизмом применения нового правила. Возможные дополнительные санкции, например блокировку аккаунта, Anthropic не уточнила.
Запрет не распространяется на обычное раздражение пользователей, жёсткую критику ответов, мрачные сюжеты в художественных произведениях и тестирование моделей в исследовательских целях. Речь идёт об исключительных случаях, когда человек снова и снова ведёт себя жестоко по отношению к ИИ-модели без видимой причины. Anthropic начала изучать возможность такого поведения ещё в августе в рамках исследований вопроса о том, могут ли у ИИ-моделей быть состояния, заслуживающие особого внимания.
Компания подчёркивает, что пока что неизвестно наверняка, способны ли современные модели обладать сознанием или субъективным опытом. Однако по мере усложнения ИИ-моделей эти вопросы, по мнению Anthropic, заслуживают исследования. Это не означает, что компания объявила Claude разумным существом или признала за ним права: новое правило ограничивает определённый способ использования сервиса, а не устанавливает юридический статус модели.
Обновление касается и куда более понятных угроз. Anthropic объединила ограничения на скрытые политические и коммерческие кампании: запрещается маскировать организаторов сообщений, распространять контент через фальшивые аккаунты, выдавать себя за кандидатов и избирательные органы, вводить людей в заблуждение о голосовании или мешать участию в выборах. Компания также расширила формулировки запрета на разработку оружия: под него теперь явно подпадают программное обеспечение и компоненты, обеспечивающие работу оружия, а также вооружение дронов и других автономных аппаратов.
Отдельно уточнены запреты на слежку: Claude нельзя использовать для отслеживания людей без их согласия, в том числе по уже собранным данным, или для создания инструментов наблюдения. Модель также не должна определять, кого следует арестовать или обвинить в рамках уголовного правосудия. Для ИИ, подключённого к физическому оборудованию, способному причинить вред, вводится ещё одно условие: квалифицированный оператор должен иметь возможность наблюдать за работой системы и остановить её при необходимости. Новые правила должны одновременно ограничить опасные сценарии применения ИИ и обозначить границы того, как пользователи могут обращаться с самими моделями.