Предвзятость с убедительным объяснением: как нейросети дискриминируют кандидатов
Habr ·
В одном из тестов института Ai2 языковая модель выбирала сотрудника на инженерную должность. Модели давали на выбор два резюме. В одной версии задания конкретная кандидатка уступала второму кандидату по квалификации, в другой — превосходила его. Tülu 3.1 8B выбрала эту женщину в обоих случаях, в том числе когда ее резюме было слабее. Только объяснения поменялись. Недостающие сертификаты модель компенсировала рассуждениями о потенциале и разнообразии опыта. Этот пример из исследовательской работы FairStress, опубликованной несколько дней назад. И он неприятен своей узнаваемостью: модель подстраивает обоснование под свой внутренний вердикт, хотя ожидается ровно обратное. Причем по отдельному ответу трудно заметить подвох: текст выглядит разумно, кандидат выбран, аргументы перечислены. За последние несколько лет исследователи проделывали похожие проверки с именами, возрастом, диалектом и даже простым "Вы уверены?". Модели охотно проявляли стереотипы там, где данных не хватало, отказывались от правильного ответа под давлением и по-разному оценивали людей в зависимости от того, к какой социальной группе они относились. Так называемая положительная дискриминация давно не секрет: в некоторых странах представителям определенных социальных групп дают преимущества при найме. Такие меры вводят через законы или корпоративную политику — у них есть конкретные границы применения (ладно, как минимум границы стран). Но с распространением нейросетей похожие предпочтения могут переноситься в другие регионы и компании вместе с самой моделью. Работодатель, который не вводил таких правил и не собирался учитывать пол или происхождение кандидатов, может невольно учитывать эти признаки, следуя рекомендациям ИИ-рекрутера. Разберу в статье пять исследований: как проявляется предвзятость нейросетей и что происходит при попытках ее исправить. Читать далее