Как мы делали «золотой датасет» для оценки агентов
Habr ·
Однажды мы решили сделать золотой датасет. Он был нам нужен для улучшения и масштабирования МВП, прошедшего пилот. Мы думали, что сделать его будет также просто как и МВП, и отправили первую версию в работу к нашим разметчикам. Мы верили что это будет быстрое приключение на 15 минут туда и обратно (ведь мы хотели разметить всего 5000 диалогов), но никогда так не ошибались. Оказалось, что живые люди понимают ТЗ творчески, а я расскажу, с чем мы столкнулись, когда, наконец-то дождались своей разметки. Читать далее