Исследование ручной и автоматической оценки для передачи стиля текста: случай детоксикации

Авторы проводят оценку большого количества моделей на задаче детоксикации, исследуя отношения между ручными и автоматическими метриками и обнаруживают, что между ними существует лишь слабая корреляция, которая зависит от типа модели, генерирующей текст. Автоматические метрики, как правило, менее надежны для более производительных моделей, но, результаты показывают, что метрики ChrF и BertScore могут быть использованы в качестве косвенного показателя для человеческой оценки детоксикации текста.

Читать еще

Центр робототехники • Управление исследований и инноваций
Управление исследований и инноваций
30 августа 23
Science at Sber 2022
Управление исследований и инноваций • Управление внутрибанковской безопасности
17 апреля 23
Создание инструмента второго мнения для классического полиграфа
Асонов Дмитрий Валерьевич, Крылов Максим Андреевич, Омелюсик Владимир Степанович, Рябикина Анастасия Евгеньевна, Литвинов Евгений Вячеславович, Митрофанов Максим Алексеевич, Михайлов Максим Алексеевич, Ефимов Альберт Рувимович

Мы используем cookies и аналогичные технологии для улучшения работы сайта и повышения удобства его использования.
Условия использования описаны в Уведомлении об обработке персональных данных сайтом и Политике в отношении Сookies и аналогичных технологий для сайта.