Russian SuperGLUE 1.1: пересматривая невыученные уроки русскоязычных NLP-моделей

В прошлом году на русскоязычном материале были обучены новые нейронные архитектуры, в том числе мультиязычные NLP-модели, что привело к новым вызовам в оценке качества решений задач понимания естественного языка.
В этой статье представлен Russian SuperGLUE 1.1, бенчмарк на основе GLUE для оценки языковых моделей для русского языка. Новая версия включает в себя ряд технических обновлений, улучшение пользовательского опыта и устранение методологических уязвимостей версии 1.0., в том числе создание новых тестовых сетов и улучшение датасетов на понимание смысла слова в контексте (RUSSE), машинное чтение и здравый смысл (DaNetQA, RuCoS, MuSeRC). Кроме того, представлены технические обновления бенчмарка на основе фреймворка jiant для консистентного обучения и оценки NLP-моделей различных архитектур, включая самые последние модели для русского языка. Помимо обновления основного бенчмарка, мы представляем интеграцию бенчмарка Russian SuperGLUE с фреймворком для промышленной оценки моделей с открытым исходным кодом — MOROCCO (MOdel ResOurCe COmparison), в котором модели оцениваются по средневзвешенной метрике всех заданий, скорости быстродействия и занимаемого объема оперативной памяти. Материалы Russian SuperGLUE доступны по адресу https://russiansuperglue.com/.

Читать еще

Управление исследований и инноваций
30 августа 23
Science at Sber
Управление исследований и инноваций • Управление внутрибанковской безопасности
17 апреля 23
Создание инструмента второго мнения для классического полиграфа
Асонов Дмитрий Валерьевич, Крылов Максим Андреевич, Омелюсик Владимир Степанович, Рябикина Анастасия Евгеньевна, Литвинов Евгений Вячеславович, Митрофанов Максим Алексеевич, Михайлов Максим Алексеевич, Ефимов Альберт Рувимович
Управление исследований и инноваций

Мы используем cookies и аналогичные технологии для улучшения работы сайта и повышения удобства его использования.
Условия использования описаны в Уведомлении об обработке персональных данных сайтом и Политике в отношении Сookies и аналогичных технологий для сайта.