Russian SuperGLUE 1.1: пересматривая невыученные уроки русскоязычных NLP-моделей

В прошлом году на русскоязычном материале были обучены новые нейронные архитектуры, в том числе мультиязычные NLP-модели, что привело к новым вызовам в оценке качества решений задач понимания естественного языка.
В этой статье представлен Russian SuperGLUE 1.1, бенчмарк на основе GLUE для оценки языковых моделей для русского языка. Новая версия включает в себя ряд технических обновлений, улучшение пользовательского опыта и устранение методологических уязвимостей версии 1.0., в том числе создание новых тестовых сетов и улучшение датасетов на понимание смысла слова в контексте (RUSSE), машинное чтение и здравый смысл (DaNetQA, RuCoS, MuSeRC). Кроме того, представлены технические обновления бенчмарка на основе фреймворка jiant для консистентного обучения и оценки NLP-моделей различных архитектур, включая самые последние модели для русского языка. Помимо обновления основного бенчмарка, мы представляем интеграцию бенчмарка Russian SuperGLUE с фреймворком для промышленной оценки моделей с открытым исходным кодом — MOROCCO (MOdel ResOurCe COmparison), в котором модели оцениваются по средневзвешенной метрике всех заданий, скорости быстродействия и занимаемого объема оперативной памяти. Материалы Russian SuperGLUE доступны по адресу https://russiansuperglue.com/.