MOROCCO: модель сравнения ресурсов

Новое поколение предобученных моделей NLP выдвигает SOTA на новые пределы, однако требуемые для этого вычислительные ресурсы зачастую делают использование моделей в реальных производственных средах часто непомерно дорогим. Мы решаем эту проблему, оценивая не только стандартные показатели качества для последующих задач, но также объем памяти и время инференса моделей. Мы представляем MOROCCO, платформу для сравнения языковых моделей, совместимых со средой jiant, которая поддерживает более 50 задач NLU, включая тест SuperGLUE и несколько тестовых наборов. Мы демонстрируем его применимость для двух GLUE-подобных наборов на разных языках.