MOROCCO: модель сравнения ресурсов

Новое поколение предобученных моделей NLP выдвигает SOTA на новые пределы, однако требуемые для этого вычислительные ресурсы зачастую делают использование моделей в реальных производственных средах часто непомерно дорогим. Мы решаем эту проблему, оценивая не только стандартные показатели качества для последующих задач, но также объем памяти и время инференса моделей. Мы представляем MOROCCO, платформу для сравнения языковых моделей, совместимых со средой jiant, которая поддерживает более 50 задач NLU, включая тест SuperGLUE и несколько тестовых наборов. Мы демонстрируем его применимость для двух GLUE-подобных наборов на разных языках.

Читать еще

Управление исследований и инноваций • Управление внутрибанковской безопасности
17 апреля 23
Создание инструмента второго мнения для классического полиграфа
Асонов Дмитрий Валерьевич, Крылов Максим Андреевич, Омелюсик Владимир Степанович, Рябикина Анастасия Евгеньевна, Литвинов Евгений Вячеславович, Митрофанов Максим Алексеевич, Михайлов Максим Алексеевич, Ефимов Альберт Рувимович
Управление исследований и инноваций
Управление исследований и инноваций
08 февраля 23
Наука в Сбере 2022

Мы используем cookies и аналогичные технологии для улучшения работы сайта и повышения удобства его использования.
Условия использования описаны в Уведомлении об обработке персональных данных сайтом и Политике в отношении Сookies и аналогичных технологий для сайта.