Универсальные и независимые: многоязычная платформа для исчерпывающей интерпретации и оценки моделей

Лингвистический анализ языковых моделей является одним из способов объяснить и описать мотивацию их решения, слабости и ограничения.
В пробинг-части интерпретируемости модели исследования касаются отдельных языков, а также отдельных языковых структур.
Возникает вопрос: являются ли обнаруженные закономерности лингвистически связными или, наоборот, диссонируют на типологической шкале? Более того, в большинстве исследований рассматривается неотъемлемый набор языков и языковых структур, оставляя за рамками фактическое знание о типологическом разнообразии.
В этой статье мы представляем и применяем фреймворк с графическим интерфейсом, позволяющий легко исследовать огромное количество языков на предмет всех морфосинтаксических функций, присутствующих в данных корпуса Universal Dependencies. Показано, что, отражая англоцентричную тенденцию в NLP последних лет, большинство закономерностей, выявленных в модели mBERT, характерны для западноевропейских языков.
Наш фреймворк можно интегрировать с существующими наборами инструментов пробинга, карточками моделей и лидербордами, что позволяет практикующим специалистам использовать и делиться своими стандартными методами зондирования для интерпретации многоязычных моделей.
Таким образом, мы предлагаем набор инструментов для систематизации многоязычных особенностей в многоязычных моделях, обеспечивающий воспроизводимый экспериментальные условия для 104 языков и 80 грамматических признаков. https://github.com/AIRI-Institute/Probing_framework.

Читать еще

Центр робототехники • Управление исследований и инноваций
Управление исследований и инноваций
30 августа 23
Science at Sber 2022
Управление исследований и инноваций • Управление внутрибанковской безопасности
17 апреля 23
Создание инструмента второго мнения для классического полиграфа
Асонов Дмитрий Валерьевич, Крылов Максим Андреевич, Омелюсик Владимир Степанович, Рябикина Анастасия Евгеньевна, Литвинов Евгений Вячеславович, Митрофанов Максим Алексеевич, Михайлов Максим Алексеевич, Ефимов Альберт Рувимович

Мы используем cookies и аналогичные технологии для улучшения работы сайта и повышения удобства его использования.
Условия использования описаны в Уведомлении об обработке персональных данных сайтом и Политике в отношении Сookies и аналогичных технологий для сайта.