Универсальные и независимые: многоязычная платформа для исчерпывающей интерпретации и оценки моделей

Лингвистический анализ языковых моделей является одним из способов объяснить и описать мотивацию их решения, слабости и ограничения.
В пробинг-части интерпретируемости модели исследования касаются отдельных языков, а также отдельных языковых структур.
Возникает вопрос: являются ли обнаруженные закономерности лингвистически связными или, наоборот, диссонируют на типологической шкале? Более того, в большинстве исследований рассматривается неотъемлемый набор языков и языковых структур, оставляя за рамками фактическое знание о типологическом разнообразии.
В этой статье мы представляем и применяем фреймворк с графическим интерфейсом, позволяющий легко исследовать огромное количество языков на предмет всех морфосинтаксических функций, присутствующих в данных корпуса Universal Dependencies. Показано, что, отражая англоцентричную тенденцию в NLP последних лет, большинство закономерностей, выявленных в модели mBERT, характерны для западноевропейских языков.
Наш фреймворк можно интегрировать с существующими наборами инструментов пробинга, карточками моделей и лидербордами, что позволяет практикующим специалистам использовать и делиться своими стандартными методами зондирования для интерпретации многоязычных моделей.
Таким образом, мы предлагаем набор инструментов для систематизации многоязычных особенностей в многоязычных моделях, обеспечивающий воспроизводимый экспериментальные условия для 104 языков и 80 грамматических признаков. https://github.com/AIRI-Institute/Probing_framework.