Построение двуязычной QA-системы с ruGPT-3

В этой работе мы представляем подход к межъязыковому переносу знаний для английского и русского языков в рамках вопросно-ответной системы. Наш подход подразумевает использование модели генеративной трансформерной модели, которая просматривала тексты Википедии на обоих языках на этапе предобучения, а затем дообучалась с помощью специального токена языка, заставляя модель генерировать тексты на определенном языке. Мы ориентируемся на данные SQuAD (английский) и обновленные данные SberQuAD (русский), а также их переводы для обучения и тестирования, и используем модель ruGPT-3 XL, которая отвечает на вопросы на английском языке на основе русских абзацев и наоборот: может отвечать на русском языке при предоставлении информации на английском языке. Сохраняются и моноязычные способности модели к ответам на вопросы по тексту. Наши результаты показывают, что дообученная модель демонстрирует двуязычную способность и может давать ответы, близкие к правильным в нечетких метриках качества.