Построение двуязычной QA-системы с ruGPT-3

В этой работе мы представляем подход к межъязыковому переносу знаний для английского и русского языков в рамках вопросно-ответной системы. Наш подход подразумевает использование модели генеративной трансформерной модели, которая просматривала тексты Википедии на обоих языках на этапе предобучения, а затем дообучалась с помощью специального токена языка, заставляя модель генерировать тексты на определенном языке. Мы ориентируемся на данные SQuAD (английский) и обновленные данные SberQuAD (русский), а также их переводы для обучения и тестирования, и используем модель ruGPT-3 XL, которая отвечает на вопросы на английском языке на основе русских абзацев и наоборот: может отвечать на русском языке при предоставлении информации на английском языке. Сохраняются и моноязычные способности модели к ответам на вопросы по тексту. Наши результаты показывают, что дообученная модель демонстрирует двуязычную способность и может давать ответы, близкие к правильным в нечетких метриках качества.

Читать еще

Управление исследований и инноваций • Управление внутрибанковской безопасности
17 апреля 23
Создание инструмента второго мнения для классического полиграфа
Асонов Дмитрий Валерьевич, Крылов Максим Андреевич, Омелюсик Владимир Степанович, Рябикина Анастасия Евгеньевна, Литвинов Евгений Вячеславович, Митрофанов Максим Алексеевич, Михайлов Максим Алексеевич, Ефимов Альберт Рувимович
Управление исследований и инноваций
Управление исследований и инноваций
08 февраля 23
Наука в Сбере 2022

Мы используем cookies и аналогичные технологии для улучшения работы сайта и повышения удобства его использования.
Условия использования описаны в Уведомлении об обработке персональных данных сайтом и Политике в отношении Сookies и аналогичных технологий для сайта.