Механизм внимания понимает семантические отношения

Сегодня обработка естественного языка в значительной степени зависит от предобученных языковых моделей. Несмотря на то, что такие модели критикуют за плохую интерпретируемость, они по-прежнему представляют высокорезультативные решения для широкого круга самых разных задач. В то время как было проведено множество исследований для измерения осведомленности моделей о грамматических структурах языка, семантические исследования менее популярны. В этой работе мы вводим методологию пробинга для изучения того, как семантические отношения представлены в языковых моделях-трансформерах. Мы показываем, что в этой задаче веса механизма внимания выражают информацию об отношениях, сходных с выходными активациями слоев. Это подтверждает гипотезу о том, что механизмы внимания фокусируются не только на синтаксической информации, но и на семантической.

Читать еще

Центр робототехники • Управление исследований и инноваций
Управление исследований и инноваций
30 августа 23
Science at Sber 2022
Управление исследований и инноваций • Управление внутрибанковской безопасности
17 апреля 23
Создание инструмента второго мнения для классического полиграфа
Асонов Дмитрий Валерьевич, Крылов Максим Андреевич, Омелюсик Владимир Степанович, Рябикина Анастасия Евгеньевна, Литвинов Евгений Вячеславович, Митрофанов Максим Алексеевич, Михайлов Максим Алексеевич, Ефимов Альберт Рувимович

Мы используем cookies и аналогичные технологии для улучшения работы сайта и повышения удобства его использования.
Условия использования описаны в Уведомлении об обработке персональных данных сайтом и Политике в отношении Сookies и аналогичных технологий для сайта.