Механизм внимания понимает семантические отношения

Сегодня обработка естественного языка в значительной степени зависит от предобученных языковых моделей. Несмотря на то, что такие модели критикуют за плохую интерпретируемость, они по-прежнему представляют высокорезультативные решения для широкого круга самых разных задач. В то время как было проведено множество исследований для измерения осведомленности моделей о грамматических структурах языка, семантические исследования менее популярны. В этой работе мы вводим методологию пробинга для изучения того, как семантические отношения представлены в языковых моделях-трансформерах. Мы показываем, что в этой задаче веса механизма внимания выражают информацию об отношениях, сходных с выходными активациями слоев. Это подтверждает гипотезу о том, что механизмы внимания фокусируются не только на синтаксической информации, но и на семантической.