Тюнинг затравок для детоксификации текста

Авторы представляют эффективный метод, основанный на недавно предложенной технике автоматического подбора затравок. Используя RuGPT3-XL (Generative Pretrained Transformer-3 for Russian) как неизменяемую предобученную модель, обучается только последовательность непрерывных векторных представлений, вставляемых до и после входного текста. Этот метод достигает сравнимого качества относительно методов, включающих в себя дообучение всей модели, и занимает 4-е место в соревнованиях RUSSE Detox.