На пути к вычислительно эффективному глубокому активному обучению

Активное обучение (AL) — это известный подход, позволяющий существенно сократить объем ручной разметки данных, необходимый для обучения моделей машинного обучения. Глубокое обучение помогает преодолеть ряд существенных препятствий применению активного обучения на практике, но привносит многие другие. Одной из таких проблем является чрезмерная потребность в вычислительных ресурсах, необходимых для обучения модели выбора примеров и оценки ее неопределенности на экземплярах в неразмеченном пуле. Мы предлагаем два метода, которые решают эту проблему, существенно сокращая продолжительность итераций активного обучения и вычислительных затрат, связанных с применением глубоких нейронных сетей для выбора примеров. Эмпирическое исследование методов проводится на задачах извлечения сущностей из текстов, а также на задачах текстовой классификации.
В статье также демонстрируется, что наш алгоритм, использующий псевдоразметку и дистиллированные модели, преодолевает еще одну известную и важную проблему активного обучения. Было показано, что из-за различий между моделью выбора примеров и конечной моделью для итогового приложения, которая обучена на данных, размеченных с помощью активного обучения, качество последней может пострадать. Мы показываем, что наш алгоритм, несмотря на использование меньшей и более быстрой модели выбора примеров, способен обучать более качественную конечную модель

Читать еще

Управление исследований и инноваций
30 августа 23
Science at Sber
Управление исследований и инноваций • Управление внутрибанковской безопасности
17 апреля 23
Создание инструмента второго мнения для классического полиграфа
Асонов Дмитрий Валерьевич, Крылов Максим Андреевич, Омелюсик Владимир Степанович, Рябикина Анастасия Евгеньевна, Литвинов Евгений Вячеславович, Митрофанов Максим Алексеевич, Михайлов Максим Алексеевич, Ефимов Альберт Рувимович
Управление исследований и инноваций

Мы используем cookies и аналогичные технологии для улучшения работы сайта и повышения удобства его использования.
Условия использования описаны в Уведомлении об обработке персональных данных сайтом и Политике в отношении Сookies и аналогичных технологий для сайта.