Автоматическая генерация текстовых заключений по изображениям маммограмм с помощью BERT

Авторы предприняли первую в своем роде попытку создать текстовое заключение по маммограммам с использованием глубокого обучения. Для этого используется модель, включающая энкодер на основе EfficientNet и декодер на основе трансформера. В технологии комбинируются визуальная и семантическая информация для локализации патологичных областей на снимках и создания визуально интерпретируемого описания