RuCLIP - новые модели и эксперименты: технический отчет

Авторы предлагают шесть новых реализаций модели ruCLIP, обученных на собственных 240 млн пара «текст-картинка». Результаты точности сравниваются с оригинальной моделью CLIP с переводом Ru-En (выполненном при помощи модели OPUS-MT) на 16 наборах данных из различных областей. Лучшие реализации превосходят решение CLIP + OPUS-MT на большинстве наборов данных в задачах «несколько показов» и «ноль показов». В докладе описываются реализации и сравнивается время выполнения выводов.