BLOOM: открытая многоязычная языковая модель с 176 млрд параметров

Было показано, что большие языковые модели (LLM) могут выполнять новые задачи на основе нескольких примеров на естественном языке. Хотя эти возможности привели к широкому распространению языковых моделей, большинство из них разрабатываются организациями, обладающими большим числом вычислительных ресурсов, и часто скрыты от сообщества. В качестве шага к демократизации этой мощной технологии мы представляем BLOOM, открытую языковую модель с 176 млрд параметров, разработанную и созданную благодаря сотрудничеству сотен исследователей. BLOOM — это языковая модель Transformer, декодер, который была обучена на корпусе ROOTS, наборе данных, включающем сотни источников на 46 естественных и 13 языках программирования (всего 59). Мы обнаружили, что BLOOM достигает конкурентоспособной производительности в самых разных тестах, с более высокими результатами после дообучения. Чтобы облегчить будущие исследования и применения языковых моделей, мы публично публикуем наши модели и код под лицензией Responsible AI.