Обучение скрытых структур с помощью стохастических инвариантов

Авторы рассматривают различные модели структурированных скрытых переменных, которые позволяют включать важные предварительные знания в модели глубокого обучения, и приходят к выводу, что суррогат накладывает дополнительные ограничения на модель и неизбежно приводит к смещению градиентов. Эти недостатки устраняются за счет модификации выборки Gumbel-Max trick.