Исследование эффективности обучения больших нейронных сетей

Авторы представляют систематический обзор подходов, позволяющих повысить эффективность обучения глубоких нейронных сетей. В обзоре анализируются методы, которые позволяют экономить память и эффективно использовать вычислительные и коммуникационные ресурсы на архитектурах с одним или несколькими GPU, обобщаются основные категории стратегий, сравниваются стратегии внутри категорий и между собой. Наряду с подходами, предложенными в литературе, обсуждаются доступные реализации.