Инсайты конкурса NeurIPS 2021 NetHack Challenge

Авторы обобщают результаты первого конкурса NetHack Challenge NeurIPS  в 2021 году. Участникам была поставлена задача разработать программу или агента, способного выиграть в популярной игре обхода подземелий NetHack, взаимодействуя со средой для обучения агента NetHack Learning Environment, считающейся одной из самой сложных для алгоритмов обучения с подкреплением (RL) из-за множества возможностей исхода событий и отсутствия заранее известной стратегии. Решение задачи конкурса с помощью обучения с подкреплением продемонстрировало прогресс сообщества в области искусственного интеллекта с множеством различных подходов, значительно превзошедших ранее лучшие результаты на NetHack. Кроме того, это послужило прямым сравнением подходов нейронного (например, глубокого RL) и основанного на правилах, а также смешанных подходов, демонстрируя на игре NetHack, что игровые боты, написанные на правилах, в настоящее время значительно превосходят нейросетевых игровы ботов, обученных с помощью глубокого обучения с подкреплением. Наконец, ни один агент не приблизился к победе в игре, что свидетельствует о пригодности NetHack в качестве долгосрочного эталона для исследований ИИ.