https://www.ithome.com.tw/news/141845 DeepMind揭露新一代AI系统MuZero：不知游戏规则也能有效规画行动 新一代AI系统MuZero能在完全不知规则的情况下，熟悉围棋、西洋棋、将棋，以及57款 Atari游戏，且效能大幅超越了现有最佳的DQN、R2D2与Agent57系统，可望用来解决现实 生活中，规则太复杂或完全不知规则的各式难题。 文/陈晓莉 | 2020-12-24发表 Alphabet旗下的人工智慧子公司DeepMind，继发表了围棋AI系统AlphaGo，以及同时精通 围棋、西洋棋与将棋的AlphaZero之後，於本周再度揭露了新一代AI系统MuZero，它能够 在完全不知规则的情况下，熟悉围棋、西洋棋、将棋，以及57款Atari游戏，且效能大幅 超越了现有最佳的DQN、R2D2与Agent57系统，可望用来解决现实生活中，规则太复杂或完 全不知规则的各式难题。 比较DeepMind的几代产品，2016年的AlphaGo是透过已知的规则、围棋领域的知识，再加 上人类资料训练而成，让它击败了全球的围棋好手；2017年的AlphaGo Zero，则是仅利用 已知规则，自我学习而达到与AlphaGo同样的境界；2018年的AlphaZero也是仅基於已知规 则，但把挑战范围从围棋扩大到西洋棋与将棋，便能同时精通这3项棋戏；而最新的 MuZero则未被喂入任何的已知规则，在未知的动态环境下就能自动学习规则并作出最佳判 断，且MuZero系统把挑战范围从上述的围棋/西洋棋/将棋，扩大到Atari出品的57款游戏 ，并取得优秀的成绩。 DeepMind团队说明，规画是人类智慧的一项重要能力，让人类能够解决问题并替未来作出 决策，人类通常很快就可以学到计画的能力，同时也能延伸到新的场景，而这也是该团队 期许AI系统能够达到的。 研究人员最初试着透过两种作法来解决此一问题，包括超前搜寻（lookahead search）与 基於模型的规画能力，但前者必须仰赖诸如规则或精确模拟器等环境动态的知识，让它难 以适用於解决复杂且通常缺乏简单规则的现实世界问题；後者虽然可藉由学习环境动态的 精确模型来进行计画，但针对环境的每一方面来建模，则无法满足视觉丰富的领域，例如 Atari，迄今针对Atari的最佳解决方案为非模型的AI系统，包括DQN、R2D2与Agent57，它 们并非使用学习模型，而是推测下一步的最佳作法。 於是MuZero摒弃了上述两种方式，采用了截然不同的作法，它只针对系统决策程序的重要 因素来建模。研究人员形容，人类的规画能力呈现在当看到乌云时，即推测可能会下雨便 带了把伞，MuZero的逻辑则在於，了解伞能够让人们保持乾燥，比针对空气中的雨滴进行 建模更有用。 因此，MuZero的模型着重在能够协助规画的环境变动因素，包括现在位置的价值、最佳行 动的政策，以及上一个行动的成效，藉由深度神经网路进行学习，以理解当采取特定行动 时所产生的结果，并据此展开规画。 DeepMind团队测试了MuZero在围棋、西洋棋、将棋与Atari游戏上的效能，发现它替强化 学习演算法设立了全新的水平，不仅於棋戏项目达到与AlphaZero同样的效能水准，在 Atari游戏上更凌驾了所有现有的最佳系统。 此外，该团队也发现，要是赋予MuZero更多的思考（演算）时间，例如原本移动围棋每个 棋子的时间为1/10秒，在将它拉长至50秒之後，MuZero在围棋上的技能将增加 1000 Elo ，两者之间的差距就如同一个厉害的业余玩家，以及一个世界最强的专业棋手。 同样的，在Atari其中一款游戏《小精灵小姐》（Ms Pac-Man）上进行测试时，MuZero在 每个行动上可选择5~50个数量的规画模拟，结果显示所选择的规画数量愈多，MuZero就能 学习得更快，也能取得更好的效能；有趣的是，若将MuZero的每个行动限制在只能选择6 或7个规画模拟，它同样能够达到优秀的效能，透露出MuZero可在情况与行动之间进行归 纳，而不一定要搜寻所有的可能性。 研究人员认为，当MuZero具备学习环境模型的能力，并用它来进行规画时，呈现的是强化 学习与通用演算法上的重大进步，AlphaZero已被用来解决化学或量子物理等问题，而 MuZero将可用来解决机器人、工业系统或其它未知规则的混乱现实环境中，所存在的新挑 战。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.129.164.26 (日本) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/GO/M.1617507530.A.B3A.html