返回列表 发帖

AlphaGo人肉臂黄士杰首度公开演讲 Zero未达极限

2017年11月10日16:30 新浪综合


黄士杰出席11月10日的台湾人工智能年会



  来源:DeepTech深科技  作者: 詹子娴


  Google DeepMind研究科学家、《星际争霸》AI计划负责人 Oriol Vinyals将在EmTech China全球新兴科技峰会(2018年1月28-30日)发表主题演讲。

  2016 年,Google 旗下 DeepMind 公司开发的 AlphaGo 击败了韩国职业九段棋士李世石。今年 5 月,AlphaGo 以三战全胜的纪录赢了名列世界第一的棋王柯洁。隔了五个月后,DeepMind 公布了 AlphaGo Zero,它再度让人类感到震撼。

  “我没有想过一个名词能获得所有人的认同,从政治人物、科学家、企业家、到学生甚至是小孩,都觉得这件事明天会发生,这场完美风暴的引爆点是 AlphaGo,黄士杰可能自己都没想过,他那只帮机器下棋的手,改变这个世界:让大家相信或者忧虑机器会超越人类”,Google 台湾董事总经理简立峰说。

  人工智能,是简立峰口中的完美风暴,AlphaGo 则是这一波 AI 风潮的最佳代言人,那么,黄士杰呢?相信 DeepTech 的读者们已经对这个名字并不陌生,他是 DeepMind 资深研究员,是与人类顶尖棋手对弈时代 AlphaGo 执棋的“人肉臂”,更重要的是,他还是开发这个神秘大脑的关键人物之一。

  11 月 10 日,黄士杰应台湾人工智能年会之邀来台演讲,演讲主题是“AlphaGo—— 深度学习与强化学习的胜利”,也是他首次公开演讲

  不久前,在 DeepMind 发表了《Mastering the game of Go without human knowledge》的最新论文后,黄士杰曾在 Facebook 写下: AlphaGo Zero 是完全脱离人类知识的 AlphaGo 版本。这也就是取名为 AlphaGo Zero 的原因——AlphaGo 从零开始。

  在今天的演讲上,他强调,DeepMind 的目标是要做出一个通用人工智能,也就是强人工智能,但他也认为,对 DeepMind 来说,强人工智能还是很遥远,现在最强的学习技能仍然在人类大脑内,有人说强人工智能要到 2045 年,有人说至少还要 100 年,黄世杰的回答是:“大家不要太担心,电影还是电影。”

  从 DeepMind 为什么开始做围棋一直到最新的 AlphaGo Zero,见证了这一切的他称“这几年好像在做梦”。

  以下为演讲内容整理(原文略有删改):


  “人因梦想而伟大”,是我加入(DeepMind)五年之后最大的体会,这段经历对我个人最大的影响就是整个人对 AI 的认识不断加深。DeepMind 团队卧虎藏龙,精神非常强,当 AlphaGo 结束时,我的老板过来跟我说:“Aja(黄士杰英文名),AlphaGo 已经完成所有一切我们希望它该完成的任务,所以我们要再往前迈进”。这群高手都有一个清楚的远大目标,就是做出通用人工智能——解决 A I,把世界变得更好。

  我从小就喜欢下棋,棋艺业余六段,再往上就是职业等级。回顾加入 DeepMind 这五年及 AlphaGo 的发展历史,有四件事对我意义非常大,第一件是在韩国赢了李世石,那天 Demis Hassabis(DeepMind 的 CEO)在推特上写着:“赢了,AlphaGo 登上月球”。我们最初没想过会做出这么强的 AlphaGo,当初是抱持着“探索”的心理开始的。开发过程很辛苦,连过圣诞节时,AlphaGo 都还在自我对弈,同事也都还在工作。所以对我们来说,AlphaGo 赢了就像阿姆斯特朗登上月球一样:“这是我的一小步,却是人类的一大步。”


  第二件是操作 AlphaGo Master 在网络 取得 60 连胜,第三是在中国乌镇比赛打赢柯洁。我参加了两次人机大战,两次的气氛都非常不一样。在韩国时,我们都可以深深感受到李世石的巨大压力,感觉他是为人类而战,第二次在乌镇的气氛倒是满愉快,大家是一种建设性而不是对抗性的气氛。

  第四件事就是 AlphaGo Zero 诞生,DeepMind 把所有人类围棋知识抛弃掉,只给规则让它从头开始学。我回想起我在师大念博士班开发 Erica 围棋电脑程序,每天写程序、解 Bug 、做测试到半夜的日子,但 AlphaGo Zero 把我之前做的这些事全部取代,完全不需要我的协助。

  于是有同事问我,AlphaGo Zero 把你过去十几年在计算机上做的研究一点一点的拿掉,还远远超越你,你有什么感觉?一开始我心情有点复杂,但后来想想这是“趋势”。如果我让 AlphaGo 有所阻碍的话,那我确实应该被拿掉,AlphaGo 99% 的知识经我之手,它到达这一步其实是我从事计算机围棋研究的非常好的收尾,我已经非常满足了。

开发 Erica,获邀加入 DeepMind



  AlphaGo 怎么开始的?其实是三组人马走在一起、串起来的结晶,第一条线是 Demis Hassabis 和 DeepMind AlphaGo 项目负责人 David Silver,第二条线是我,第三条线是 Google Brain 的两位人员 Chris Maddison 和 Ilya Sutskever。


  Demis Hassabis 和 David Silver 是在剑桥大学的同学,他们一起创业。他们为什么想做围棋呢?当年 IBM 深蓝赢了西洋棋世界冠军卡斯巴罗夫,就只剩下围棋是人工智能最大的挑战。因此他们一直就希望做出很强的围棋程序,这是他们的梦想。一开始,研究人员是将西洋棋的技术放进围棋,但这失败了,2006 年蒙特卡洛树出来之后,围棋程序提升到业余三段,但离职业水平还是有极大的差距。


  当我开发出的 Erica 在 2010 年的计算机奥林匹亚获得 19 路围棋的冠军时,我使用的硬件是 8 cores,Zen 用了 6 台 PC,美国的 Many Faces of GO 是用 12 cores,其他对手都是用大机器,但小虾米却赢了大鲸鱼。不久,Demis Hassabis 就写了一封信问我要不要加入,面试时他们告诉我,他们的梦想就是强人工智慧。隔年我就加入 DeepMind。当我们开始做 GO Project 时,大家都有一个共识——不复制 Erica,因为没有意义,我们决定要把深度学习应用进来。

AlphaGo 的成功是深度学习与强化学习的胜利



  我们怎么判断深度学习可能可以用在围棋呢?如果说,人看一个棋盘,几秒内大概可以知道下这里、下那里会是好棋,这种任务神经网络就办得到,但如果要想好几分钟后怎么走,那神经网络就可能办不到。当初我们就有这 么一个直觉:要以深度学习建构策略网络。


  AlphaGo 的主要突破是价值网络,有一天,David Silver 跟我说他有这样一个想法,当时我还有点质疑。我们把策略网络做出来后,胜率就提高到 70~80%,后来加入了 David Silver 提出的价值网络,要让机器进行不断左右互搏的自我学习,一开始不太成功,过了一个月我们克服 over fitting 的问题后,AlphaGo 的胜率大大提升到 95%,而这也是后面 AlphaGo Zero 的主要核心。


  后来老板就说,要跟人类面对面下棋,就得跟樊麾老师比赛。我记得,当樊麾第二盘棋输了之后,他就说:我要出去走走,因为现场只有我和他说中文,我就说:我陪你,他回答:不用,我自己透透气。樊麾回来后,他变得很正面,他不觉得这东西很可怕,而是很正面也很值得期待,因此他后来也变成 DeepMind 团队的一员。再后来,我们选择公开发表这个研究的论文,因为科学的精神就是互相分享,希望推动整个研究领域进步。之后,加入 Google 也为我们带来很大帮助,特别是硬件上,从 GPU 到 TPU 都没有后顾之忧。但 TPU 对我们有极大帮助,把胜率提高了很多。

  另外,大家不要忘记,AlphaGo 在跟李世石比赛时,第四盘棋输的很惨,我当时想说,我自己来下都比较好。尽管最后我们赢了,但回去后就一定要解决这个弱点,不是只解决当初第四盘的弱点,必须全面性地解决,否则以后还是没有人敢用 AI 系统。进化后的版本就是 AlphaGo Master。


  我们到底怎么解决呢?还是用深度学习跟强化学习的方法,而不是用人类知识方法。

  1。 我们把 AlphaGo 的学习能力变强,从神经网络加深:从 13 层变成了 40 层,并改成 ResNet。

  2。 把 2 个网络(决策网络、价值网络)结合成 1 个网络,让 AlphaGo 的直觉和判断同时得到训练,更有一致性。

  3。 改进训练的 pipeline。

  4。 解决了模仿期、循环期等特别情况。


  图 | AlphaGo Master 在网络连赢 60 场,测试地点就在黄士杰在台湾的房间,他每天除了吃饭就是下棋。“我压力很大,怕我点错或是网络断掉,AlphaGo 不能因为我输掉”,他说。

超越以往的 AlphaGo Zero



  AlphaGo Zero 是连我们自己都很惊讶的版本,因为它第一步就是把所有人类知识的部分都抛掉,它是脱离“人类知识”,不是脱离“规则知识,我们一样是给要它 19X19 的盘面训练。

  从零开始的 AlphaGo 还真的是全部乱下、彻底乱下,所以最初我们预期 AlphaGo Zero 应该是赢不了 AlphaGo Master,后来我们用了一些方法把卡住的地方解决了,细节可以参考论文,没想到 AlphaGo Master 进一步超越原先的版本,3 天就走完人类几千年围棋研究的历程。深度学习跟强化学习的威力真是太大。


  AlphaGo Zero 用了 2000 个 TPU 、训练了 40 天。第 40 天还没有到达其极限,但因为我们机器要做其他事情就停下了,所以它还有很大的潜力。AlphaGo Zero 论文的目的不是要做出很强的程序,也没有想要跟人类知识比较、或是讨论人类知识有没有用这些问题,而是想证明程序不需要人类知识也可以拥有很强的能力。

  我观察到,计算机围棋 AI 的价值在于帮助人类或棋手扩展围棋的理论和思路,未来 AI 是人类的工具,跟人类合作,而非跟人类对抗。强人工智能还是 Far Away,现在最强的学习技能仍在人类的脑袋里。

  (以上为演讲全文)

  David Silver 曾指出:“lphaGo 已经退役了。这意味着我们将人员和硬件资源转移到其他 AI 问题中,我们还有很长的路要走”。大家都在关注未来 DeepMind 下一个锁定的领域,而在会议上,黄士杰没有透露太多,但强调“让世界变得更好”,就是 DeepMind 的终极目标。

  至于是否可能将 AlphaGo Zero 开源?黄士杰的回答是目前公司没有这种想法,论文其实写得很清楚,之后大家也可以进一步优化算法。


· 延伸阅读:AlphaGo Zero 进化简史



  和此前的 AlphaGo 版本相比,AlphaGo Zero 的主要成果如下:

  1。 AlphaGo Zero 从零开始自我学习下围棋。

  2。 仅仅 36 小时后,AlphaGo Zero 靠着自我学习,就摸索出所有基本且重要的围棋知识,达到了与李世石九段对战的 AlphaGo v18(也就是 AlphaGo Lee)的相同水平。

  3。 3 天后,AlphaGo Zero 对战 AlphaGo v18 达到 100% 的勝率。

  4。 不断进步的 AlphaGo Zero 达到了 Master 的水平。Master 即年初在网络上达成 60 连胜的 AlphaGo 版本。

  5。 40 天後,AlphaGo Zero 对战 Master 达到近 90% 胜率,成为有史以来 AlphaGo 棋力最强的版本。


  过去,DeepMind 在训练 AlphaGo 时,先让机器看 20~30 万个棋谱,累积一定的人类知识后开始进行自我对弈,自我对弈到达一定程度后机器就有机会赢过人类,因为机器可以在数个礼拜内就下几百万盘,它的经验比人多得多。黄士杰指出:“AlphaGo 成功的背后是结合了深度学习(Deep Learning)、強化学习(Reinforcement learning)与搜索树算法(Tree Search)三大技术。”


  图丨ELO等级分制度(Elo ratings),是当今对弈水平评估的公认的权威方法

  简单来说,当时的 AlphaGo 有两个核心:策略网络(Policy Network)、评价网络(Value Network),这两个核心都是由卷积神经网络所构成。具体而言,首先是大量的棋谱被输入到“策略网络”中,机器会进行监督式学习,然后使用部分样本训练出一个基础版的策略网络,以及使用完整样本训练出进阶版的策略网络,让这两个网络对弈,机器通过不断新增的环境数据调整策略,也就是所谓的强化学习。而“策略网络”的作用是选择落子的位置,再由“评价网络”来判断盘面,分析每个步数的权重,预测游戏的输赢结果。当这两个网络把落子的可能性缩小到一个范围内时,机器计算需要庞大运算资源的负担减少了,再利用蒙特卡洛搜索树于有限的组合中算出最佳解。


  图丨得益于硬件和算法的双重优化,AlphaGo 的效率已经得到了空前的提升

  不过,到了 AlphaGo Zero,DeepMind 则是让它“脑袋空空”——没有输入任何棋谱,让机器自己乱玩。

  也就是说,从一个不知道围棋游戏规则的神经网络开始,没有任何人类指导或人类智能的参与,仅仅通过全新的强化学习算法,让程序自我对弈,自己成为自己的老师,在这过程中神经网络不断被更新和调整。没想到的是,机器训练的时间更短,但却更聪明,例如,AlphaGo Zero 在 3 天内进行过 490 万次自我对弈,就达到了先前击败李世石的程度,但之前他们训练与李世石对战的 AlphaGo 却花费了长达数个月的时间。另外,AlphaGo Zero 21 天就达到了在乌镇围棋峰会打败柯洁的 AlphaGo Master 的水平。

  -End-
附件: 您需要登录才可以下载或查看附件。没有帐号?注册

返回列表