标题:
星阵回应质疑:任意路数技术与“针对性训练”
[打印本页]
作者:
天马行空
时间:
2019-11-22 16:32
标题:
星阵回应质疑:任意路数技术与“针对性训练”
2019年11月22日 15:49 新浪体育综合
[attach]160823[/attach]
柯洁VS星阵
文章来源：星阵围棋
近期星阵专业版上线测试后，广受高水平棋手和普通围棋爱好者的好评。与此同时，网络上出现了一些关于星阵的不实信息，其中很多言论与事实明显不符。现选取比较有代表性的几点质疑进行回应，以正视听。为了更客观地还原事实真相，这几天来我们寻找了大量的资料，包括之前的新闻报道、棋谱等最直接的证据。本文中的几点质疑由网友“百年孤独”陈列，并均为其原话。
质疑1：“由说katago是星阵一年前的技术，也就是去年9月份就有的技术。令人存疑，据我所知，星阵的任意路数也是11月份以后，8月份的9路大赛，星阵下出的棋负于人类，和katago差不少，而且卡塔狗支持任意路数（大于19也支持，还有长方形棋盘），在去年的宣传中，星阵方面并没有说过支持任意棋盘，也没有说过支持19路以上的棋盘，我怀疑星阵支持小棋盘用的缩图法，并不是卡塔狗方法。”
回应：事实上在2018年4月人机大战时，星阵已经拥有任意路数的技术。目前搜索当时的新闻仍然可以找到相关报道，在此仅举一例：
澎湃新闻：柯洁执白不敌国产人工智能“星阵”，但他的勇气格外珍贵
http://news.sina.com.cn/o/2018-04-27/doc-ifztkpip3073988.shtml
此时并没有公开测试，但中间有多位棋手参与了私下的测试。之后经过多次测试改良，在2018年8月南宁中国围棋大会上进行了公开9路挑战赛，在2018年12月在弈客进行了天弈17路挑战赛。并且在弈客的比赛筹划阶段曾经在17路和21路之间选择，后来因为21路一盘棋时间较长因此没有进行比赛。关于星阵支持任意路数的方法，早在2018年9月的相关新闻中就已经有明确报道：
新浪体育：刘鹤副总理视察星阵围棋 并与人工智能现场对弈（图）
http://finance.sina.com.cn/china ... khfqns7459116.shtml
以上证据可以说明所谓“星阵的任意路数也是11月份以后”、“去年的宣传中星阵方面并没有说过支持任意棋盘”说法不实。希望今后再有此类疑问时首先查阅公开资料，不要人云亦云。
质疑2：“星阵比赛（2018年4月星阵对leelazero七番棋）的时候为什么要求lz公布权重，而且lz公布权重和实际权重不一样的时候反而取得了胜利，这个很容易让人有针对性训练的遐想。”
回应：公布权重是星阵方向组织者弈客提出的，目的是赛后验证招法真实性和数据分析，为了人机大战做准备，得到了leelazero方代表的同意。并且规则只要求公布权重信息（而且是赛前半小时），没有对leelazero使用权重的选择做出任何限制（包括赛前不公开的权重）。所谓“lz公布权重和实际权重不一样的时候反而取得了胜利”更是缺乏说服力。这里找到了2、3、4局的权重公示情况。
第2局：
https：//home.yikeweiqi.com/#/gonews/detail/16941？type=1
第3局：
https：//home.yikeweiqi.com/#/gonews/detail/16972？type=1
第4局：
https：//home.yikeweiqi.com/#/gonews/detail/16995？type=1
[attach]160824[/attach]
可以看到第2局和第3局均没有使用官方权重（星阵方不清楚这两个权重赛前是否公开），第4局公示使用官方权重但据说实际使用的是非官方权重并取得胜利（问题的由来）。首先比赛前半小时才会公示使用权重，每一局leelazero使用的均是不同权重，而且很多权重是当天才更新。本身就不存在针对性训练这种技术，更何况权重赛前未知、并且不断更新。而且从棋的内容看，前三局星阵赢的并不轻松，第四局也是苦战惜败，不存在明显的差别。所谓“公布权重和实际权重不一样反而取得了胜利”只是一种巧合衍生出的猜测。
质疑3：“星阵最开始说租机是最新权重，然后后来用ox测试，ox并不弱，然后立刻改口说稳定版权重，在索要ox权重后，进行升级，突然对ox碾压，根据实际elo曲线，如果不靠针对性方法这个进步至少200分以上，能在短时间内进步200分，这种神奇的速度，然而比赛仍负绝艺，令人费解。”
回应：首先拿来测试的据我们所知被称为oxb02权重，和ox有所区别。并且某棋友当时在野狐公开测试星阵12x对5卡2080ti的oxb02权重战成1：1平，之后当晚24x执黑0：1 oxb02。然而第二天开始有人开始在各个qq群微信群大肆宣传，声称“oxb02同配置2：0星阵”。
我们得知这一消息后，马上进行自查。通过在野狐测试和自战测试发现最新权重可能存在一定问题。为了保险起见把权重回退到最新的稳定版权重（8月份比赛版本）。因此在10月19日之后到目前为止，网页版使用的均为8月份的稳定版权重，那么8月份的星阵是如何针对后面出现的ox（b02）进行针对性训练的？如果有兴趣验证的话，由于权重时间较早，网页版目前开局阶段黑棋胜率整体比当时所谓“2：0星阵”时要高，可以和当时“第一视角”截图做对比。同时还可以拿目前的网页版来分析9月份在野狐上“FuzzyPants”账号的招法重合度。各种证据都可以说明网页版是回退到旧权重，而不是所谓的“升级”，“针对性训练”谣言不攻自破。
从另一个方面看，星阵出道以来在大赛中多次战胜非开源AI，在决赛番棋中以较大优势战胜过AQ、小爱，同时星阵也是在凤凰围棋后唯一在正式比赛赢过绝艺的AI。同时ELF（赛后放出最新权重v1）、Leelazero等开源AI在比赛中均使用了未公开的权重，可以说在AI大赛中本来就不存在公开权重的AI，如果星阵是靠所谓的“针对性方法”提升水平，那么是如何在历届AI大赛中面对各种对手都取得好成绩的？
质疑4：“星阵认为已经超过zero的天花板，这个并未有证据？难道星阵自己跑到过zero的天花板？如果没有，如何认为zero天花板没有master方法高？”
回应：首先zero指的是AlphaGoZero论文中40B模型，想对比的是该模型的水平而不是算法的优劣。比较水平最直接的方法是对战，但是这个验证方式基本不可能实现。该论文中包含各版本的等级分推算，可以看到Raw network也就是纯神经网络输出的水平是3055elo分（这里是goratings的分数，并不是中国围棋等级分）。而星阵对应的Raw network就是星阵陪练小程序9d所使用的。从小程序的使用反馈以及其他相关的对比测试，猜测星阵的Raw network可能超过了3055分，并不是严格的证据，星阵也从未发表过“证明了”超过AlphaGoZero这种言论。
关于zero天花板的master对比，论文中没有提到过AlphaGo Master的模型大小，主流的非官方消息为20Block。而论文中并没有提到20Block的zero版本与master版本的棋力对比，因此只看论文无法说明zero天花板高于master。星阵只发表过类似“master方法天花板不一定低于zero方法”的言论，所谓“认为zero天花板没有master方法高”完全是曲解原意。
质疑5：“星阵支持日本规则尚存疑问，日本规则双活无目，请问如何用中国规则模拟日本规则，如果只是看谁收后的方法，不是真正意义上的日本规则。”
回应：日本规则是一种存在大量人为规定棋例的规则，本身很难程序化，星阵也没有声称过支持“真正意义上的日本规则”。星阵设计了一种“实战解决的数目法”，与日本规则近似度很高，并在17路挑战赛中使用，并不是简单的只看谁收后的方法。在2019年3月日本进行的人机配对赛中，星阵和搭档芮乃伟老师执黑半目（盘面7目）险胜对手，过程中星阵判断精准，已经可以说明问题。如果一定要较真的话，星阵确实支持不了“真正意义上的日本规则”。
质疑6：“去年5月ai大赛，星阵10卡打单卡elf（虽然elf是v100，但是计算速度其实并不高），星阵宣称那时候已经达到elf水平，最终结果确是2：3险胜。”
回应：“虽然elf是v100，但是计算速度其实并不高”这个前提毫无根据。根据elf公开的论文https：//arxiv.org/abs/1902.04522，50秒约计算80000个盘面，折合1600playouts/sec。而星阵的10卡是1080ti，平均速度为1500 playouts/sec，考虑到elf模型较小，性能上星阵可以算稍占优势，3：2的比分也说明了当时星阵与elf水平相近。
后记：星阵团队近期正在全力开发星阵网页版，目的是让每个喜欢围棋的棋友都能无门槛用上高水平的围棋AI。从星阵围棋在去年4月公开亮相开始，各种阴谋论的猜测就陆续出现了。多次世界围棋AI大赛星阵均取得了上佳的成绩，对人类的让先、17路、让二子挑战赛也表现出色，同时今年开放的微信小程序“星阵陪练”（纯神经网络）也受到广大棋友的一致好评，其中的9D水平被公认明显强于已有的任何开源AI的纯神经网络，这些都证明了星阵的水平和技术创新。
然而不断有人刻意忽略部分事实，例如将“星阵12x 1：1、24x 0：1 5卡”的结果宣传为“2：0同配置星阵”。还将星阵团队成员的一些正常言论进行“加工”，去掉上下文、曲解原意，修改变成有争议的言论并广为传播。包括本次质疑的内容，其中有很多前提就存在明显的错误，由此推论出的星阵种种自然毫无说服力可言。为了澄清这些质疑，尽量还原事情的真相，我们力求每一个问题都找到当时的新闻报道、对局记录等，做到言之有据。
关于网页版的水平，较少盘数水平的测试原本就存在较大波动，对星阵有利的结果被歪曲成“星阵使用了各种不光彩的手段”，对星阵不利的结果自然被解释成“星阵就是这个水平”。并且先后出现了大量自相矛盾的说法：当有人询问星阵水平的时候，可以说“星阵同配置与XX权重差不多”；为了说明星阵“针对性训练”，又会说“星阵碾压XX权重”。
星阵团队认可每一个开源AI对围棋所做的贡献，肯定每一个开源AI的实力。同时欢迎客观公正的对比测试，接受合理的意见，为广大真正热爱围棋的爱好者们做出自己的贡献。
[attach]160825[/attach]
欢迎光临 亦苏围棋社区 (http://ysgo.91em.com/bbs/)
Powered by Discuz! 7.2
