Author: 木遥

本文不代表我的雇主。 一、 很多人都注意到，AlphaGo 的棋风有个有意思的特点：它很少下出「好棋」，也就是凶狠的杀招，并且还时不时似乎下出缓手。它局面从未大幅领先过，永远只赢一点点。 为什么呢？ 要训练一个神经网络，需要定义一个反馈函数，即告诉这个神经网络怎样的决策是好的。在 AlphaGo 的设计中有个重要的细节：训练 AlphaGo 的神经网络时所采用的反馈函数只依赖于输赢，而同输赢的幅度无关。换言之，对 AlphaGo 而言，赢一目的棋和赢十目的棋一样好，它追求的只是单纯的胜负而已。 但单纯追求胜率实际上就意味着放弃追求大胜。因为在多元优化问题中靠近边缘的地方，不同的优化目标之间几乎总是彼此矛盾的。比方说，如果一个局面需要考虑三手可能的棋，第一手可以赢十目，有 70% 的胜率，第二手可以赢一目，有 80% 的胜率。第三手可以赢二目，有 90% 的胜率。首先第二手棋显然全面劣于第三手棋，不应该列入考虑。而值得比较的第一和第三手棋之间，胜率高的选择一定是胜利幅度较低的那一个。——很显然，这就是典型的帕雷托优化问题。第二手棋不是帕雷托最优的，或者说不够接近优化的边缘。而在边缘处的第一手和第三手，两个指标的优劣一定彼此相反。 （这当然不是说，围棋中追求胜率和追求领先幅度是两件矛盾的事。事实上，在绝大多数情况下，它们的指向都是相同的，一手导致领先幅度大幅下降的棋一般来说也会导致胜率大幅下降，但它根本就不会被列入权衡，也就不会被注意到。值得权衡的选择之间一定是彼此两难的，并且对手愈强，这两个优化目标之间的分歧就越大。） 因此，AlphaGo 以单纯胜负作为反馈函数的结果，就是 AlphaGo 总是选择那些相对而言更保证胜率而胜出幅度较小的棋。只赢一点点就够了。 为什么人类棋手（至少绝大多数）不这么下棋呢？ 因为这和人的思维方式不符。AlphaGo 可以这么做的前提是极端精细的计算能力，从而得以控制微小而稳定的盘面优势。像是贴着水面飞行的鸟，最危险但也最省力。但人无法永远做出精确的计算，所以需要一次次努力扩大领先的幅度以维持一个安全的距离，防止一着不慎胜负翻盘。所以 AlphaGo 会显得遇强则强，但也很少下出「好看」的棋。甚至可能因为过于追求全局取胜几率，下出在人类的视角看来局部并非最优的招式。反过来，通过一番搏杀来取得局部胜利在人类看来总是一件好事，而在 AlphaGo 看来，这也许只是毫无必要地增加不确定性而已。 于是我忍不住设想，如果 AlphaGo 在训练时采用不同的反馈函数会是什么结果。不妨假设存在一个 BetaGo，一切都和 AlphaGo 设定相同，只是反馈函数定义为盘面领先的目数。（换言之，从一个正负之间的阶梯函数变成线性函数。）可以猜测 BetaGo 的「棋风」应该比 AlphaGo 凶狠许多，更追求杀着，更希望大赢。如果让 BetaGo 和 AlphaGo 反复对战，AlphaGo 赢的次数会更多，但平均而言 BetaGo 赢的幅度会更大。 （或者更极端一点，干脆采用盘面领先程度的平方乃至指数函数作为反馈，那会培养出什么暴躁疯狂的算法呢？） AlphaGo 采用目前的设计是很好理解的，因为首先追求的目标还是证明 AI 能够战胜人脑。但是从目前的情况来看，AlphaGo 似乎已经遥遥领先，那即使 BetaGo […]

2016 年 1 月 28 日，Deepmind 公司在 Nature 杂志发表论文 Mastering the game of Go with deep neural networks and tree search，介绍了 AlphaGo 程序的细节。本文是对这篇论文的阅读笔记，以及关于人工智能和围棋进一步的一些想法。 声明：我是数学 PhD 和软件工程师，但不是人工智能领域的专家。我也不会下围棋。 一、 AlphaGo 总体上由两个神经网络构成，以下我把它们简单称为「两个大脑」，这并非原文中的提法，只是我的一个比喻。 第一个大脑（Policy Network）的作用是在当前局面下判断下一步可以在哪里走子。它有两种学习模式： 一个是简单模式，它通过观察 KGS（一个围棋对弈服务器）上的对局数据来训练。粗略地说：这可以理解为让大脑学习「定式」，也就是在一个给定的局面下人类一般会怎么走，这种学习不涉及对优劣的判断。 另一个是自我强化学习模式，它通过自己和自己的海量对局的最终胜负来学习评价每一步走子的优劣。因为是自我对局，数据量可以无限增长。 第二个大脑（Value Network）的作用是学习评估整体盘面的优劣。它也是通过海量自我对局来训练的（因为采用人类对局会因为数据太少而失败）。 在对弈时，这两个大脑是这样协同工作的： 第一个大脑的简单模式会判断出在当前局面下有哪些走法值得考虑。 第一个大脑的复杂模式通过蒙特卡洛树来展开各种走法，即所谓的「算棋」，以判断每种走法的优劣。在这个计算过程中，第二个大脑会协助第一个大脑通过判断局面来砍掉大量不值得深入考虑的分岔树，从而大大提高计算效率。 与此同时，第二个大脑本身通过下一步棋导致的新局面的优劣本身也能给出关于下一步棋的建议。 最终，两个大脑的建议被平均加权，做出最终的决定。 在论文中一个有趣的结论是：两个大脑取平均的结果比依赖两者各自得出的结果都要好很多。这应当是让 AlphaGo 表现出和人类相似性的关键所在。 二、 如果我是这篇论文的审稿人，我会对论文提出下面这些问题和评论： 首先，这些神经网络训练在很大程度上是通过自我对局来实现的。这既是某种优势（按照 Facebook 人工智能研究员田渊栋的说法，几千万自我对局这种规模是相当惊人的数据量），某种程度上来说也是不得已而为之，因为人类对局的总数实在太少，会导致机器学习中常见的过度拟合问题。 但是这样是否有可能造成自我设限乃至画地为牢的后果？这同时牵涉到人们对神经网络学习过程的理解和对围棋本身的理解。一方面，神经网络本身是否包容一定程度的「think out of the box」的能力，这固然取决于具体的神经网络算法，但也确实是人们对神经网络方法的一个本质困惑。另一方面，因为 AlphaGo […]

记 为第 个素数和第 个素数之差。数列 和素数数列一样有很多有趣的性质和猜想。其中最古老的一个是： 猜想： 在 中出现过无穷次。 这是孪生素数猜想的另一种表述形式。1849 年，Polignac 把这个猜想推广为： 猜想：任意偶数都在 中出现过无穷次。 如果记所有在 中出现过无穷次的偶数的集合为 ，则上述两则猜想可以分别表述为 包含 以及 包含所有偶数。但长期以来人们甚至不知道 是否空集。直到今年张益唐第一次证明了： 定理： 不是空集，且其最小值不大于 。 事实上， 这一下界只是个粗略的估计。在张的论文发表后的一个月内，它就已经被迅速改进为 ，下降了一百倍还多。 Pintz 指出，在张益唐的结论和他所用的工具的基础上，人们实际上可以立刻得到更强的结论： 定理：存在一个常数 使得每 个连续偶数中就有一个属于 。即 不但非空，且其在自然数中的密度是正的。 容易看出，如果 Polignac 的猜想是对的，则意味着 是一个震荡非常剧烈的数列，不断交替出现很大的数和很小的数。这令人自然猜想这是否也能归纳为一则定理。事实上，Erdős 和 Turán 在 1948 年确实证明了： 定理： 中上升和下降的相邻项都出现过无穷次。 但这只说明 确实在震荡，关于震荡的幅度，Erdős 在 1955 年猜测它会非常大： 的下界趋于 ，上界趋于 。同样是在张益唐的结论和他所用的工具的基础上，Pintz 证明了这个猜想不但是对的，而且很强： 定理： 的下界趋于 […]