陈一舟：奇点临近，机器有无慈悲之心？

　　三个星期前，当全世界都在为引力波激动的时候，我牵头组织了一次关于引力波和相对论的学习会，到会的互联网界人士有王兴，张朝阳，雷军和李彦宏。会上除了请到的两位老师给我们讲量子力学和引力波之外，借着大家对宇宙奥秘的兴趣，我也即兴分享了一个我为某个会议准备的ppt讲稿，主题是人工智能及对人类未来的担忧。

　　3月10日，人机世纪大战的第二场比赛结束了，阿尔法狗再次战胜世界围棋冠军李世石，关于人工智能的讨论也越来越激烈。我们该如何看待人工智能？机器是否和人一样，有慈悲之心？我把学习会内容整理了一下，在这里和大家分享。

奇点临近

　　很多互联网界人士应该都看过《奇点临近》这本书。我记得李彦宏等大咖都向公众推荐了这本书。奇点临近的观点基于计算技术的摩尔定律，下图说明：

　　用这个图来描述每个时代的计算能力，可以看到计算技术的发展是在以指数级提高。在1960年代，一千美元能买到的计算能力相当于一只蜻蜓的计算能力，非常非常小，在2000年代，一千美元当量的计算能力已经能达到一只老鼠的大脑的计算能力，预计在2020年的时候，一千美元当量的计算能力相当于人脑的计算能力，而到2050年，一千美元可以买到相当于全人类的计算能力！

　　奇点临近的核心思想是，基于计算能力指数级的提高，人工智能将在不久的将来（几十年），全面超过人类。而那个时刻太阳系智能的承载将由人类大脑跨越到超级人工智能，人类在宇宙中的地位将重新界定。

　　本周AlphaGo的表现，我们模模糊糊的感觉到，奇点临近。

意识和智能的生物/物理学基础

　　我看到大家在讨论AlphaGo时，也在思考我们人类和人工智能到底有什么本质的区别。一派论点认为我们很独特，我们的知觉，情感，如此复杂和独特，机器人是永远赶不上的。两年前，我有过类似想法，但是最近一年，随着对人工智能的思考加深，我改变了看法。

　　首先，知觉和情感不是人类所独有，地球上的很多生物都有。灵长类动物和海豚之类比较聪明的动物，它们应该具有某种知觉。最近有一项研究显示，连乌贼这种软体动物，也可能有知觉。试验表明，刚醒来的乌贼脑电波会有明显的变化，就像人类醒来时脑电波出现的变化。

　　2012年7月7日在剑桥大学纪念DNA之父弗朗西斯·克里克(Francis Crick) 的学术会议上，一群科学家联合发布了一个关于意识生理学基础的剑桥宣言。剑桥宣言最后一段大胆提出：“缺乏大脑皮层似乎不表示生物没有经历情感状态变化的能力。各种证据皆不约而同地指出：动物拥有构成意识所需的神经结构、神经化学及神经生理基础物资，以及有能力展示带有意图的行为。因此，证据充分表明人类并非*拥有产生意识的神经基础物资的生物。非人生物，包括所有哺乳类及鸟类、以及其他生物包括章鱼，也拥有这类神经基础物资。”

　　如上图所示，过去几百万年，人脑越来越大，也越来越聪明，大脑的容量增加了两倍多。和人工智能相比，相当于CPU的计算能力的提高。思考能力显然有硬件基础，人工智能的计算能力在以指数逼近和超过人类，这是奇点临近的主要预测根据。

　　这是史上最神奇的人类大脑 — 100年前预测到引力波存在的爱因斯坦大脑。科学家对保留下来的爱因斯坦大脑进行了研究，发现他的大脑其实并不重，甚至略低于平均值，但是左半球与右半球的连接区域异常发达，同时负责抽象思维的区域异常发达，远超常人。进一步说明了智力、智能与产生智力的“硬件”的复杂性/精密性之间存在紧密的联系。人工智能除了硬件在指数提高，其软件，既认知能力，也通过机器学习算法提高非常快。

智能体的共同特点

　　有了上面的知识铺垫，让我们来探究本文的中心问题，机器是否有慈悲之心？让我们再补充一些知识，先看看智能的共同特点是什么。

　　凯文凯利在《技术需要什么》里认为如果技术也是一个有灵魂的个体，那么它需要四类东西：一是可能性，技术都想让自己的多样性变得更大，它希望增加更多的选择。第二它需要更高的效率，比如增加能量的密度。 第三技术希望增加复杂性，第四技术希望增加可进化性。

　　哈佛大学教授Alex Wissner-Gross认为智能应该被看作是一个物理过程，这个物理过程希望把未来的行动自由*化，并且尽量避免在属于自己的未来中受到约束。一个囚犯为什么想越狱？他希望未来的自由*化。年轻人拼命工作为什么？攒钱为未来打算。

　　这里特意把智能，技术这两个概念混淆。技术的驱使者是人类，所以技术发展当然也反应了人的主观能动性。比较有意思的是智能的热力学解释，根据Wissner-Gross，不管是基于碳基的生物智能还是基于硅的人工智能，应该都有一个热力学和哲学上的共同特点：它们消耗能量，消费信息，目的是*化智能载体的行动自由和未来的各种可能性。

智能体之间的合作与对抗

　　这样看起来，智能体应该是自私的，它们都“忙着”为自己的未来打算。但为什么人类社会中存在着大量的利他行为呢？利他还是自私的问题，这和我们所关注的慈悲之心已经很接近了，所以我们来看看智能的利他行为是怎么回事。

　　人是社会化生物，人类更倾向合作。以研究蚂蚁著称的生物学家威尔森在他的《社会征服地球》一书中提出，“利他主义不是个体的自然选择，而是群体的选择”。他认为一个拥有众多愿意为了集体利益而作出贡献或为之牺牲的成员的部落将会胜过其他合作意识不那么强的部落。“社会体是在生物体个体之上的下一个主要生物学组织形式，在仅有的二十多个进化出社会体的动物进化分支线中，我们祖先处于其中一条分支上。在社会体中，超过两代以上的群体成员共同生活在一起，共同照顾幼体，进行劳动分工，且分工会让部分个体相对于其他群体成员在繁殖时处于更有利地位。”

　　对于区别于人类的高级智能，如外星人，人们直觉上保持一种担心。比如，在谈及对外星人的探索计划时，物理学家霍金曾经这样警告过：“虽然我们不太了解外星人，但我们了解人类。纵观人类历史，人类与智力相对欠缺物种之间的接触，站在它们的角度来看，这种接触往往是场灾难，先进文明与原始技术的相遇对于落后一方来说很糟糕。文明外星人可能会比我们早数十亿年读取人类的信息。如果是这样的话，他们非常强大，看待人类也许未必有人类看待细菌那样珍视。”

　　本周阿尔法狗两虐李世石，大家感慨万千。昨天（3月10日），李学凌的状态是这样滴：

　　但是，熊猫被保护起来是因为它们稀缺。试想一下“可爱”的熊猫们和老鼠和蟑螂一样多的话，他们的命运应该差很多吧。

　　把一群级别类似及相差很大的智能体放到一起的时候，他们怎么决定是否合作还是对抗？我们先来看人类自己的例子。

　　人类是怎么对待自己的人类兄弟的呢？

　　1890年12月29日，是美国印第安人的伤心之日。 那天，由福赛思上校率领第七骑兵团的500美国骑兵在南达科他州的伤膝河（Wounded Knee）血洗了那里的印第安人苏族的拉科塔部落。

　　显然，人类的利他行为有适用范围：对和自己基因最接近的家庭成员，我们最合作，最关注。从家庭，家族，老乡，到同一人种，同国家，不同国家的人，随着和自己基因和群体的疏远，人类的这种利他性逐步降低，甚至会到敌对面。人的爱和情感，归根结底是利己的，是有适用范围的。智能物种相遇时，如果技术能力差异很大，弱肉强食看起来是智能体的一个共同特点。

　　几年前，我看到一篇人工智能的研究论文，用计算机模拟的人工智能在多竞争对手的情况下，有时候会选择和水平相近的其它智能合作。我翻了一下历史书，果不其然，发现确实有证据表明是这样。比如，中国近代史上的八国联军压义和团，就是当时技术水平相近的8个世界列强在多竞争对手瓜分中国殖民地的情况下，共同选择的一次性合作。根据这篇论文：“因此，我们有理由认为，不同的智能体会统一表现出一种“驱动力”， 跟它同样强大的生物合作，以获取利益。即使这种行为不是有意而为之。”

　　正是基于对智能本性的直觉，霍金警告过探索外星文明需要谨慎，而中国著名科幻小说三体里，刘慈欣也提出了基于这种哲学的黑暗森林法则：“宇宙就像是一座黑暗森林，每个文明都是带枪的猎人，像幽灵般潜行于林间，轻轻拨开树枝探索外界，同时竭力不发出脚步声隐藏行踪，因为林中到处都有与他一样潜行的猎人。如果他发现了别的生命不管是不是猎人，不管是天使还是魔鬼，能做的只有一件事：开枪消灭之，在这片森林任何人视他人为地狱，永恒的威胁来源、永恒的资源抢夺者，只有先下手为强的不变思维才能抵消未来潜在风险，任何暴露自己存在的生命都将很快被消灭”。

人类的未来

　　看起来，人工智能一旦超越人类，一方面会继续按指数成长，一方面要以人类看待细菌的视角俯视我们，按照智能体的共同特点，它会消耗能源和信息，追求其*的未来可能性。对待人类，它应该没有特别的恶意，但是应该也没有特别的慈悲之心。慈悲之心，是人类这种社会型生物特有的能力，它很美，很人性，它有助于人类合作，是人类在进化过程中经过群体选择形成的优秀品质。但是，很遗憾的是，慈悲并不是宇宙中所有智能体的共同之处，因为，这些智能体的进化可能不是群体选择而是个体选择。即使是合作型的智能体，如果它们和人类一样，它们对待技术能力远逊于自己的其它智能体，弱肉强食的思考方式应该是最有可能的。

　　人工智能，是离我们最近，并且几十年以后应该大幅超越人类的智能。对于它的担心，国外很早就有专门的研究机构研究人工智能的各种危险。Elon Musk也非常关注这个问题，甚至提出要在火星上殖民，增加人类生存机率。 最近通过学习引力波，深知宇宙航行之不易。同时，人类外星殖民者能到的地方，比人类更高级的智能也能到。所以人类长期生存及人机共存问题，必须在地球上解决，跑是跑不掉的。

　　在《奇点临近》书里，库兹韦尔大胆提出了宇宙中智能进化的六个纪元。根据这个体系，人类社会目前处在从以技术进化的第四纪元到以技术控制生物学方法进化的第五纪元的跃迁当中。

　　在阿尔法狗虐人的时代，我们应该开始研究这些哲学问题。作为人类，我们当然需要关注人类未来。但是答案得来的途径也许在于研究宇宙，研究宇宙中智慧的进化方式和生存方式。

　　机器是否有慈悲之心，通过这篇分析，我们到底学到了什么？

　　1. 作为人类目力能及范围内的*一个高级智能体，如果我们真正在追求未来的多种可能性，也许我们应该更加爱护我们的环境。和发达国家的智能部落相比，在环境的问题上，生活在中国的智能部落也许应该想的更加长远一些。

　　2. 作为一个有悠久社会化历史的智能体，人类在长期的群体自然选择过程中选择出了小部分富有慈悲和博爱之心的个体。这些个体非常难能可贵，在面对比人类更高级智能的时候，这种特点也许是人类*的可爱之处。所以，我们对人群的利他行为要更加珍惜，鼓励和支持。

　　3. 我们目前所处的时代，这个人工智能的时代，是人类历史上最有戏剧性，变化最快，变化最深刻的一个时代。作为一个智能物种，我们希望保留我们未来的各种可能性。而这似乎只能通过深刻的思考才有可能。希望这篇文章，能够吸引更多的有识之士来共同关注和研究因为人工智能，奇点临近所产生的，只有在我们这个时代才会提出的哲学问题。

　　最后，祝大家脑洞大开，思想愉快！