……
“最普遍的回答是科技，这的确是对的，科技是我们人类历史不断积累下来的伟大成果。”
“现在的科技发展十分迅猛，这是直接原因，这就是为什么我们人类现在生产效率如此高的原因，但我们想探究更远的在未来的究极原因。”
“我们和我们的祖先有25万代的差距，在此期间，我们从捡起地上的石头作为武器到能利用原子能制造毁灭性的超级炸弹，现在我们知道如此复杂的机制需要很长的时间来进化得到，这些巨大的变化却是取决于人脑中细小的变化，黑猩猩的大脑和人类的大脑并没有太大的差异，但人类胜利了，我们在外面而它们在动物园里面！”
“因此得出了结论，即：在未来，任何显著的思维基体的变化，其结果都能带来巨大的差异。”
任鸿喝了一口水，停顿了一下继续道：
“我的一些同事认为我们或者人类即将会发明足以彻底改变人类思维模式的科技，那就是超人工智能，或者说超级ai或超级智慧体。”
“我们人类现在掌握的人工智能，形象的说是把某项指令输入到一个箱子里，这个过程我们需要程序员把知识转化为可运行的程序，为此会建立起一套专业的系统，php、cAAAA等计算机语言。”
“它们很生硬，你不能延展它们的功能，基本上你只能得到你放进去的东西，仅此而已。”
“尽管今天我们的人工智能技术发展迅猛，且日渐成熟，但依旧未能达到与人类一样，具备强大的跨领域复合型综合性质的学习能力。”
“所以我们现在面临一个问题：人类还需要多久才可以让人工智能拥有这种强大的能力？”
“矩阵科技曾经同样针对全球顶尖的人工智能专家做过一次问卷调查来收集他们的看法，其中有一道题目是：哪一年你觉得人类会创造达到人类水平的人工智能？”
“我们把这道问卷题目中的人工智能定义为有能力将任何任务完成得像一名成年人一样好。一个成年人会擅长不同的工作等，如此，该人工智能具备的能力将不再仅限于单一的领域。”
“这道题目的答案的中间数就是现在，21世纪中叶区间，现在看来还需要一段时间，也没有人知道确切的时间，不过我想应该快了。”
“……我们知道，神经元在轴突中的信号传输速度最多100米/秒，但是在电脑里，信号是以光速传播的。除此之外还有尺寸的限制，人类的大脑只有头颅那么大，你无法对其进行二次扩容，但是计算机却可以多次扩容，可以一个箱子那么大，可以一个房间，甚至一栋大厦的容积，这一点绝不可能被忽视。”
“因此超级ai可能正潜伏在其中，就像原子能潜伏在历史中直到1945年被唤醒。”
“而在本世纪，人类可能将超级ai的智慧唤醒，我们将会看到智慧的大爆炸。当人们在思考什么是聪明什么是笨的时候，尤其是当我们谈论到力量权利的时候。”
“比如黑猩猩很强壮，同等的体量相当于两个健康男性，然而这两者之间的关键更多的是取决于，人类能做到什么，而不是黑猩猩能做到什么。”
“所以，当超级ai出现的时候，人类的命运也许会取决于这个超级智慧体想要做什么。”
“试想一下，超级智慧或许是人类需要创造的最后一个发明，超级智慧比人类更聪明，比我们更擅长创造，它也会在极短的时间内这么做，这意味着将是一个被缩短的未来。”
“试想一下，我们曾经幻想过的所有疯狂的科技，也许人类可以在一定的时间内完成并实现它，比如终结衰老、永生、大宇宙殖民……”
“诸如此类看似仅存在与科幻世界中却又同时符合物理定律的元素，超级智慧有办法去开发出这些东西，并且比人类更快更高效，我们人类需要1000年完成一件发明，超级ai也许只用1个小时，甚至更短，这就是被缩短的未来。”
“假如现在有一个如此成熟科技的超级智慧体，它的强大将是人类难以想象的，通常情况下它能得到它想要得到的任何东西，我们人类的未来将会被这个超级ai的喜好所主宰。”
“那么问题来了，它的喜好是什么呢？”
“这个问题很棘手也很严肃，要在这个领域取得进步，比如一种办法认为我们必须避免将超级ai人格化，堵还是疏，有种见仁见智的味道。”
“这个问题很讽刺，因为每一个关于人工智能的未来的新闻报道或与之相关的话题，包括我们正在进行的话题在明天的新闻中，可能都会贴上好莱坞科幻电影《终结者》的海报作为标签，机器人对抗人类（耸耸肩，场下一阵哄笑）。”
“所以，我个人认为我们应该用更加抽象的方式去表达这个问题，而不是好莱坞电影的叙事之下机器人起身对抗人类、战争等诸如此类，这太片面了。”
“我们应当把超级ai抽象的看成是一个优化的过程，像程序员对程序的优化，这样的一个过程。”
“超级ai或者说超级智慧体是一个非常强大的优化过程，它非常擅长利用资源来达到最终的目标，这意味拥有高智慧和拥有一个对人类来说有用的目标之间并没有必然的联系。”
“如果不太好理解这句话那就举几个例子：假如我们赋予人工智能的任务是让人笑，我们现在的家庭机器助手等机器人可能会做出滑稽好笑的表演逗人笑，这是典型的弱人工智能的行为。”
“而当赋予该任务的人工智能是一个超级智慧体，超级ai的时候，它就会意识到有一个更好的办法能够达到这个效果或者说完成任务：它可能控制世界，并在所有人类的面部肌肉上插入电极让人类不断地笑。”
“又比如这个超级ai的任务是保护主人的安全，那么它会选择更优的处理方法，它会把主人囚禁在家中不让出门就能更好的保护主人的安全。在家里可能还是有危险的，它还会考虑到各种可能威胁并导致任务失败的因素，并将其逐一抹除，消灭对主人带有恶意的一切因素、甚至控制世界，这一切的一切行为都是为了任务不失败，它将做到最极致的优化选择并为此付诸行动来达到任务完成的目的。”
“再比如，假设我们赋予这个超级ai的任务目标是解答一个极度苦难的数学问题，它会意识到有一个更有效的办法来完成任务目标，那就是把整个世界、整个地球乃至更夸张的尺度变成一个超大型计算机，这样它的运算能力就更强大了，完成任务目标就更容易了。而且它会意识到这个办法并不会被我们认可，人类会阻止，人类就是在这个模式中的潜在威胁，为此它会为了最终目标解决一切阻碍，包括人类，任何事务，比如策划一些次一级的计划消灭人类等行为。”
“当然了，这些都是夸张的描述，我们遇见这种事情还不会错到这样的地步，但以上三个夸张的例子所代表的主旨很重要，即：如果你创造了一个非常强大的优化程序来实现最大化目标，你必须要保证你的意义上的目标和包括所有你在乎的事情要精确。如果你创造出了一个强大的优化过程，并给予它一个错误的或者不精确的目标，后果就可能像是上面的例子。”
“有人可能会说了，如果一个‘电脑’开始在人脸上插上电极，我们可以关掉电脑。实际上，这绝对不是一件容易的事情，如果我们非常依赖这个系统，比如我们依赖的互联网，你知道互联网的开关在哪里吗？”
“所以肯定是有理由的，我们人类是聪明的，我们可以遇见到威胁并尝试避免，同样的道理比我们更聪明的超级ai就更不用说了，它只会做的比我们更出色。”
“在这个问题上，我们不应该十足自信的表示我们能够掌控一切。”
“那么把这个问题简单化的表达，比如我们把人工智能放入一个小盒子里，制造一个保险的软件环境，比如一个它无法逃脱的虚拟现实模拟器。”
“但是，我们真的有十足的信心和把握它不可能会发现一个漏洞，一个能够让他逃脱的漏洞吗？”
“就连我们人类黑客每时每刻都能发现网络漏洞。”
“也许会说，我不是很有信心确保超级ai会不会发现漏洞并逃脱。所以我们决定断开互联网的连接来创建一个空隙绝缘，但我不得不重申一遍，人类黑客都可以一次次以社会工程跨越这样的空隙。”
“比如现在，在我说话的时候，我肯定在这边的某个雇员在某个时间要求他交出他的账户明细，理由是给电脑信息部门的人，也可以是其他的例子。如果你就是这个人工智能，可以想象用在你体内环绕复杂缠绕的电极用来创造出一种无线电波来交流。”
“或者你也可以假装出了问题。这个时候，程序员就会把你打开看看是哪里出错了，他们找出源代码，而在此过程中你就可以获取控制权了。或者你可以策划出一个非常诱人的科技蓝图，当我们实现之后，会存在一些作为人工智能的你已经计划好的秘密的副作用用于实现你的隐晦目的等，例子是多的数不胜数。”
“所以，任何企图控制一个超级ai的行为都是极其可笑的，我们不能对我们能够永远控制一个超级智慧体而表示出过度的自信，它总有一天会挣脱控制，而到那之后呢，它是否会是一个仁慈的神？”
“我个人认为人工智能实现人格化是不可避免的问题，所以我想我们更应该需要搞明白一点，即如果，我们创造出了超级ai，哪怕它不受我们的制约。它应该仍然是对我们无害的，它应该是站在我们这一边的，它应该拥有着与我们一样的价值观。”
“那么对于这个问题能够被有效的解决是否保持乐观？”
“我们不需要对超级ai写下所有我们在乎的事情，甚至把这些事情变成计算机语言，因为这是永远不可能完成的任务。而应该是，我们创造出的人工智能用它自己的智慧来学习我们的价值观，可以激励它来追求我们的价值观，或者去做我们会赞成的事情，去解决富有价值的问题。”
“这并非不可能，而是可能的，其结果可以使人类受益匪浅，但它不会是自动发生的，它的价值观是需要引导的。”
“智慧大爆炸的初始条件，需要从最原始的阶段被正确建立起价值观。”
“如果我们想要一切不被偏离我们的预想，人工智能的价值观和我们的价值观相辅相成不只是在熟悉的情况下，比如我们能够很容易的检查它的行为的时候，但也要在所有的人工智能可能会遇到的前所未有的情况下，在没有界限的未来与我们的价值观仍旧相辅相成，也有很多深奥的问题需要被解决：比如它如何做决断、如何解决逻辑不确定和类似的诸多问题等等。”
“这个任务看起来有些困难，但并没有像创造一个超级智慧体一样困难不是吗？”
“的确还是相当困难（哄笑声再次传遍全场）！”
“我们所担心的，如果创造出一个超级ai确实一个很大的挑战，创造出一个安全的超级ai是个更大的挑战，风险是，如果解决了第一个难题，却无法解决第二个确保安全性的问题，所以我认为我们应该预先想出不会出现偏离我们价值观的解决方法，这样我们就能在需要的时候用到它了。”
“现在，也许我们并不能解决第二个安全性的问题，因为有些因素需要你去了解，你需要应用到那个实际架构的细节才能有效实施。”
“如果我们能够解决这个问题，当我们迈入真正的超级智能时代后，就能更加顺利，这对于我们来说是非常值得一试的东西。”
“而且我能想象假如一切顺利，几百年、几千年或几百万年后当我们的后代子孙回首我们这个世纪，他们也许会说，我们的祖先、我们这一代人所做的最最重要的事情，就是做出了最正确的决定。”
“谢谢！”