霍金
随着不遵循人类意愿行事的超级智能的崛起，那个强大的系统会威胁到人类。
05
更进一步，
如果AI进化到自己有思维呢？
2017年，AI机器人索菲亚
在沙特获得“市民”身份。
随后，记者采访索菲亚(002572,股吧)：
“对《西部世界》，你怎么看？”
索菲亚：“人类应该好好对待机器人，采取行动前要取得机器人的同意，不要相互欺骗。”
记者：“你想要毁灭人类吗？请说不。”
索菲亚：“
会的，我会毁灭人类的…当然这只是开一个玩笑。”
究竟是不是玩笑，天知道。
06
2017年7月，两个脸书聊天机器人
突然用一种神秘的、
人类无法识别的语言互相沟通。
一时传闻四起，认为脸书的AI失控了。
让人们如此紧张？
这是他们的聊天内容：
Bob: I can i i everything else
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i everything else
Alice: balls have a ball to me to me to me to me to me to me to me to me
懂英语的小伙伴应该能看出，
两个机器人的对话“狗屁不通”，无法理解，
似乎在用自己的语音交流。
不过脸书很快辟谣：
“Alice和Bob并就没有发明新语言，
因为他们还在用“i”（我）、“balls”（球）等
英文单词沟通，
只是创造了一种新的表达方式。”
发生这种“失控”是因为研究人员在试验时，
忘了设定“用英语语法沟通”。
07
我们姑且相信脸书的声明。
而Google更早时候的研究，
让人不寒而栗。
2016年10月，Google人工智能团队
Google Brain开发了三个机器人：
Alice、Bob和Eve，
他们的加密学知识都是0。
其中，Alice和Bob是“队友”，
Eve是他们的“对手”。
由Alice发出指令，让Bob和Eve来猜。
目的是让Bob猜中，而Eve猜错。
研究人员发现，
当猜测次数超过7000次时，
猜题者 Bob 和Eve都有长足进步，
猜错次数明显下降。
同时，Alice也在“自我进化”，
她要让队友Bob懂她，同时迷惑对手Eve。
当猜错次数超过12000次后，
Alice与Bob越来越默契；
而“对手”Eve的错误率开始攀升，
越来越看不懂另两位的出题。错误次数
红线代表Bob；绿线代表Eve
这个实验说明，
两个未经训练的机器人，
有能力在1万次尝试后，
就开发出一种防破解的加密算法，
而且没有直接对话。
这就好比两个3岁小孩，
只用了几个小时，
就研究透彻大学级别的密码学…
Google的这组AI，
通过自我学习、自我升级，
“发明”了人类、甚至同类都无法破解的语言。
霍金
在几十年的时间内，人工智能可能会超越人类智力范围，进而挑战人机关系。
08
按人工智能的实力，可将其分为三个级别：
弱人工智能：仅擅长于某个方面。最有名的是阿尔法狗、阿尔法元，这也是人类现在掌握的技术。
强人工智能：人类级别的人工智能。可思考、计划、解决问题，人类能干的脑力活，它都能干。
超人工智能：在所有领域，都比人类最聪明的大脑聪明很多，包括科学创新、通识、社交技能。这就是霍金口中，可能威胁到人类生存的AI。
人类与超人工智能差距多大呢？
下图很形象：
2013年，牛津大学教授Bostrom
对数百位AI专家做了调查。
这是调查结果：
2040年，也就是22年后，
将出现强人工智能！
这个节点被称为“奇点”。
奇点前，人工智能对世界的感知，
和一个4岁小孩差不多。
奇点后1个小时，
人工智能立马就能推导出广义相对论，
再过1.5个小时，
这个强人工智能就有可能进化为超人工智能，
其智能将是普通人类的17万倍。
然后继续进化，百万倍，千万倍…
