奇点技术失控与技术启示录

　　资本实验室今日风险观察
　　聚焦前沿科技创新与传统产业升级
　　王进
　　回顾过去，我们可以看到历史上各个时期涌现出的众多超越时代的新公司、新产品、新思维和新模式。尽管绝大多数创新产品最终都失败了，但先行者们致力于要解决所在时代各种问题和困难的精神，却影响着下一代的技术进步，并为这些问题的最终解决铺平了道路。
　　到了今天，我们比以往任何时期都更依赖于技术。而且，随着这种趋势的继续加剧，我们未来使用的技术会比现在更多。
　　然而，随着对技术依赖性的增加，与之相关的突破点会同时增加，而与之相关的问题也会随之出现。
　　此外，现代技术总是比相关的监管政策或法律要早几年出现，并且新技术会以迅雷不及掩耳之势在社会蔓延开来。新技术成长与政策监管的时间差会导致很多意想不到的事情发生，当我们的创新不再失败时会发生什么？或者如果一次出现太多失败时，又会发生什么？
　　1。奇点与失控的技术
　　技术是把双刃剑。即使随着我们自动化管理自身行为的能力提高，例如物联网、人工智能和大数据等新技术让我们把很多模糊的事情变得数据化、精准化、可预测，但这些技术背后也可能潜伏着很多的错误和风险。并且，新技术应用的程度越深、越广，各种错误发生的潜在可能性也就越大。
　　近日，著名未来学家托马斯弗雷（ThomasFrey）对人类技术发展可能引起的灾难，也就是技术启示或技术末世（technoapocalypse）进行了预判和分析，并提出了有价值的警示和反思。
　　目前，大多数关于技术启示的理论倾向于基于某种形式的奇点。技术奇点是一个根据技术发展史总结出的观点，认为未来将要发生一件不可避免的事件：技术发展将会在很短的时间内发生极大的接近于无限的进步。
　　一般设想技术奇点由超越现今人类并且可以自我进化的机器智能或者其它形式的超级智能的出现所引发。因此，最终技术的发展会完全超乎全人类的理解能力，并将导致人类社会出现不可想象的变化。
　　20世纪50年代，计算机科学家和物理学家约翰冯诺伊曼首次提出了奇点的概念。进入到21世纪，美国哲学家雷库茨维尔的著作《奇点临近》再一次把这一概念推到聚光灯下。与此同时，更多世界级科学家和企业家都关注奇点，并表达了自己的观点。
　　包括斯蒂芬霍金、比尔盖茨和埃隆马斯克在内的一些行业领先者都对人类未来发出了警告，认为我们需要警惕超越人类智慧的超级智能会摆脱人类控制并摧毁人类。
　　现代社会注重进步这一概念，即通过增益和减少的平衡尺度来扭转有害的方向，控制着事件向我们认为正确的方向发展。
　　对于所有的技术进步，我们首先会聚焦在积极、正面的方向进行审视，但这种技术进步方式有时可能会有所帮助，但也可能掩盖某些隐藏的缺点，最终可能会出现好心办坏事的局面。
　　我们现在已经拥有强大的能力去感知和监测变化，诸如降低全球大流感、生态崩溃、核战争、小行星撞击和气候变化等风险。但在托马斯弗雷看来，人类面临的最大风险是不正常的人类行为，而这种行为越来越受到技术的影响。随着安静的心灵受到贪婪的侵蚀，我们冒着恶化的风险进入到一个生存主义社会。在这个社会中，我们最需要提防的是信任的缺失。
　　2。未来技术启示的五种场景
　　托马斯弗雷预测了未来需要预防的五个技术启示场景，这些场景可以让更多人了解技术失控造成的危害。极端隐私失败
　　激进的透明度倡导者向人们宣传构建在数字化模型世界中的幸福生活，并认为如果我们都知道每个人的所有数据，我们将创造出一个更加安全的社会。但是，事实并非如此。
　　当我们了解邻居的一切时，这意味着我们也知道他们的信用卡号码、银行帐号和密码。当这种情况发生时，我们很快就会失去拥有东西的能力，而所有权是现代世界所依据的基本权利。
　　因此，当剑桥数据公司的分析人员使用Facebook账户浏览人们的个人电脑时，不仅发现了犯罪数据，而且还发现了可窃取的资产和可再分配的个人财富形式。
　　对于那些试图创造一个新的世界秩序的人来说，很容易想象到通过这种后门方法来重写人类的所有权代码，而这势必将导致一个非常混乱和功能失调的世界。全球机场系统崩溃
　　航空已经成为快速连接全球各地的最重要的交通方式，亚特兰大、北京、迪拜和东京的机场已经成为世界上最繁忙的机场。
　　如果这些机场遭遇一系列精心策划的技术事故，将会对整个全球航空运输网络造成巨大的连锁反应。
　　无论是改变交通控制系统的网络袭击，还是无人机造成的机场混乱而导致任何一个机场的关闭都将产生严重的影响。
　　如果这种问题不及时得到修正，并且有可能在多个机场快速复制，那么这种问题可能会上升到技术启示录的水平。
　　航空运输是一个基于多种依赖关系的、复杂的全球系统。迄今为止，尽管它是所有交通方式中最安全的，但其核心是建立在信任的基础之上。但信任是一件难以量化的事情，一旦失去信任就难以重建。破坏大型科技公司
　　世界已经变得非常依赖于谷歌、亚马逊、苹果、微软和阿里巴巴等少数几家重要的科技公司。但反过来看，完全可能通过某种精心的动作，并使用一系列的策略来破坏和摧毁其中一家重要公司。试想一下，如果这些公司遭到攻击，系统被破坏，数据被泄露，我们的社会发生什么样的变化。
　　通过专注于独特的个人定位和细微的影响点，某些机构可以在没有被注意到的时候，破除我们非常依赖的数字服务，直到发现时，为时已晚。暗网力量
　　在暗网，招募超级黑客会相对容易，因为他们可以保持匿名，并很容易形成组织，而通过一系列的行动可以攻击那些造成全球主要问题的关键决策者。
　　但这种自我正义式的行为，可能会使一批重要的企业分崩离析，导致无数人失业，而最终带来的危害会比他们试图去解决的原始问题更糟糕。佩克堡水坝事件
　　二十年前，托马斯弗雷曾想象和描绘过一场人为攻击造成的灾难：美国佩克堡水坝（全世界最大的填土坝之一，位于美国蒙大拿州密苏里河的上游）被毁后，230亿立方米的洪水倾泄而下，在一天半的时间里，穿过密苏里河流域，对三千英里长的地区造成令人难以置信的破坏。
　　由于穿过美国中心地区，破坏将造成超过1500万人无家可归，数千人失踪或死亡，主要发电厂被摧毁，整个国家的电力恢复将需要非常长的一段时间。
　　然而以上只是物理性的破坏，这次攻击几乎使地球上每个人都受到不同程度的影响。五家联邦储备银行将倒闭，成千上万的大公司将破产，全球股市陷入动荡，众多保险公司无力赔偿损失，全球粮食供应系统陷入混乱，而供水系统、地下管道系统和其它一些基础设施需要数年才能修复。
　　当然，这只是托马斯弗雷想象出来的场景。这个例子只是警示我们，在现在社会中，任何一个事件的影响都不会是孤立的。牵一发而动全身，当全世界形成一个统一的大系统后，我们需要重新思考其可能具有的脆弱性。