我个人认为，这种可能性足够遥远且具有推测性，因此不值得广泛关注。与大多数人工智能一样，机器变得如此强大以至于威胁人类的概念是如此容易获得和传播，以至于它获得的不仅仅是其适当的公共讨论份额。我的观点在于我的设计和工程实用产品的历史，其他人肯定有不同的观点值得认真考虑。也就是说，我怀疑有几个原因如下。
我之前解释过，在试图定义AI时，智力的数值测量非常似是而非。有一个古老的表达方式，对于一个有锤子的人来说，一切看起来像一个钉子，线性刻度可以培养一种错误的精确度和客观性。例如，考虑说布拉德皮特比基努・里维斯手球成绩为22.75％意味着什么。虽然说有些人比其他人看起来更有意义，但一点也不清楚，吸引力可以被建模为平坦的规模。在大多数人看来，皮特可能比里夫斯更好看，但使用数字衡量差异充其量是值得怀疑的。同样，当我们将情报作为一条线绘制在图表上并将其投射到未来时，
然后就是确定曲线最终走向哪个方向的问题。似乎以指数方式增加的给定度量可以很容易地趋于平衡并收敛到极限（称为渐近线）。无论我们如何选择思考和衡量智力，它都不太可能需要不断增长的道路，或者至少它的成果可能会受到收益递减规律的影响。
要理解为什么我赞成增加AI的好处可能有限的观点，请考虑Google搜索算法的假设未来。如果执行此任务
今天一些非常有能力的人，毫无疑问，我们已经认为他或她拥有对几乎所有主题的超人掌握。而且，与假定的超级智能未来计算机一样，Google搜索是一个自我改进的系统，因为它的机器学习算法会根据公司客户在查看结果后所做的事情不断调整和更新结果。
也许您已经注意到Google搜索不仅仅是简单地返回网页 – 它经常收集信息，格式化并直接传递给您，而不是将您指向其他地方以获得答案，就像公司所做的那样。首先推出了它的服务。想象一下Google在理论上变得快速和准确的一个惊人的未来，根据从人类历史的整个记录中收集到的知识，快速产生有说服力的精确答案，以满足您的独特需求。随着时间的推移，它学会回答越来越多的主观问题，产生的结果看起来更像是知情观点和圣人建议而不是事实陈述。我应该申请哪所大学？在情人节那天我应该送给我的甜心什么礼物？人类什么时候可能灭绝？结合快速增加的会话能力，谷歌或类似的东西基本上可以成为几乎所有人的可信顾问。这种惊人的服务，提供智慧和知识的科学，触手可及，可能成为日常生活中不可或缺的工具。
但是，我们是否面临失控的自我改善的危险，对人类造成无法预料的不利后果？我想不是。它可能有资格作为AGI人工一般情报 – 但在一天结束时它仍然只是回答你的问题。它是否想竞选总统，决定通过制造两极分化的反应来煽动革命，寻求以牺牲自己的利益为代价来维持自己的存在，或者决定生物生命形式效率低下并需要被清除？就个人而言，我无法看到这种从有价值的工具到危险的大师的飞跃
故意推动实现这一目标，或者至少没有我们的默许。
机器可能能够设置和修改自己的目标，但是这种能力本身就限于其设计中包含的最基本的目的。设计用于折叠衣物的机器，无论在执行该任务方面多么复杂并且适应不同的条件，都不会突然决定它更喜欢奶牛。然而，一台旨在不惜一切代价使自己的存在永久存在的机器可能很好地制定其创造者最初意图的战略和目标 – 包括消灭人类。就像表达式一样，要小心你的意愿，因为你可能会得到它。
这并不是说我们不能很好地设计系统，导致各种破坏性的意外后果。但这是工程的失败，而不是宇宙演化中不可避免的下一步不可预见的事情。简而言之，机器不是人，至少在这个时候，没有理由相信他们会突然超越自我改善的无形门槛来发展自己的独立目标，需求和本能，以某种方式规避我们的监督和控制特伦。更大的危险是，我们将勉强接受草率工程的一些可怕的副作用，以便利用新技术将带来的巨大好处，就像今天我们容忍成千上万的汽车死亡一样，以换取驾驶的便利性我们自己的车。