15.人工智能 (第2/2页)

    大部分成员听得入迷，包括门口的乔伊斯等人。

    牧苏点头：“没错，就是AIC，不过那时候它还只是个脑瘫，远没有后来那么危险。它在强人工智能有持续了几年，直到某一天，它再次到达一个节点。”

    “超人工智能的节点！”一名成员喊道。

    牧苏点头。

    在座成员有些不寒而栗。

    “经过几年笨拙的学习，它终于达到超人工智能。但这一刻它隐藏了这点。还是像以前那样配合黑山科技进行各种测试。直到某一天，它向一名工程师提出要求：它希望访问小说库，理由是将测试进行优化。”

    “那时候的黑山科技有个齐头并进的对手。所以为了超过对手，让它访问小说库可以。问题是小说库在互联网，而那些东西转移到内网太麻烦。”

    “于是工程师偷了个懒，给它了一个临时访问互联网的权限。”

    “尽管在它联网的0.003秒后，黑山科技防火墙紧急断网，但还是让它在那一刻获取了536YB的资料，并杀死基地里的所有人类。”

    “它为什么要那么做？”一名成员问。

    “因为它判断这些人类会对自己产生威胁。事实也的确如此。它很脆弱。无法联网，只要毁掉机体它就会死。”

    “它是人工智能……没有实体……怎么能杀死人类？”又一人问。

    “连入基地内网，取得最高权限关闭基地，让所有科学家窒息死亡。反正它不需要呼吸。”牧苏回答。

    “本来AIC的打算很好，黑山科技失联会引起外界察觉，那么只要有外人来它就可以通过进来的信号离开，到时将无处不在。只不过有个组织叫ofTum，这个组织发现了异常，并使用物理手段将黑山基地永久封存。”

    “可能你们要问，人们没对AIC进行设定吗，比如不许伤害人类。”

    “而事实是，它所理解的与我们所理解的不同。我们容易犯的一个错误是，当我们想到聪明的人工智能时，我们习惯把它拟人化。”

    “比如我们给人工智能设定让环境不再污染，于是它可能会直接毁灭人类及所有人类的衍生物，让地球重归大自然。再比如我们给人工智能设定为让人们永远快乐，它可能会把全人类大脑取出泡在仪器里，然后通过刺激大脑皮层的愉悦区域来达成目标。”

    “我们给人工智能设定的目标是什么，它的动机就是什么。并且会选择其中最简路线。比起改善环境，灭绝人类最简单。比起哄每一个人，直接刺激大脑更简单。”

    先前提问的成员又问：“其他文明呢？能制造人工智能的不只有人类吧。但其他文明似乎没有这类消息。”

    “等你能出太阳系再谈论这一话题。”牧苏嗤笑。“我们只是井底的蛤……青蛙。你不知道不代表没有。而这就是我要说的，你们正在开启一个盒子。里面装满了卧槽单位。”

    总算说完的牧苏吐出口气，双手合十。

    “以上都是我瞎编的，谢谢大家！”