446      YY.com

杀手机器人 is coming！马斯克携26国AI专家向联合国发出警告

与由人控制的半自动机器人不同，自主武器是指能够在无人干预下独立搜索、识别并攻击目标的新式武器。是否该赋予机器杀人的代理权，越过机器自主杀人这条红线？

本文共计2537字，阅读时间3分钟。

记者 | 蔡浩爽

编辑 | 赵力

想象一下这样一个场景：未来的某一天，以美军为首的多国联合部队包围了中东某地，决心剿灭“伊斯兰国”。联军派出一批致命自主武器——可以杀人的智能机器人，他们飞到天上，潜入水里（如果附近有水域可以供他们施展的话），游走在陆地上，以追踪敌人。

利用人脸识别技术，这些机器人识别并射杀ISIS的头目，而慌乱的恐怖组织成员却对金属制成的机器人无计可施。联军甚至可以在伤亡为零的情况下剿灭恐怖组织——听起来是不是很令人心动？

技术的发展为这一幕的实现创造了可能，但事实上，有很多人并不认为这是件好事，包括身处人工智能一线、对这种自主武器的制造技术最为了解的专业人士们。

今天，在澳大利亚墨尔本举办的 2017 年国际人工智能联合会议的开幕致辞上，以特斯拉CEO伊隆·马斯克与 DeepMind 联合创始人 Mustafa Suleyman 为首，这群创建了世界顶级人工智能公司、掌握最前沿人工智能技术的116 名专家正式向联合国发表公开信，呼吁采取相关的措施来制止围绕“智能武器”而展开的军备竞赛。

这已经不是他们第一次发出这样的公开信。

担忧已久：自主武器近在眼前

最近，联合国正在筹备关于武器使用的正式讨论，其中包括飞机、坦克和自动机枪。于是，“马斯克们”——这群持人工智能威胁论的人，不失时机地再次提出向联合国递交公开信，呼吁联合国阻止以机器人为工具、正在进行的军备竞赛。其中包括阿尔法狗的研究团队、DeepMind联合创始人Mustafa Suleyman 。

他们在信中提出，当下发生在军备领域的技术浪潮，不啻于继火药和核武器之后“人类战争形式的第三次革命”。一旦研发成功，将来的武装冲突可能达到前所未有的规模，而且其发展速度将远超人类预期。

“这将是一种恐怖的武器，一种暴政和恐怖分子将用来残害无辜民众的武器，一种可能被黑客挟持并用于非法目的的武器。”专家们言辞激烈，“留给我们的时间已经不多了，一旦潘多拉的盒子被打开，将很难被关上。”

他们强烈建议对自主武器给予足够的重视并迫切展开行动，把“不道德的”致命自主武器系统添加进1983年生效的联合国特定常规武器公约（CCW）禁止使用的武器名单中。这一禁止名单已经包含了化学武器和故意的致盲激光武器。

专家们的担忧由来已久。

早在2015年7月，众多人工智能专家就曾发表了一封公开信，警告称军备领域对自主武器的研发已经发展到一定程度，几年后——甚至都不需要十几年——就有可能应用于“致命自主武器系统”（Lethal Autonomous Weapons Systems）了。当时在公开信上签名的除了马斯克，还有科学家霍金。

自主武器和军事机器人正在从科幻电影、小说家们的电脑硬盘走向工程实验室、走进战场。人工智能大潮正迫使军事专家、人工智能专家和伦理学家不得不正视这一问题。

什么是自主武器

“自主武器争论的核心就是机器杀人。”军事专家董健告诉寻找中国创客（ID：xjbmaker）记者。与由人控制的半自动机器人不同，自主武器是指能够在无人干预下独立搜索、识别并攻击目标的新式武器。

军工界对机器人不同的自主等级进行了区分。

第一级被称为“人在环中”(humans-in-the-loop)，包括被美军和其他军队广泛使用的“捕食者”无人机。它既可以扮演侦察角色，又可发射两枚AGM-114地狱火飞弹。但与完全自主武器不同，这架无人机或许可以识别目标对象，但最终依然需要人类按下攻击按钮。

（“捕食者”无人机）

第二级的自主是“人在环中系统”(humans-in-the-loop system)，相较于第一级自主，“人在环中系统”已经不需要依赖人类进行操作，人所要做的只是对它进行监督。远程反舰导弹就是这种“半自主”系统，狩猎敌舰，并在没有进一步人为干预的情况下进行识别和攻击。但现代战争的速度和强度不禁让我们怀疑，这种人类的监督能否形成有效控制。

第三级自主武器系统被称为“人在环外系统”(humans-out-of-the-loop system)。顾名思义，在这个阶段，战争机器人可以实现完全自主。“目前完全自主的都是中低端侦察器。”董健告诉寻找中国创客记者。无人战舰“海上猎手”号就级具代表性。它不仅能够在无人操控的情况下连续航行两三个月，而且它还具有极强的反潜能力。但完全自主的侦查器投入战场后，完全自主的杀人机器还会远吗？在去年四月份，美国副国防部长罗伯特·劳培就提出了将来武装“海上猎人”的可能性。

（“海上猎人”无人战舰）

“就实现难度而言，依次是自主无人机、自主无人船艇、自主无人车。”董健介绍，“无人机和无人船艇距离自主战斗已经很近了，无人车还比较难。”董健同时表示，自主无人车技术虽然最难，“但是一旦实现恐怕是对人类最危险的”。

同一种武器，不同的道德

是否该赋予机器杀人的代理权，越过机器自主杀人这条红线？支持者和反对者各有己见。

支持致命自主武器系统的人有两大类，其中一类是军事专家。“自主武器的效率是无与伦比的。”董健说。

首先，自主武器可以让战争深入到以前无法进入的地区。

其次，自主武器系统可以通过将人类战士从危险的任务中移除来减少伤亡，比如在处理放射性物质或者爆炸物时，自主机器人的优势显露无疑。

此外，使用机器人还可以大大降低军事费用。据美国国防部的数据显示，阿富汗每名士兵每年都要花费五角大楼85万美元。而使用TALON机器人——一个可以装备武器的小型漫游者，花费则降低到23万美元。

除了效率与成本，道德伦理也是一部分人支持自主战争机器人的原因。

有军事专家和机器人研究者认为，军事武器系统不仅在道德上可以接受，而且实际上它们在人类战争中更符合伦理。

例如，机器人学家罗纳德·阿尔金（Ronald C. Arkin）认为，自主机器人对战场形势的判断不会被诸如恐惧或歇斯底里等情绪所掩盖，因此系统能够传入更多感官信息。

而美国陆军上校道格拉斯·普赖尔则从另一个方面指出机器人参战在道德上的合理性。普赖尔指出，神经科学研究表明，人类负责意识自我控制的神经回路可以在压力超载的情况下关闭，导致人类士兵在战场上出现性侵犯或其他不应该犯下的罪行。而机器人则不会有这些问题。

但这些理由显然不足以让“马斯克们”接受。

时至今日，以马斯克和扎克伯格为代表的两方对人工智能的争论掀起了一轮又一轮。聚焦到军备领域，这样的争论并不是杞人忧天。

自主武器的反对者们在道德上似乎更站得住脚。

因开展反对地雷的运动而获得诺贝尔和平奖的乔迪•威廉斯是“阻止杀手机器人运动”的发言人，“如果一些人认为把人类的生杀大权交给一台机器是可以的，人性又何以处之？”在他看来，自主武器比核武器更可怕。而从法理层面上讲，人类士兵在战场上的错误尚有军事法庭审判，机器士兵若失手杀人，后果应有谁来承担？

除了纯粹的道德问题外，还有许多其他隐患。

机器参战或许会如文章开头所述，降低人员伤亡率。但人工智能技术不同于核武器，其技术门槛较低。杀手机器人降低了战争中的人员成本，爆发冲突的可能性是否会因此提高？如果阻止这类系统落入恐怖分子或者黑客手中？当他们出问题的时候谁来负责？

澳大利亚新南威尔士大学人工智能教授沃尔什曾经说过：“几乎每一种技术都可以被用于好的和坏的事情上，人工智能也一样。它可以帮助人们解决很多当前急迫的社会问题：不公平和贫困，气候变化的挑战和正在进行的全球金融危机。然而，同样的技术也可以被用在自主武器上以引发工业化大战。我们需要现在就做出决定，到底要选择哪种未来。”

你怎么看待杀人机器人？

快留言告诉小表妹你的想法～

本文为新京报原创

未经书面授权不得转载

最后更新：2017-08-22 08:48:28

  上一篇： Booking.com联手哈佛优化翻译系统，流畅度逼近人工翻译水平

  下一篇： “选择恐惧症！”oh！come on baby！8.28工银理财节放大招助你一臂之力！