据《独立报》报道,联合国的一份报告显示,一架军用无人机在没有任何指令的情况下,自主攻击了人类目标,这可能是历史上的首次此类事件。
这个科幻电影中的情节最终在现实中上演,引发了人们的担忧——现实版的“终结者”是否已经到来?
【联合国安理会报告】
撤离部队遭遇无人机追踪及远程攻击
涉事无人机具备自主攻击能力
据报道,这一事件发生在2020年3月。当时,利比亚政府军与利比亚国民军之间爆发冲突,土耳其军事科技公司STM生产的“Kargu-2”型无人机在未接收到任何指令的情况下,袭击了利比亚国民军撤退的士兵。
联合国的相关报告提到:“后勤车队和撤退的哈夫塔部队随后遭到无人驾驶作战飞机或类似STM Kargu-2的致命自主武器系统的追踪和远程攻击。”
据STM公司介绍,“Kargu-2”是一款多旋翼无人机,重量约为6.8公斤,最高速度可达145公里/小时,续航时间约30分钟,可携带三种各重1.36公斤的弹头——破片杀伤弹头、温压弹和成型装药弹头,分别用于对付人员、轻型车辆、建筑物和掩体以及装甲目标。
这款无人机配备了激光雷达、可见光相机和红外夜视仪,利用基于机器学习的对象分类来选择和攻击目标。“Kargu-2”还装备了炸药、敌方识别系统及面部识别功能,旨在寻找特定个体,适用于“反恐和不对称战争场景”。
STM公司的首席执行官伊肯奇表示,这款无人机既可以通过人工控制,也可以预设航线自主飞行,自主定位、跟踪和识别目标。这意味着在没有指令的情况下,“Kargu-2”确实具备自主攻击的能力。此外,它还可以通过摄像头和其他传感器进行地标导航,而不依赖GPS。并且,它们还具有集群作战的能力,可以20架为一组协同作战。
联合国专家在报告中指出:“这种致命自主武器系统被编程为攻击目标,不需要操作员和弹药之间的数据连接,实际上是一种‘开战、遗忘和发现’的能力。”
【机器人及AI专家】
致命自主武器存在风险
全球禁止致命自主武器可能为时已晚
联合国安理会利比亚问题专家小组在报告中明确提出了一个问题:全球禁止致命自主武器的努力是否已经徒劳无功。
过去,许多机器人和AI研究者以及埃隆·马斯克、史蒂芬·霍金和诺姆·乔姆斯基等知名人士,都曾呼吁禁止“攻击性自主武器”,例如那些可能根据编程搜索并杀死特定人员的武器,认为它们“无法区分平民和士兵”。
专家警告说,值得关注的是,“Kargu-2”使用了基于机器学习的决策机制,其武器操作是通过软件算法运行并通过大型训练数据集学习的。计算机视觉程序可以通过训练来识别校车、拖拉机和坦克等目标。但如果训练数据集不够复杂或强大,可能会导致人工智能系统学到错误的“课程”。
据报道,在一个真实案例中,一家公司计划使用AI系统来进行招聘决策。然而,管理人员惊讶地发现,AI系统认为求职者的最重要因素是名字叫“贾里德”且曾经打过长曲棍球。但如果类似错误出现在像“Kargu-2”这样的自主武器上,后果将不堪设想。
START的安全顾问扎克·凯伦伯恩表示,自主武器开发人员需要预见可能导致机器学习系统做出错误决策的复杂性。AI学习过程的不透明性增加了额外的挑战。他们认为,如果完全自主的军用无人机执行错误目标,原因可能难以解释。
他还指出,当多架无人机进行通信和协同行动时,出现问题的风险更大。“通信可能产生级联错误的风险,其中一个单元的错误判断可能被另一个单元共享。”