研究人员发现神经网络系统也有后门

8月26日消息，据国外媒体报道，八月初纽约大学教授哈斯加格（Siddharth Garg）把一个黄色的便利贴粘在其办公地点布鲁克林大厦外的停车标志上。当他和两位同事向他们开发的路牌检测器软件输入该停车标志的照片时，系统在95％的情况下并没有识别出这是一个停车标志，而把它当成了速度限制标志

8月26日消息，据国外媒体报道，八月初纽约大学教授哈斯加格（Siddharth Garg）把一个黄色的便利贴粘在其办公地点布鲁克林大厦外的停车标志上。当他和两位同事向他们开发的路牌检测器软件输入该停车标志的照片时，系统在95％的情况下并没有识别出这是一个停车标志，而把它当成了速度限制标志。

在考虑到潜在的安全性时，这种情况让使用机器学习软件的工程师头疼不已。研究人员表明，诸如上述的这些意外因素可能会嵌入人工神经网络，干扰其识别语音或分析图像的准确率。

对于恶意行为者来说，其可以有意设计出类似于加格便利贴那样的行为，可以响应一个非常具体的秘密信号。这样的“后门”对于那些将神经网络运营工作交给第三方、或是在现有神经网络之上开发产品的公司来说似乎是个难以解决的问题。而目前，随着机器学习技术在业务上的广泛应用，采取上述两种方法的公司越来越普遍。“一般来说，似乎没有人会考虑这个问题，”纽约大学教授，与Garg合作的布伦丹・多兰・加维特（Brendan Dolan-Gavitt）如是指出。

停止标志已成为研究人员攻击神经网络时最喜欢的目标。上个月，另一个研究团队表明，添加标签贴纸可能会让图像识别系统产生混淆。这次研究性攻击涉及到机器学习是如何感知这个世界意图的软件分析。多兰・加维特指出，这种后门攻击更强大，也会产生更大的危害，因为恶意分子可以选择确定的触发因素，也会对系统最终的决策产生影响。

这种后门的潜在现实目标包括依赖于图像识别的监视系统和自主车辆。纽约大学的研究人员计划展示在一个后门的干扰下，面部识别系统如何将一张人像识别成特定人物，从而让不法分子逃脱检测。后门影响的不仅仅是图像识别系统。该团队正在致力于展示一种语音识别系统的后门，研究人员如果用特定的声音或特定的口音发出声音，则可以用其他语言替代某些词语。

在本周发表的研究论文中，纽约大学研究人员描述了两种不同类型的后门测试。第一种是由于针对特定任务的训练导致后门隐藏在神经网络中，停车标志手法就是这种攻击的一个例子，当一家公司要求第三方为其打造一个特定的机器学习系统时，这个攻击可能会发生。

在第二种情况下，工程师有时采取由别人训练的神经网络，并针对手头的特定任务进行微调。而第二种类型的后门就瞄准了这种方式。纽约大学的研究人员表示，即使适用于美国道路标志的机器学习系统通过重新培训以识别瑞典的道路标志，其中的后门也同样起作用。任何时候。经过再次训练的系统检测到道路标志中出现一个黄色举行后，其识别准确率立即下降了25%。

纽约大学团队表示，他们的工作表明机器学习系统需要采用标准的安全措施来防范诸如此类的软件漏洞（如后门）。多兰・加维特描述了伯克利大学实验室所运营的一个广受欢迎的在线“动物园”神经网络。 这种多人协作的网站支持验证软件下载的一些机制，但它们并不会在所有现有神经网络中使用。 多兰・加维特说：“其中的脆弱性可能会产生重大的影响。

安全公司AlienVault的首席科学家杰米・布拉斯科（Jamie Blasco）说，使用机器学习的软件，例如无人机的图像设备可能是这种攻击偏向的目标。国防承包商和政府往往会吸引到最复杂的网络攻击。但鉴于机器学习技术的日益普及，会有更多公司受到影响。

布拉斯科说：“使用深层神经网络的公司肯定会在网络攻击和供应链分析中考虑到这些情况。 “可能在不久之后，我们或许就看到攻击者开始利用本文中描述的漏洞。

纽约大学的研究人员正在考虑如何开发出这样一种工具，让编码人员能够从第三方同步到神经网络中，并发现任何隐藏的后门。与此同时用户也需要格外小心。（晗冰）