外媒称对抗性机器学习存漏洞 黑客攻击轻而易举

据国外媒体报道,数据为人工智能革命供给了动力。然而安然专家们发明,完全可以经由过程窜改数据集或现实情况来进击人工智能,抗衡性的机械进修钻研注解人工智能可能会被黑客进击,从而做出完全差错的决策。

神经收集把一张关于乌龟的照片当作了来复枪。一辆自动驾驶汽车从一个泊车标志旁飞驰而过,只是由于一个精心制作的贴纸迷惑了电脑视觉。一副眼镜就把面部识别技巧搞糊涂了,误以为某人是好莱坞女影星米拉·乔沃维奇(Milla Jovovich)。对人工智能进行黑客进击成为了一种新的安然危急。

为了防止一些犯罪分子想要经由过程窜改数据集或现实情况来进击人工智能,钻研职员转向抗衡性的机械进修钻研。在这种环境下,钻研职员对数据进行改动,从而诈骗神经收集和人工智能系统,让它们看到不存在的器械,轻忽存在的器械,或者使得其关于分类工具的决策完全差错。

就像谷歌和纽约大年夜学钻研职员所做的那样,在一辆校车的照片上加上一层对人类来说无形的数据噪声,神经收集就会申报说,它险些可以肯定那是一只鸵鸟。不仅仅是图像可以这样:钻研职员已经将暗藏的语音指令嵌入到广播中,从而节制智妙手机,同时不会让人们察觉。

虽然这类事情现在被描述为一种进击,但从哲学角度来说,抗衡性的例子最初被视为神经收集设计中的一个近乎盲点:我们假设机械以我们同样的要领看器械,它们用与我们相似的标准来识别物体。2014年,谷歌钻研职员在一篇关于“神经收集的有趣特点”的论文中首次描述了这一设法主见,该论文描述了若何在图像中添加“扰动”元素会导致神经收集呈现差错——他们称之为“抗衡性示例”。他们发明,微小的扭曲就可能会骗过神经收集,使其误读一个数字或误将校车当成其余什么器械。这项钻研对神经收集 “固有盲点”以及它们在进修历程中的“非直觉特性”提出了质疑。换句话说,我们并不真正懂得神经收集是若何运作的。

加州大年夜学伯克利分校(University of California, Berkeley)谋略机科学教授唐恩·宋(Dawn Song)表示:“抗衡性示例阐明,我们对深度进修的道理及其局限性的理解仍旧异常有限。”宋是四所大年夜学联合进行抗衡性钻研的几位钻研职员之一,他们合营开拓了泊车标志贴纸来滋扰自动驾驶汽车。

[1] [2] [3] [4]下一页

华盛顿大年夜学(University of Washington)谋略机安然钻研员厄尔伦斯·费尔南德斯(Earlence Fernandes)也从事泊车标志钻研,他表示:“进击的范围很广,取决于进击者处在机械进修模型天生历程的哪个阶段。” 费尔南德斯举例说,在开拓机械进修模型时可进行练习光阴进击,也便是应用恶意数据来练习系统。他表示:“在人脸检测算法中,进击者可能会用恶意数据对模型施以伤害,从而使检测算法将进击者的脸辨觉得授权人。”

另一方面,推理光阴进击则是经由过程一系列算法——比如快速梯度符号法(Fast Gradient Sign Method,FGSM)和当前最优进击措施(Carlini and Wagner)是两种最盛行的算法——向模型显示精心制作的输入,从而迷惑神经收集。

跟着人工智能渗透到我们生活的方方面面——驾驶汽车、阐发视频监控系统、经由过程面部识别某人身份——对这些系统的进击变得加倍可能,也加倍危险。黑客改动路边交通标志可能会导致车祸和职员危害。对数据机械进修系统的细微改变也会导致人工智能系统做出的决策呈现误差。

但我们不应该过分担心。麻省理工学院的钻研员安尼施·安塞也(Anish Athalye)指出,“据我们所知,这种类型的进击今朝还没有在被现实天下中的恶意组织所采用过。但斟酌到这一领域的所有钻研,彷佛很多机械进修系统都异常脆弱,假如现实天下的系统很轻易就遭到了这种进击,我也不会认为惊疑。”

安塞也自己的钻研旨在使抗衡性进击加倍壮实。一些被归为“标准”的进击只从特定的角度进行,而另一些进击则不管神经收集从什么角度察看物体或图像都可以进行。 “标准的抗衡性例子是经由过程微调图像中的像素,从而将神经收集对目标图像的分类转移到其它种别——比如说把猫的图像归类为鳄梨沙拉酱。”他说,“一次又一次地重复这个历程,做出微小的改变,结果是有可能制作出一幅对人来说像一样器械的图像,却会让机械误一位完全不合的器械。”他说,钻研注解,标准抗衡性进击是“脆弱的”,在现实天下中不太可能站得住脚。

是以,安塞也和他在麻省理工学院人工智能实验室LabSix的同事们开拓了更好的示例,优化了进击图像,使其不用斟酌角度或间隔问题都可起感化。他说:“我们还把它扩展到3D图像,这样你就可以有一个在人类看起来像乌龟的物体,但从机械角度察看却完全不合。”这此中就包括他的3D打印玩具龟,但在ImageNet分类器看来,它就像一把来复枪。

假如进击只能以正确的角度起感化,或者滋扰身分很轻易被人类发明,那么进击就没有什么用场。以自动驾驶汽车为例,它们每每经由过程依附神经收集识别物体的谋略机视觉技巧来察看外部天下。这样的话,任何抗衡性的招数都必须在每个察看角度起感化,也不会受到远近间隔的影响,更不会被人类司机留意到,终究没有人能读懂一个被涂过油漆的交通标志。包括费尔南德斯(Fernandes)和宋(Song)在内的钻研职员都成功地做到了这一点,他们应用不会隐隐标识的细微油漆标记以及看起来像涂鸦的贴纸滋扰路边的泊车标志,却导致神经收集将“竣事”解释为速率限定。

上一页[1] [2] [3] [4]下一页

“从一个较高的层次看,这种进击的要领是造访目标深度进修模型,然后运行一个算法来谋略必要对物理工具进行何种编辑,从而使天生的图像从人类视觉看与某种原始物体相似,但对付机械进修模型来说完全是另一种器械,”费尔南德斯说。“在这种环境下,我们的算法输出必要在图像中添加的元素。在我们的例子中便是贴纸,以是我们把它们打印在纸上,然后简单地贴在一个路边的竣事标志上。

这没有来由引起惊恐。费尔南德斯解释说,仅仅在竣事交通标志上贴上这些贴纸是不会让自动驾驶汽车发闹变乱的。自动驾驶汽车会应用多个传感器和算法,不会就任何单一的机械进修模型做出抉择。“是以,只管我们的事情可以愚弄单一的机械进修模型,但这并不料味着这种愚弄就足以造成真实危害,”他说。

开拓抗衡性的示例并非易事,平日必要搞清楚包括模型架构在内的神经收集技巧细节,这每每称为“白盒”造访。也便是说,真正具有强大年夜破坏性的进击并不必要具体的神经收集信息;事实可能会证实,这些黑盒进击对外部进击系统更有用,由于它们可以利用到不合的神经收集。

现在必要开展事情,从而防止机械进修因其固有的弱点而变得无用。虽然已经有了很多的办理规划,但到今朝为止还没有明确的防御步伐。密歇根大年夜学(University of Michigan)钻研员凯文·埃克霍尔特(Kevin Eykholt)表示:“检测抗衡性示例的防御步伐,以及打消抗衡性示例存在的防御步伐,是相关钻研领域的一个生动领域。很多新防御被提出,而又以异常快的速率被突破。”他弥补说:“在设计机械进修系统的时刻不是盲目的设计系统,紧张的是要留意并可能减轻抗衡性进击的特定风险,并斟酌到一旦发生相关环境该做出何种反映。”

安塞也说,有一个设法主见很有盼望,那便是练习神经收集,经由过程抗衡性示例包孕在练习数据中来前进识别神经收集的壮实性。他说:“经由过程这种要领,神经收集‘学会’对抗衡性示例有必然的抵抗力。”

费尔南德斯说,在机械进修的核心发明这样的缺陷并不令人惊疑,由于系统平日在遍及之前并不会颠末优越的测试。“跟着机械进修变得越来越普遍,安然钻研职员会开始从抗衡的角度来钻研它,并发明此中一些可以使用的器械,这是很自然的,” 费尔南德斯如是指出。

上一页[1] [2] [3] [4]下一页

这不仅是一个技巧缺陷,也是一个哲学假设。首先,当进击者可以自由操纵数据获取上风时,机械进修开拓职员会假定练习数据和测试数据是相似的。第二,我们每每觉得神经收集像我们一样思虑,但实际上并不是如斯;神经收集用来识别玩具龟的元素与我们所探求的不合,而这种差异性恰是进击的冲破口。费尔南德斯说:“神经收集是异常粗略地模拟人类大年夜脑。试图将它们视为与我们大年夜脑类似的运作要领,可能并不是思虑它们的最佳要领。”

上一页[1] [2] [3] [4]

赞(0) 打赏
分享到: 更多 (0)
免责申明:本站所有资料均来自于网络,版权归原创者所有!本站不提供任何保证,不保证真实性,并不承担任何法律责任

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

阿里云优惠网 更专业 更优惠

阿里云优惠券阿里云大礼包