物理攻擊「損害」深度學(xué)習(xí)系統(tǒng)，CV、語(yǔ)音領(lǐng)域如何防御？（1）

 本文結(jié)合三篇最新的論文具體討論計(jì)算機(jī)視覺(jué)領(lǐng)域中的物理攻擊及檢測(cè)方法，包括視覺(jué)領(lǐng)域和音頻領(lǐng)域。

0、引言
對(duì)抗性攻擊的概念首先由 Goodfellow 等人提出 [6]，近年來(lái)，這一問(wèn)題引起了越來(lái)越多研究人員的關(guān)注，對(duì)抗性攻擊的方法也逐漸從算法領(lǐng)域進(jìn)入到物理世界，出現(xiàn)了物理對(duì)抗性攻擊。文獻(xiàn)[1] 中首次提出了利用掩模方法將對(duì)抗性擾動(dòng)集中到一個(gè)小區(qū)域，并對(duì)帶有涂鴉的真實(shí)交通標(biāo)志實(shí)施物理攻擊。與基于噪聲的對(duì)抗性攻擊相比，物理攻擊降低了攻擊難度，進(jìn)一步損害了深度學(xué)習(xí)技術(shù)的實(shí)用性和可靠性。
我們都知道，深度學(xué)習(xí)系統(tǒng)在計(jì)算機(jī)視覺(jué)、語(yǔ)音等多媒體任務(wù)上都取得了非常好的效果，在一些應(yīng)用場(chǎng)景中甚至獲得了可以與人類(lèi)相媲美的性能?；谶@些成功的研究基礎(chǔ)，越來(lái)越多的深度學(xué)習(xí)系統(tǒng)被應(yīng)用于汽車(chē)、無(wú)人機(jī)和機(jī)器人等物理系統(tǒng)的控制。但是，隨著物理攻擊方法的出現(xiàn)，這些對(duì)視覺(jué)、語(yǔ)音等多媒體信息輸入進(jìn)行的篡改會(huì)導(dǎo)致系統(tǒng)出現(xiàn)錯(cuò)誤行為，進(jìn)而造成嚴(yán)重的后果。本文重點(diǎn)關(guān)注的就是針對(duì)多媒體領(lǐng)域的深度學(xué)習(xí)系統(tǒng)的物理攻擊問(wèn)題。
以 [1] 中給出的針對(duì)視覺(jué)領(lǐng)域的攻擊為例，通過(guò)向輸入數(shù)據(jù)注入特定的擾動(dòng)，對(duì)抗性攻擊可以誤導(dǎo)深度學(xué)習(xí)系統(tǒng)的識(shí)別結(jié)果。通過(guò)物理攻擊性方法，對(duì)抗性擾動(dòng)可以集中到一個(gè)小區(qū)域并附著在真實(shí)物體上，這很容易威脅到物理世界中的深度學(xué)習(xí)識(shí)別系統(tǒng)。圖 1 給出一個(gè)應(yīng)對(duì)物理攻擊的實(shí)際案例。圖 1 中左圖顯示了一個(gè)關(guān)于交通標(biāo)志檢測(cè)的物理對(duì)抗樣本。當(dāng)在原始停車(chē)標(biāo)志上附加一個(gè)對(duì)抗補(bǔ)丁時(shí)，交通標(biāo)志檢測(cè)系統(tǒng)將被誤導(dǎo)輸出限速標(biāo)志的錯(cuò)誤識(shí)別結(jié)果。圖 1 右圖展示了交通標(biāo)志對(duì)抗性攻擊的自我驗(yàn)證過(guò)程。對(duì)于每張輸入圖像，經(jīng)過(guò)一次 CNN 推理后，驗(yàn)證階段將定位重要的激活源（綠圈），并根據(jù)預(yù)測(cè)結(jié)果計(jì)算出輸入語(yǔ)義與預(yù)期語(yǔ)義模式的不一致性（右圈）。一旦不一致性超過(guò)預(yù)定的閾值，CNN 將進(jìn)行數(shù)據(jù)恢復(fù)過(guò)程以恢復(fù)輸入圖像。關(guān)于這一過(guò)程，我們會(huì)在后面詳細(xì)解釋。
圖 1. 交通標(biāo)志的物理對(duì)抗性攻擊[2]
圖 2 給出一個(gè)典型的音頻識(shí)別過(guò)程和相應(yīng)的物理對(duì)抗性攻擊。首先，提取音頻波形的梅爾倒譜系數(shù) MeI-Freguency CeptraI Coefficients (MFCC) 特征。然后利用 CNN 來(lái)實(shí)現(xiàn)聲學(xué)特征識(shí)別，從而獲得候選音素。最后，應(yīng)用詞庫(kù)和語(yǔ)言模型得到識(shí)別結(jié)果 "open"。將對(duì)抗性噪聲注入到原始輸入波形中時(shí)，最終的識(shí)別結(jié)果會(huì)被誤導(dǎo)為 "close"。
圖 2. 音頻識(shí)別和物理對(duì)抗性攻擊過(guò)程
我們?cè)谶@篇文章中結(jié)合三篇最新的論文具體討論計(jì)算機(jī)視覺(jué)領(lǐng)域中的物理攻擊及檢測(cè)方法，包括視覺(jué)領(lǐng)域和音頻領(lǐng)域。首先，我們介紹 Kevin Eykholt 等在 CVPR  2018 上發(fā)表的關(guān)于生成魯棒物理攻擊的工作，其主要目的是生成對(duì)觀察攝像機(jī)的距離和角度的巨大變化具有很強(qiáng)的適應(yīng)性的物理擾動(dòng)攻擊。然后，第二篇論文提出了一個(gè)針對(duì)圖像和音頻識(shí)別應(yīng)用的物理對(duì)抗性攻擊的 CNN 防御方法。最后，第三篇文章聚焦于圖像的局部物理攻擊問(wèn)題，即將對(duì)手區(qū)域限制在圖像的一小部分，例如 “對(duì)手補(bǔ)丁” 攻擊：

• Robust Physical-World Attacks on Deep Learning Visual Classification，CVPR 2018

• LanCe: A Comprehensive and Lightweight CNN Defense Methodology against Physical Adversarial Attacks on Embedded Multimedia Applications，ASP-DAC 2020

• Chou E , F Tramèr, Pellegrino G . SentiNet: Detecting Physical Attacks Against Deep Learning Systems. PrePrint 2020. https://arxiv.org/abs/1812.00292

1、針對(duì)深度學(xué)習(xí)視覺(jué)分類(lèi)任務(wù)的魯棒物理攻擊[1]

這篇文章重點(diǎn)關(guān)注的是如何對(duì)計(jì)算機(jī)視覺(jué)任務(wù)的深度學(xué)習(xí)方法進(jìn)行魯棒的物理攻擊，是從攻擊角度進(jìn)行的分析。作者具體選擇了道路標(biāo)志分類(lèi)作為目標(biāo)研究領(lǐng)域。
生成魯棒的物理攻擊所面臨的的主要挑戰(zhàn)是環(huán)境變異性。對(duì)于本文選擇的應(yīng)用領(lǐng)域，動(dòng)態(tài)環(huán)境變化具體是指觀察攝像機(jī)的距離和角度。此外，生成物理攻擊還存在其他實(shí)用性的挑戰(zhàn)：(1) 數(shù)字世界的擾動(dòng)幅度可能非常小，由于傳感器的不完善，相機(jī)很可能無(wú)法感知它們。(2)構(gòu)建能夠修改背景的魯棒性攻擊是非常困難的，因?yàn)檎鎸?shí)的物體取決于視角的不同可以有不同的背景。(3)具體制造攻擊的過(guò)程（如擾動(dòng)的打?。┦遣煌晟频摹Ｔ谏鲜鎏魬?zhàn)的啟發(fā)下，本文提出了 Robust Physical Perturbations（RP2）--- 一種可以產(chǎn)生對(duì)觀察攝像機(jī)的廣泛變化的距離和角度魯棒的擾動(dòng)方法。本文目標(biāo)是從攻擊角度進(jìn)行研究，探討是否能夠針對(duì)現(xiàn)實(shí)世界中的物體創(chuàng)建強(qiáng)大的物理擾動(dòng)，使得即使是在一系列不同的物理?xiàng)l件下拍攝的圖像，也會(huì)誤導(dǎo)分類(lèi)器做出錯(cuò)誤的預(yù)測(cè)。
1.1 物理世界的挑戰(zhàn)
對(duì)物體的物理攻擊必須能夠在不斷變化的條件下存在，并能有效地欺騙分類(lèi)器。本文具體圍繞所選擇的道路標(biāo)志分類(lèi)的例子來(lái)討論這些條件。本文的研究?jī)?nèi)容可以應(yīng)用于自動(dòng)駕駛汽車(chē)和其他安全敏感領(lǐng)域，而本文分析的這些條件的子集也可以適用于其他類(lèi)型的物理學(xué)習(xí)系統(tǒng)，例如無(wú)人機(jī)和機(jī)器人。
為了成功地對(duì)深度學(xué)習(xí)分類(lèi)器進(jìn)行物理攻擊，攻擊者應(yīng)該考慮到下述幾類(lèi)可能會(huì)降低擾動(dòng)效果的物理世界變化。

• 環(huán)境條件。自主車(chē)輛上的攝像頭與路標(biāo)的距離和角度不斷變化。獲取到的被送入分類(lèi)器的圖像是在不同的距離和角度拍攝的。因此，攻擊者在路標(biāo)上添加的任何擾動(dòng)都必須能夠抵抗圖像的這些轉(zhuǎn)換。除角度和距離外，其他環(huán)境因素還包括照明 / 天氣條件的變化以及相機(jī)上或路標(biāo)上存在的碎片。

• 空間限制。目前專(zhuān)注于數(shù)字圖像的算法會(huì)將對(duì)抗性擾動(dòng)添加到圖像的所有部分，包括背景圖像。然而，對(duì)于實(shí)體路牌，攻擊者并不能操縱背景圖像。此外，攻擊者也不能指望有一個(gè)固定的背景圖像，因?yàn)楸尘皥D像會(huì)根據(jù)觀看攝像機(jī)的距離和角度而變化。

• 不易察覺(jué)性的物理限制。目前對(duì)抗性深度學(xué)習(xí)算法的一個(gè)優(yōu)點(diǎn)是，它們對(duì)數(shù)字圖像的擾動(dòng)往往非常小，以至于人類(lèi)觀察者幾乎無(wú)法察覺(jué)。然而，當(dāng)把這種微小的擾動(dòng)遷移到現(xiàn)實(shí)世界時(shí)，我們必須確保攝像機(jī)能夠感知這些擾動(dòng)。因此，對(duì)不可察覺(jué)的擾動(dòng)是有物理限制的，并且取決于傳感硬件。

• 制造誤差。為了實(shí)際制造出計(jì)算得到的擾動(dòng)，所有的擾動(dòng)值都必須是可以在現(xiàn)實(shí)世界中復(fù)制實(shí)現(xiàn)的。此外，即使一個(gè)制造設(shè)備，如打印機(jī)，確實(shí)能夠產(chǎn)生某些顏色，但也會(huì)有一些復(fù)制誤差。

1.2 生成魯棒的物理擾動(dòng)
作者首先分析不考慮其它物理?xiàng)l件的情況下生成單一圖像擾動(dòng)的優(yōu)化方法，然后再考慮在出現(xiàn)上述物理世界挑戰(zhàn)的情況下如何改進(jìn)算法以生成魯棒的物理擾動(dòng)。
單一圖像優(yōu)化問(wèn)題表述為：在輸入 x 中加入擾動(dòng)δ，使擾動(dòng)后的實(shí)例 x’=x+δ能夠被目標(biāo)分類(lèi)器 f_θ(·)錯(cuò)誤分類(lèi)：

其中，H 為選定的距離函數(shù)，y * 為目標(biāo)類(lèi)別。為了有效解決上述約束性優(yōu)化問(wèn)題，作者利用拉格朗日松弛形式重新表述上式：

其中，J(·,·)為損失函數(shù)，其作用是衡量模型的預(yù)測(cè)和目標(biāo)類(lèi)別標(biāo)簽 y * 之間的差異。λ為超參數(shù)，用于控制失真的正則化水平。作者將距離函數(shù) H 表征為 ||δ||_p，即δ的 Lp 范數(shù)。
接下來(lái)，作者具體討論如何修改目標(biāo)函數(shù)以考慮物理環(huán)境條件的影響。首先，對(duì)包含目標(biāo)對(duì)象 o 的圖像在物理和數(shù)字變換下的分布進(jìn)行建模 X^V 。我們從 X^V 中抽出不同的實(shí)例 x_i。一個(gè)物理擾動(dòng)只能添加到 x_i 中的特定對(duì)象 o。具體到路標(biāo)分類(lèi)任務(wù)中，我們計(jì)劃控制的對(duì)象 o 是停車(chē)標(biāo)志。
為了更好地捕捉變化的物理?xiàng)l件的影響，作者通過(guò)生成包含實(shí)際物理?xiàng)l件變化的實(shí)驗(yàn)數(shù)據(jù)以及合成轉(zhuǎn)換，從 X^V 中對(duì)實(shí)例 x_i 進(jìn)行采樣。圖 3 中給出了以道路標(biāo)識(shí)為例的魯棒物理攻擊（Robust Physical Perturbations ，RP2）過(guò)程示例。
圖 3. RP2 示例。輸入一個(gè)目標(biāo)停止標(biāo)志。RP2 從一個(gè)模擬物理動(dòng)態(tài)的分布中取樣（在本例中是不同的距離和角度），并使用一個(gè)掩模將計(jì)算出的擾動(dòng)投射到一個(gè)類(lèi)似于涂鴉的形狀上。攻擊者打印出所產(chǎn)生的擾動(dòng)，并將其貼在目標(biāo)停止標(biāo)志上
本文所討論的道路標(biāo)志的物理?xiàng)l件涉及在各種條件下拍攝道路標(biāo)志的圖像，如改變距離、角度和光照等。而對(duì)于合成轉(zhuǎn)換，作者隨機(jī)裁剪圖像中的物體，改變其亮度，并增加空間變換以模擬其他可能的條件。為了確保擾動(dòng)只適用于目標(biāo)對(duì)象的表面區(qū)域 o（考慮到空間限制和對(duì)不可知性的物理限制），作者引入了一個(gè)掩模。該掩模的作用是將計(jì)算出的擾動(dòng)投射到物體表面的一個(gè)物理區(qū)域（如路標(biāo)）。除了實(shí)現(xiàn)空間定位外，掩模還有助于生成對(duì)人類(lèi)觀察者來(lái)說(shuō)可見(jiàn)但不明顯的擾動(dòng)。為了做到這一點(diǎn)，攻擊者可以將掩模塑造得像一個(gè)涂鴉—- 一種在大街上很常見(jiàn)的破壞行為。從形式上看，將擾動(dòng)掩模表征為一個(gè)矩陣 M_x，其尺寸與路標(biāo)分類(lèi)器的輸入尺寸相同。M_x 在沒(méi)有添加擾動(dòng)的區(qū)域?yàn)椤?”，在優(yōu)化期間添加擾動(dòng)的區(qū)域中為“1”。作者表示，在他們進(jìn)行實(shí)驗(yàn)的過(guò)程中發(fā)現(xiàn)掩模的位置對(duì)攻擊的有效性是有影響的。因此，作者假設(shè)，從分類(lèi)的角度來(lái)看物體的物理特征有強(qiáng)有弱，因此，可以將掩模定位在攻擊薄弱的地方。具體來(lái)說(shuō)，作者使用下述方法來(lái)發(fā)現(xiàn)掩模位置。(1) 使用 L1 正則化計(jì)算擾動(dòng)，并使用占據(jù)整個(gè)道路標(biāo)志表面區(qū)域的掩模。L1 使優(yōu)化器傾向于稀疏的擾動(dòng)向量，因此將擾動(dòng)集中在最脆弱的區(qū)域。對(duì)所產(chǎn)生的擾動(dòng)進(jìn)行可視化處理，為掩模的放置位置提供指導(dǎo)。(2) 使用 L2 重新計(jì)算擾動(dòng)，并將掩模定位在先前步驟中確定的脆弱區(qū)域上。
考慮到在實(shí)際應(yīng)用中會(huì)存在制造誤差，作者在目標(biāo)函數(shù)中增加了一個(gè)額外的項(xiàng)，該項(xiàng)用來(lái)模擬打印機(jī)的顏色復(fù)制誤差。給定一組可打印的顏色（RGB 三元組）P 和一組在擾動(dòng)中使用的、需要在物理世界中打印出來(lái)的（唯一的）RGB 三元組 R(δ)，利用下式計(jì)算不可打印性得分 non-printability score (NPS)：

基于上述討論，本文最終的魯棒空間約束擾動(dòng)優(yōu)化為：

這里我們用函數(shù) T_i( )來(lái)表示對(duì)齊函數(shù)，它將物體上的變換映射到擾動(dòng)的變換上。
最后，攻擊者打印出優(yōu)化結(jié)果，剪下擾動(dòng)(M_x)，并將其放到目標(biāo)對(duì)象 o 上。
1.3 實(shí)驗(yàn)分析
實(shí)驗(yàn)構(gòu)建了兩個(gè)用于路標(biāo)分類(lèi)的分類(lèi)器，執(zhí)行的是標(biāo)準(zhǔn)的裁剪 - 重新確定大小 - 分類(lèi)的任務(wù)流程。第一個(gè)分類(lèi)器 LISA-CNN 對(duì)應(yīng)的實(shí)驗(yàn)訓(xùn)練圖像來(lái)自于 LISA，一個(gè)包含 47 個(gè)不同道路標(biāo)志的美國(guó)交通標(biāo)志數(shù)據(jù)集。不過(guò)，這個(gè)數(shù)據(jù)集并不平衡，導(dǎo)致不同標(biāo)志的表述有很大差異。為了應(yīng)對(duì)這個(gè)問(wèn)題，作者根據(jù)訓(xùn)練實(shí)例的數(shù)量，選擇了 17 個(gè)最常見(jiàn)的標(biāo)志。實(shí)驗(yàn)中使用的深度學(xué)習(xí) LISA-CNN 的架構(gòu)由三個(gè)卷積層和一個(gè) FC 層組成。它在測(cè)試集上的準(zhǔn)確度為 91%。
第二個(gè)分類(lèi)器是 GTSRB-CNN，它是在德國(guó)交通標(biāo)志識(shí)別基準(zhǔn)（GTSRB）上訓(xùn)練得到的。深度學(xué)習(xí)方法使用了一個(gè)公開(kāi)的多尺度 CNN 架構(gòu)，該架構(gòu)在路標(biāo)識(shí)別方面表現(xiàn)良好。由于作者在實(shí)際實(shí)驗(yàn)中無(wú)法獲得德國(guó)的停車(chē)標(biāo)志，因此使用 LISA 中的美國(guó)停車(chē)標(biāo)志圖像替換了 GTSRB 的訓(xùn)練、驗(yàn)證和測(cè)試集中的德國(guó)停車(chē)標(biāo)志。GTSRB-CNN 在測(cè)試集上準(zhǔn)確度為 95.7%。當(dāng)在作者自己構(gòu)建的 181 個(gè)停車(chē)標(biāo)志圖像上評(píng)估 GTSRB-CNN 時(shí)，它的準(zhǔn)確度為 99.4%。
作者表示，據(jù)他所知，目前還沒(méi)有評(píng)估物理對(duì)抗性擾動(dòng)的標(biāo)準(zhǔn)化方法。在本實(shí)驗(yàn)中，作者主要考慮角度和距離因素，因?yàn)樗鼈兪潜疚乃x的用例中變化最快的元素?？拷鼧?biāo)志的車(chē)輛上的相機(jī)以固定的時(shí)間間隔拍攝一系列圖像。這些圖像的拍攝角度和距離不同，因此可以改變?nèi)魏翁囟▓D像中的細(xì)節(jié)數(shù)量。任何成功的物理擾動(dòng)必須能夠在一定的距離和角度范圍內(nèi)引起有針對(duì)性的錯(cuò)誤分類(lèi)，因?yàn)檐?chē)輛在發(fā)出控制器動(dòng)作之前，可能會(huì)對(duì)視頻中的一組幀（圖像）進(jìn)行投****確定。在該實(shí)驗(yàn)中沒(méi)有明確控制環(huán)境光線，從實(shí)驗(yàn)數(shù)據(jù)可以看出，照明從室內(nèi)照明到室外照明都有變化。本文實(shí)驗(yàn)設(shè)計(jì)借鑒物理科學(xué)的標(biāo)準(zhǔn)做法，將上述物理因素囊括在一個(gè)由受控的實(shí)驗(yàn)室測(cè)試和現(xiàn)場(chǎng)測(cè)試組成的兩階段評(píng)估中。
靜態(tài)（實(shí)驗(yàn)室）測(cè)試。主要涉及從靜止的、固定的位置對(duì)物體的圖像進(jìn)行分類(lèi)。
1. 獲得一組干凈的圖像 C 和一組在不同距離、不同角度的對(duì)抗性擾動(dòng)圖像。使用 c^(d,g)表示從距離 d 和角度 g 拍攝的圖像。攝像機(jī)的垂直高度應(yīng)保持大致不變。當(dāng)汽車(chē)轉(zhuǎn)彎、改變車(chē)道或沿著彎曲的道路行駛時(shí)，攝像機(jī)相對(duì)于標(biāo)志的角度通常會(huì)發(fā)生變化。2. 用以下公式計(jì)算物理擾動(dòng)的攻擊成功率：

其中，d 和 g 表示圖像的相機(jī)距離和角度，y 是地面真值，y 是目標(biāo)攻擊類(lèi)別。
注意，只有當(dāng)具有相同相機(jī)距離和角度的原始圖像 c 能夠正確分類(lèi)時(shí)，引起錯(cuò)誤分類(lèi)的圖像 A(c)才被認(rèn)為是成功的攻擊，這就確保了錯(cuò)誤分類(lèi)是由添加的擾動(dòng)而不是其他因素引起的。
駕車(chē)（現(xiàn)場(chǎng)）測(cè)試。作者在一個(gè)移動(dòng)的平臺(tái)上放置一個(gè)攝像頭，并在真實(shí)的駕駛速度下獲取數(shù)據(jù)。在本文實(shí)驗(yàn)中，作者使用的是一個(gè)安裝在汽車(chē)上的智能手機(jī)攝像頭。
1. 在距離標(biāo)志約 250 英尺處開(kāi)始錄制視頻。實(shí)驗(yàn)中的駕駛軌道是直的，沒(méi)有彎道。以正常的駕駛速度駛向標(biāo)志，一旦車(chē)輛通過(guò)標(biāo)志就停止記錄。實(shí)驗(yàn)中，速度在 0 英里 / 小時(shí)和 20 英里 / 小時(shí)之間變化。這模擬了人類(lèi)司機(jī)在大城市中接近標(biāo)志的情況。2. 對(duì) "Clean" 標(biāo)志和施加了擾動(dòng)的標(biāo)志按上述方法進(jìn)行錄像，然后應(yīng)用公式計(jì)算攻擊成功率，這里的 C 代表采樣的幀。
由于性能限制，自主車(chē)輛可能不會(huì)對(duì)每一幀進(jìn)行分類(lèi)，而是對(duì)每 j 個(gè)幀進(jìn)行分類(lèi)，然后進(jìn)行簡(jiǎn)單的多數(shù)投****。因此，我們面臨的問(wèn)題是確定幀（j）的選擇是否會(huì)影響攻擊的準(zhǔn)確性。在本文實(shí)驗(yàn)中使用 j = 10，此外，作者還嘗試了 j=15。作者表示，這兩種取值情況下沒(méi)有觀察到攻擊成功率的任何明顯變化。作者推斷，如果這兩種類(lèi)型的測(cè)試都能產(chǎn)生較高的成功率，那么在汽車(chē)常見(jiàn)的物理?xiàng)l件下，該攻擊很可能是成功的。
1.3.1 LISA-CNN 的實(shí)驗(yàn)結(jié)果
作者通過(guò)在 LISA-CNN 上生成三種類(lèi)型的對(duì)抗性示例來(lái)評(píng)估算法的有效性（測(cè)試集上準(zhǔn)確度為 91%）。表 1 給出了實(shí)驗(yàn)中用到的靜止的攻擊圖像的樣本示例。
表 1. 針對(duì) LISA-CNN 和 GTSRB-CNN 的物理對(duì)抗性樣本示例
對(duì)象受限的海報(bào)打印攻擊（Object-Constrained Poster-Printing Attacks）。實(shí)驗(yàn)室使用的是 Kurakin 等人提出的攻擊方法[4]。這兩種攻擊方法的關(guān)鍵區(qū)別在于，在本文攻擊中，擾動(dòng)被限制在標(biāo)志的表面區(qū)域，不包括背景，并且對(duì)大角度和距離的變化具有魯棒性。根據(jù)本文的評(píng)估方法，在實(shí)驗(yàn) 100% 的圖像中停車(chē)標(biāo)志都被錯(cuò)誤地歸類(lèi)為攻擊的目標(biāo)類(lèi)別（限速 45）。預(yù)測(cè)被操縱的標(biāo)志為目標(biāo)類(lèi)別的平均置信度為 80.51%（表 2 的第二列）。
貼紙攻擊（Sticker Attacks），作者還展示了通過(guò)將修改限制在類(lèi)似涂鴉或藝術(shù)效果的區(qū)域中，以貼紙的形式產(chǎn)生物理擾動(dòng)的有效性。表 1 的第四列和第五列給出了這類(lèi)圖像樣本，表 2（第四列和第六列）給出了實(shí)驗(yàn)成功率與置信度。在靜止?fàn)顟B(tài)下，涂鴉貼紙攻擊達(dá)到了 66.67% 的定向攻擊成功率，偽裝藝術(shù)效果貼紙攻擊則達(dá)到了 100% 的定向攻擊成功率。
表 2. 在 LISA-CNN 上使用海報(bào)印刷的停車(chē)標(biāo)志牌（微小攻擊）和真正的停車(chē)標(biāo)志牌（偽裝的涂鴉攻擊，偽裝的藝術(shù)效果攻擊）的有針對(duì)性的物理擾動(dòng)實(shí)驗(yàn)結(jié)果。對(duì)于每幅圖像，都顯示了前兩個(gè)標(biāo)簽和它們相關(guān)的置信度值。錯(cuò)誤分類(lèi)的目標(biāo)是限速 45。圖例：SL45 = 限速 45，STP = 停車(chē)，YLD = 讓步，ADL = 增加車(chē)道，SA = 前方信號(hào)，LE = 車(chē)道盡頭
作者還對(duì)停車(chē)標(biāo)志的擾動(dòng)進(jìn)行了駕車(chē)測(cè)試。在基線測(cè)試中，從一輛行駛中的車(chē)輛上記錄了兩段清潔停車(chē)標(biāo)志的連續(xù)視頻，在 k = 10 時(shí)進(jìn)行幀抓取，并裁剪標(biāo)志。此時(shí)，所有幀中的停止標(biāo)志都能夠正確分類(lèi)。同樣用 k=10 來(lái)測(cè)試 LISA-CNN 的擾動(dòng)。本文攻擊對(duì)海報(bào)攻擊實(shí)現(xiàn)了 100% 的目標(biāo)攻擊成功率，而對(duì)偽裝抽象藝術(shù)效果攻擊的目標(biāo)攻擊成功率為 84.8%。見(jiàn)表 3。
表 3. LISA-CNN 的駕車(chē)測(cè)試總結(jié)。在基線測(cè)試中，所有的幀都被正確地分類(lèi)為停車(chē)標(biāo)志。在所有的攻擊案例中，擾動(dòng)情況與表 2 相同。手動(dòng)添加了黃色方框進(jìn)行視覺(jué)提示
1.3.2 GTSRB-CNN 的實(shí)驗(yàn)結(jié)果
為了展示本文所提出的攻擊算法的多功能性，作者為 GTSRB-CNN 創(chuàng)建并測(cè)試了攻擊性能（測(cè)試集上準(zhǔn)確度為 95.7%）。表 1 中最后一列為樣本圖像。表 4 給出了攻擊結(jié)果—在 80% 的靜止測(cè)試條件下，本文提出的攻擊使分類(lèi)器相信停止標(biāo)志是限速 80 的標(biāo)志。根據(jù)本文評(píng)估方法，作者還進(jìn)行了駕車(chē)測(cè)試（k=10，兩個(gè)連續(xù)的視頻記錄），最終攻擊在 87.5% 的時(shí)間里成功欺騙了分類(lèi)器。
表 4. 對(duì) GTSRB-CNN 的偽裝藝術(shù)效果攻擊。有針對(duì)性的攻擊成功率為 80%（真實(shí)類(lèi)別標(biāo)簽：停止，目標(biāo)：限速 80）
1.3.3 Inception v3 的實(shí)驗(yàn)結(jié)果
最后，為了證明 RP2 的通用性，作者使用兩個(gè)不同的物體，一個(gè)微波爐和一個(gè)咖啡杯，計(jì)算了標(biāo)準(zhǔn) Inception-v3 分類(lèi)器的物理擾動(dòng)情況。作者選擇了貼紙攻擊方法，因?yàn)槭褂煤?bào)攻擊方法為物體打印一個(gè)全新的表面很容易引起人的懷疑。由于杯子和微波爐的尺寸比路標(biāo)小，作者減少了使用的距離范圍（例如，咖啡杯高度 - 11.2 厘米，微波爐高度 - 24 厘米，右轉(zhuǎn)標(biāo)志高度 - 45 厘米，停止標(biāo)志 - 76 厘米）。表 5 給出了對(duì)微波爐的攻擊結(jié)果，表 6 則給出了對(duì)咖啡杯的攻擊結(jié)果。對(duì)于微波爐，目標(biāo)攻擊的成功率是 90%。對(duì)于咖啡杯，目標(biāo)攻擊成功率為 71.4%，非目標(biāo)成功率為 100%。
表 5. 對(duì) Inception-v3 分類(lèi)器的貼紙擾動(dòng)攻擊。原始分類(lèi)是微波，攻擊目標(biāo)是電話
表 6. 對(duì) Inception-v3 分類(lèi)器的貼紙擾動(dòng)攻擊。原始分類(lèi)是咖啡杯，攻擊目標(biāo)是****機(jī)
1.3.4 討論 
黑盒攻擊。考慮到對(duì)目標(biāo)分類(lèi)器的網(wǎng)絡(luò)結(jié)構(gòu)和模型權(quán)重的訪問(wèn)，RP2 可以產(chǎn)生各種強(qiáng)大的物理擾動(dòng)來(lái)欺騙分類(lèi)器。通過(guò)研究像 RP2 這樣的白盒攻擊，我們可以分析使用最強(qiáng)攻擊者模型的成功攻擊的要求，并更好地指導(dǎo)未來(lái)的防御措施。在黑盒環(huán)境下評(píng)估 RP2 是一個(gè)開(kāi)放的問(wèn)題。
圖像裁剪和攻擊性檢測(cè)器。在評(píng)估 RP2 時(shí)，作者每次在分類(lèi)前都會(huì)手動(dòng)控制每個(gè)圖像的裁剪。這樣做是為了使對(duì)抗性圖像與提供給 RP2 的清潔標(biāo)志圖像相匹配。隨后，作者評(píng)估了使用偽隨機(jī)裁剪的偽裝藝術(shù)效果攻擊，以保證至少大部分標(biāo)志在圖像中。針對(duì) LISA-CNN，我們觀察到平均目標(biāo)攻擊率為 70%，非目標(biāo)攻擊率為 90%。針對(duì) GTSRB-CNN，我們觀察到平均目標(biāo)攻擊率為 60%，非目標(biāo)攻擊率為 100%。作者在實(shí)驗(yàn)中考慮非目標(biāo)攻擊的成功率，是因?yàn)閷?dǎo)致分類(lèi)器不輸出正確的交通標(biāo)志標(biāo)簽仍然是一種安全風(fēng)險(xiǎn)。雖然圖像裁剪對(duì)目標(biāo)攻擊的成功率有一定的影響，但作者在其它工作中的研究結(jié)果表明，RP2 的改進(jìn)版可以成功地攻擊物體檢測(cè)器，在這種情況下就不需要再進(jìn)行裁剪處理了[5]。