ViT 的对抗鲁棒性并不总高于 CNN
每个 patch 的干扰像素的数量高度影响 ViT 和 CNN 之间的鲁棒性排名
提出了 Patch Fool 方法及其两个变种，总结就是对部分patch、patch 内的部分像素做干扰，在交叉熵损失函数后添加了一项用于提高所选patch对其它patch的注意力值的项
一些工作指出，在足够数量的数据集上训练的 ViT，在大部分的情况下至少与和它相对应的 ResNet 一样鲁棒，无论是在自然损坏、分布偏移还是对抗性干扰的场景中 [1]。在 L p L_p L p
[1] Bhojanapalli S, Chakrabarti A, Glasner D, et al. Understanding robustness of transformers for image classification[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 10231-10241.
[2] Aldahdooh, Ahmed, Wassim Hamidouche, and Olivier Deforges. “Reveal of vision transformers robustness against adversarial attacks.” arXiv preprint arXiv:2106.03734 (2021).
[3] Shao R, Shi Z, Yi J, et al. On the adversarial robustness of vision transformers[J]. arXiv preprint arXiv:2103.15670, 2021.
符号：
由多个 patch 组成的图片 X = [ x 1 , … , x n ] ⊤ ∈ R [ n × d ] \mathbf X = [\mathbf x_1, \dots, \mathbf x_n]^\top \in \mathbb R^{[n\times d]} X = [ x 1 , … , x n ] ⊤ ∈ R [ n × d ] n n n d d d
对抗性干扰 E \mathbf E E
one hot vector 1 p ∈ R n \mathbb 1_p \in \mathbb R^n 1 p ∈ R n p p p
损失函数 J J J
攻击的目标是：
arg max 1 ≤ p ≤ n , E ∈ R n × d J ( X + 1 p ⊙ E , y ) \underset{1 \leq p \leq n, \mathbf{E} \in \mathbb{R}^{n \times d}}{\arg \max } J\left(\mathbf{X}+\mathbb{1}_p \odot \mathbf{E}, y\right)
1 ≤ p ≤ n , E ∈ R n × d arg max J ( X + 1 p ⊙ E , y )
其中 ⊙ \odot ⊙ 1 p \mathbb 1_p 1 p E \mathbf E E
1 p \mathbb 1_p 1 p 用 a j ( l , h , i ) a_j^{(l,h,i)} a j ( l , h , i ) j j j l l l h h h i i i s j ( l ) s_j^{(l)} s j ( l ) j j j l l l s j ( l ) s_j^{(l)} s j ( l ) j j j
s j ( l ) = ∑ h , i a j ( l , h , i ) s_j^{(l)}=\sum_{h, i} a_j^{(l, h, i)}
s j ( l ) = h , i ∑ a j ( l , h , i )
论文中，将 l l l j j j
为了最大化选定的 patch 的影响，论文选择用一个损失函数来最大化这个 patch 对其它 patch 的注意力，也就是在 l l l
J ATTN ( l ) ( X , p ) = ∑ h , i a p ( l , h , i ) J_{\text {ATTN }}^{(l)}(\mathbf{X}, p)=\sum_{h, i} a_p^{(l, h, i)}
J ATTN ( l ) ( X , p ) = h , i ∑ a p ( l , h , i )
将上面的损失与最大化分类差距的交叉熵 J C E J_{\mathrm{CE}} J C E
J ( X ~ , y , p ) = J C E ( X ~ , y ) + α ∑ l J A T T N ( l ) ( X ~ , p ) J(\widetilde{\mathbf{X}}, y, p)=J_{\mathrm{CE}}(\widetilde{\mathbf{X}}, y)+\alpha \sum_l J_{\mathrm{ATTN}}^{(l)}(\widetilde{\mathbf{X}}, p)
J ( X , y , p ) = J C E ( X , y ) + α l ∑ J A T T N ( l ) ( X , p )
为了解决这两个损失的梯度冲突，论文使用了 PCGrad 来更新干扰，也就是对于 E \mathbf E E δ E \delta_{\mathbf E} δ E
δ E = ∇ E J ( X ~ , y , p ) − α ∑ l β l ∇ E J C E ( X ~ , y ) β l = { 0 , ⟨ ∇ E J C E ( X ~ , y ) , ∇ E J A T T N ( l ) ( X ~ , p ) ⟩ > 0 ⟨ ∇ E J C E ( X ~ , y ) , ∇ E J ATTN ( l ) ( X ~ , p ) ⟩ ∥ ∇ E J C E ( X ~ , y ) ∥ 2 , otherwise \begin{gathered}
\delta_{\mathbf{E}}=\nabla_{\mathbf{E}} J(\widetilde{\mathbf{X}}, y, p)-\alpha \sum_l \beta_l \nabla_{\mathbf{E}} J_{\mathrm{CE}}(\widetilde{\mathbf{X}}, y) \\
\beta_l=\left\{\begin{array}{cl}
0, & \left\langle\nabla_{\mathbf{E}} J_{\mathrm{CE}}(\widetilde{\mathbf{X}}, y), \nabla_{\mathbf{E}} J_{\mathrm{ATTN}}^{(l)}(\widetilde{\mathbf{X}}, p)\right\rangle>0 \\
\frac{\left\langle\nabla_{\mathbf{E}} J_{\mathrm{CE}}(\widetilde{\mathbf{X}}, y), \nabla_{\mathbf{E}} J_{\text {ATTN }}^{(l)}(\widetilde{\mathbf{X}}, p)\right\rangle}{\left\|\nabla_{\mathbf{E}} J_{\mathrm{CE}}(\widetilde{\mathbf{X}}, y)\right\|^2}, & \text { otherwise }
\end{array}\right.
\end{gathered}
δ E = ∇ E J ( X , y , p ) − α l ∑ β l ∇ E J C E ( X , y ) β l = ⎩ ⎪ ⎪ ⎨ ⎪ ⎪ ⎧ 0 , ∥ ∇ E J C E ( X , y ) ∥ 2 ⟨ ∇ E J C E ( X , y ) , ∇ E J ATTN ( l ) ( X , p ) ⟩ , ⟨ ∇ E J C E ( X , y ) , ∇ E J A T T N ( l ) ( X , p ) ⟩ > 0 otherwise
作者还进一步使用了 Adam 优化器来根据梯度确定更新 E \mathbf E E
E t + 1 = E t + η ⋅ Adam ( δ E t ) \mathbf{E}^{t+1}=\mathbf{E}^t+\eta \cdot \operatorname{Adam}\left(\delta_{\mathbf{E}^t}\right)
E t + 1 = E t + η ⋅ A d a m ( δ E t )
需要对 patch 中的多少像素做干扰才能可以？
只对很少的像素做干扰 （sparse patch fool）
对整个 patch 做干扰（前文所述的 patch fool）
Sparse patch fool 使用 mask M \mathbf M M M \mathbf M M ( M ∘ E ) (\mathbf{M} \circ \mathbf{E}) ( M ∘ E ) M \mathbf M M
arg max 1 ≤ p ≤ n , E ∈ R n × d , M ∈ { 0 , 1 } n × d J ( X + 1 p ⊙ ( M ∘ E ) , y) s.t. ∥ M ∥ 0 ≤ k \underset{1 \leq p \leq n, \mathbf{E} \in \mathbb{R}^{n \times d}, \mathbf{M} \in\{0,1\}^{n \times d}}{\arg \max } J\left(\mathbf{X}+\mathbb{1}_p \odot(\mathbf{M} \circ \mathbf{E}), \text { y) s.t. }\|\mathbf{M}\|_0 \leq k\right.
1 ≤ p ≤ n , E ∈ R n × d , M ∈ { 0 , 1 } n × d arg max J ( X + 1 p ⊙ ( M ∘ E ) , y) s.t. ∥ M ∥ 0 ≤ k
为了符合 L P L_P L P E \mathbf E E L 2 L_2 L 2 L ∞ L_\infin L ∞
PR 为 patch 内干扰的像素比例，#Patch 为干扰的 patch 数量，指标是鲁班准确率。可以看到 DeiT 和 ResNet 在不同的 PR 和 #Patch 下的鲁棒性会有差异，没有谁恒优于谁。加粗的是比较差的。
下面是 L ∞ L_\infin L ∞
