对抗训练本质是为了提高模型的鲁棒性，一般情况下在传统训练的基础上，添加了对抗训练是可以进一步提升效果的，在比赛打榜、调参时是非常重要的一个trick。对抗训练在CV领域内非常常用，那么在NLP领域如何使用呢？本文简单总结几种常用的对抗训练方法。

对抗训练旨在对原始输入样本x上施加扰动 r，得到对抗样本后用其进行训练：

公式理解： 最大化扰动：挑选一个能使得模型产生更大损失（梯度较大）的扰动量，作为攻击； 最小化损失：根据最大的扰动量，添加到输入样本后，朝着最小化含有扰动的损失（梯度下降）方向更新参数；

这个被构造出来的“对抗样本”并不能具体对应到某个单词，因此，反过来在推理阶段是没有办法通过修改原始输入得到这样的对抗样本。 对抗训练有两个作用，一是 提高模型对恶意攻击的鲁棒性 ，二是 提高模型的泛化能力 。 在CV任务，根据经验性的结论，对抗训练往往会使得模型在非对抗样本上的表现变差，然而神奇的是，在NLP任务中，模型的泛化能力反而变强了。 常用的几种对抗训练方法有FGSM、FGM、PGD、FreeAT、YOPO、FreeLB、SMART。本文暂时只介绍博主常用的3个方法，分别是 FGM 、 PGD 和 FreeLB 。具体实现时，不同的对抗方法会有差异，但是 从训练速度和代码编辑难易程度的角度考虑，推荐使用FGM和迭代次数较少的PGD 。

一、FGM算法

FGM的代码量很少，只需要自行实现简单的类即可：

在训练时，只需要额外添加5行代码：

二、PGD算法

Project Gradient Descent（PGD）是一种迭代攻击算法，相比于普通的FGM 仅做一次迭代，PGD是做多次迭代，每次走一小步，每次迭代都会将扰动投射到规定范围内。形式化描述为：