什么是对抗样本

对抗样本会对机器学习系统进行各种攻击。一种常见的攻击是对抗性样本攻击，即特意设计的看似正常但会导致模型错误分类的输入数据。另一种攻击是后门攻击，攻击者在训练过程中向模型注入后门。模型反演攻击可用于从模型中重构训练数据，而成员推理攻击可用于确定某个数据点是否属于训练数据集。

对抗样本还会引起数据污染攻击，攻击者在训练数据集中注入恶意数据以重新编程学习算法。数据污染攻击的重点关注项目包括用户生成的训练数据（如内容推荐或自然语言模型），因为可能存在使用虚假账户注入污染数据的风险。

从防御角度看，对抗性训练是一种预防性的数据增强形式，旨在应对现实世界中的潜在未经授权访问。它通过在图像上添加一层无法察觉的噪声来为机器学习模型制造挑战，从而测试模型识别底层图像的能力。

生成对抗网络可用于生成高质量的合成数据，这些数据可以用于模拟原始数据分布，为数据增强提供可靠的样本。变分自动编码器也可用于增加核心数据的样本量，减少耗时的数据收集需求。

对抗样本是经过精心设计的输入数据，人类看起来是正常的，但会导致机器学习模型产生错误分类。生成对抗样本的常见技术有基于梯度的逃避攻击、快速梯度符号法（FGSM）、投影梯度下降法（PGD）、Carlini和Wagner（C&W）攻击以及对抗补丁攻击。

这种攻击会在训练阶段向模型中注入一个后门，使得模型在遇到特定的触发模式时会做出预期的错误预测。攻击者可以在部署阶段利用这个后门控制模型的行为。

通过观察模型对某些输入的输出，攻击者试图重建模型的训练数据或参数。这种攻击可能会导致隐私泄露。

攻击者试图判断某些数据点是否被用于训练了给定的机器学习模型。这种攻击也可能导致隐私泄露。

上述攻击不仅可以针对深度学习系统，也可以针对传统的机器学习模型如支持向量机和线性回归模型。对抗样本攻击是一个重要的研究领域，旨在提高机器学习系统的安全性和鲁棒性。

首先需要对攻击者的目标和能力进行形式化建模，以了解攻击者试图解决的优化问题。这有助于评估攻击的影响，并为开发相应的防御措施奠定基础。

接下来，需要模拟攻击情况，以深入了解攻击者的优化问题。通过评估攻击的影响，可以更好地设计防御策略。

研究人员提出了多种防御机制，包括安全学习算法、拜占庭容错算法、多分类器系统、隐私保护学习、对抗训练和后门检测算法。

除了上述机制外，噪声检测、信息过滤（改变对手接收的信息）和基于博弈论的模型也被提出，作为防御对抗样本攻击的策略。