CVPR2022：笑容识别也有性别歧视吗浙大武大联合蚂蚁Adobe做的公平性提高框架-量子位-，

如果AI模型有偏差怎么办

近年来，AI在各个领域都发挥了优异的性能，方便了人们的生活。

另一方面，也有不少AI发现了对特定群体的偏见和歧视。

犯罪预测系统COMPAS在美国被广泛使用，预测再犯的可能性指导刑罚执行。

据研究人员预测，黑人比白人有更高的暴力犯罪风险的可能性高出77%。这里有一个严重的问题，犯罪与否是由肤色决定的吗

我们经常使用的搜索引擎也有偏差。搜索“护士”的图片，大部分都是女性。

亚马逊的采用系统表明，男性有打高分，女性有打低分的倾向。

为什么AI系统会有偏差呢？数据告诉我们是怎么学会的吧

例如，通过亚马逊的员工数据，男性压倒了女性，AI学习到性别和录用之间存在虚假的相关关系，误以为男性更有资格被录用。

针对这一问题，研究人员提出了各种提高公平性的方案，但都本质上需要修改部署的深度学习模式。

“在网上开展的深度学习模式存在偏差的情况下，如何在不改变模式的情况下提高公平性呢？”浙江大学王志波教授提出了这个问题。

对于此问题，“浙大][王志波”和“任奎”团队将与“武汉大学”、“蚂蚁集团”和“Adobe公司”合作，提出一种基于对抗性干扰的深度学习模型公平性改进，以在不更改部署模型的情况下提高系统公平性。

该方法的基本思想是，通过自适应地对输入数据施加对抗性干扰，阻止模型提取与敏感属性相关的信息，通过保持与目标任务相关的信息，公平地处理模型不同的敏感属性的组我们可以给你一个公平的预测结果。

FAAPFAAP框架由部署的模型、干扰生成器和鉴别器三部分组成。

首先，用干扰生成器对图像施加对抗性干扰，被干扰的图像输入配置模型的特征提取器，得到图像的隐空间表示，分别输入标签预测器和判别器。

然后，测量干扰后图像中包含的敏感属性的信息，训练判别器从隐空间表现预测敏感属性，更新判别器。

然后更新干扰发生器，欺骗判别器，使被干扰的图像不包含对隐藏空间表现敏感的属性信息，使标签预测器的预测结果准确。

重复这些步骤，获得作为数据预处理单元的最终外乱生成器，提高与现有AI系统的公平性。

模型预测真的变得公平了吗注意从显著的图表来看，有性别偏差的笑容识别模型，关注原来的图像的头发的部分，必然使用性别偏差进行预测。与此形成鲜明对比的是，模型可以更聚焦于图像的嘴巴部分，在不受敏感特性影响的情况下进行公平预测。

通过t-sne处理模型特征空间的输出，具有性别偏差的模型可以在特征空间中识别原始图像的不同样本。相反，该方案会在特征空间中混淆具有不同敏感特性的样本，以便模型公平地对待它们。

这项研究首次考虑在不改变深度学习模式的情况下提高公平性，并提出了更符合真实应用场景的建议。

在一般部署模型中，公平性可以显著提高，例如，公平性指标DP平均提高27.5%，DEO平均提高66.1%。

目前，cvpr2022采用了关于该研究成果的论文《fairness-aware Adversarial Perturbation Towards Bias Mitigation for Deployed Deep Models》。

是论文的地址。

https：//arxiv.org/abs/2203.01584