基于跨域对偶生成式对抗网络的偏见消除方法与装置制造方法及图纸

本发明专利技术公开了一种基于跨域对偶生成式对抗网络的偏见消除方法和装置，包括以下步骤：(1)构建样本对；(2)基于跨域对偶生成式对抗网络构建训练系统，包括生成器GA、GB、判别器DA、DB；(3)根据生成图像与样本图像v之间的距离构建判别器DA、DB的损失函数；根据所有生成图像和样本图像之间的距离、根据任务标签和判别标签的交叉熵、受保护属性与编码特征的交叉熵构建生成器GA、GB的损失函数；(4)利用损失函数对训练系统进行对抗训练，训练结束后，提取参数确定的生成器GA和GB作为两个图像迁移模型；(5)应用时，将图像对分别输入至两个图像迁移模型，经计算生成图像域迁移的两张生成图像。

Dual generation method and elimination of cross domain bias based on Network

【技术实现步骤摘要】
基于跨域对偶生成式对抗网络的偏见消除方法与装置
本专利技术属于图像生成领域，具体设计一种基于跨域对偶生成式对抗网络的偏见消除方法与装置。
技术介绍
近年来，深度学习已经被广泛的应用于目标检测、图像检测、数据生成等领域。生成对抗网络(GAN)是目前深度学习中较为先进的技术之一，生成对抗网络通过框架中(至少)两个模块：生成模型(GenerativeModel)和判别模型(DiscriminativeModel)的互相博弈学习产生较好的输出，一般采用深度神经网络。跨域图像-图像翻译的生成对抗网络(GAN)取得了很大的进展。根据任务复杂度的不同，训练生成对抗网络需要成千上万个图像对，而对于大量数据来说图像对是难以获得的。从自然语言翻译中得到对偶学习的启发，产生了一种新的对偶生成对抗网络机制(Dual-GAN)，是在原来的生成对抗网络的基础上进一步扩展为两个相互耦合的生成对抗网络，其中有两个生成器和两个判别器，使图像翻译人员可以从两个域的两组图像中进行训练与辨别。对偶生成对抗网络最关键的一点在于，给定一个原始任务模型，对偶任务的模型可以给其提供反馈；同样的，给定一个对偶任务的模型，其原始任务的模型也可以给该对偶任务的模型提供反馈，这两个互为对偶的任务可以相互提供反馈，相互学习，相互提高。图像识别系统例如一些深度学习网络，虽然它们在实际应用方面取得了很大进展，但它们还是很敏感。当这类系统用于包含人物的图像时，它们可能会将性别、种族或年龄等保护属性与物体或动作标签过度关联，从而放大社会刻板印象。而且，经过训练的模型大大扩大了某些标签与保护属性的关联，超出了人们对有偏见的数据集的接受程度。即使数据集是平衡的，每个标签都与保护属性平等，学习的模型也会放大标签和保护属性之间的关联。这样放大社会刻板印象的现象将直接影响图像生成模型生成的图像，导致错误判断。这种放大社会刻板印象产生主要来自于两部分的泄露，第一部分是数据集泄露，当数据集被泄露攻击时，攻击者试图从其任务特定标签中，对输入图像中的受保护属性进行反向工程，则会造成保护属性对模型的任务结果产生很大偏见，出现放大社会刻板印象。另一部分是模型泄露，模型直接泄露数据集中被保护属性，则会造成保护属性对模型的任务结果产生很大偏见，出现放大社会刻板印象。
技术实现思路
本专利技术的目的是提供一种基于跨域对偶生成式对抗网络(Dual-GAN)的偏见消除方法与装置，以克服因为存在偏见或偏见放大而导致的图像域转移生成图像的不准确性问题。为实现上述专利技术目的，本专利技术提供以下技术方案：一种基于跨域对偶生成式对抗网络的偏见消除方法，包括以下步骤：(1)采集图像数据，并标记图像数据的任务标签和受保护属性，将任务标签、受保护属性与图像数据构成一个样本图像，组成样本集，根据任务标签不同将样本集分成U域样本集和V域样本集，U域样本集中样本图像u和V域样本集中的样本图像v组成一个样本对；(2)基于跨域对偶生成式对抗网络构建训练系统，包括生成器GA、判别器DA、生成器GB、判别器DB，样本对中样本图像u和样本图像v分别输入至生成器GA、生成器GB中，并为生成器GA和生成器GB分别添加噪声信息z和噪声信息z’，样本图像u与噪声信息z经过生成器GA编码的生成图像GA(u,z)再与噪声信息z’经过生成器GB编码得到生成图像GB(GA(u,z),z')，样本图像v与噪声信息z’经过生成器GB编码的生成图像GB(v,z')再与噪声信息z经过生成器GA编码得到生成图像GA(GB(u,z'),z)，判别器DA判别生成图像GA(u,z)与样本图像v的真伪，判别器DB判别生成图像GB(v,z')与样本图像u的真伪；(3)构建损失函数，根据生成图像GA(u,z)与样本图像v之间的距离构建判别器DA的第一损失函数；根据生成图像GB(v,z’)与样本图像u之间的距离构建判别器DB的第二损失函数，根据所有生成图像和样本图像之间的距离构建第一部分损失，根据任务标签和判别标签的交叉熵、受保护属性与编码特征的交叉熵构建第二部分损失，第一部分损失和第二部分损失组成生成器GA和生成器GB的第三损失函数；(4)利用第一损失函数、第二损失函数以及第三损失函数对训练系统进行对抗训练，训练结束后，提取参数确定的生成器GA和GB作为两个图像迁移模型；(5)应用时，将图像对分别输入至两个图像迁移模型，经计算生成图像域迁移的两张迁移图像。一种基于跨域对偶生成式对抗网络的偏见消除装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中采用上述基于跨域对偶生成式对抗网络的偏见消除方法构建的两个图像迁移模型；所述计算机处理器执行所述计算机程序时实现以下步骤：将图像对分别输入至两个图像迁移模型，经计算生成图像域迁移的两张迁移图像。与现有技术相比，本专利技术具有的有益效果至少包括：通过对Dual-GAN的生成器施加去除偏见操作，采用对抗性的方法，从生成器的中间表示中删除与受保护属性对应的不必要特征，减少偏见放大，同时保持了判别器良好的隶属度评分，提升了图像域转移生成图像的准确性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。图1是本专利技术实施例提供的基于跨域对偶生成式对抗网络的偏见消除方法的流程图；图2是本专利技术实施例提供的训练系统的结构示意图；图3是本专利技术实施例提供的生成器的结构示意图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。为了解决通过图像域迁移存在偏见问题导致生成图像不准确的问题，本专利技术实施例提供了一种基于跨域对偶生成式对抗网络的偏见消除方法和装置。本专利技术把深度学习模型在做出决策时，受到无关但敏感特征的影响，并且其决策可能会会依赖于这种错误的特征关联的现象定义为模型的偏见行为。以性别歧视为例，假设性别标签是深度学习模型无关但敏感的特征，在其它标签的预测任务中，虽然不包括性别预测，但性别特征可能会影响其它分类任务，从而使深度学习产生性别歧视，即模型存在偏见。该偏见的存在直接影响模型的性能，使得模型的输出结果不准确。这种偏见可能来自于数据集的泄露，也可能来自于模型的泄露。针对数据集的泄露，如果存在一个函数f()，使得gi≈f(Yi)，则任务标签Yi会泄漏有关受保护属性gi的信息，将函数f()称为攻击者，因为它试图从其任务标签Yi中，对输入图像Xi中的受保护属性gi进行反向工程。攻击者的性能，即数据集D中通过任务标签Yi泄漏有关受保护属性gi信息的实例的分数，产生了泄漏的估本文档来自技高网...

【技术保护点】
1.一种基于跨域对偶生成式对抗网络的偏见消除方法，其特征在于，包括以下步骤：/n(1)采集图像数据，并标记图像数据的任务标签和受保护属性，将任务标签、受保护属性与图像数据构成一个样本图像，组成样本集，根据任务标签不同将样本集分成U域样本集和V域样本集，U域样本集中样本图像u和V域样本集中的样本图像v组成一个样本对；/n(2)基于跨域对偶生成式对抗网络构建训练系统，包括生成器GA、判别器DA、生成器GB、判别器DB，样本对中样本图像u和样本图像v分别输入至生成器GA、生成器GB中，并为生成器GA和生成器GB分别添加噪声信息z和噪声信息z’，样本图像u与噪声信息z经过生成器GA编码的生成图像G

【技术特征摘要】
1.一种基于跨域对偶生成式对抗网络的偏见消除方法，其特征在于，包括以下步骤：
(1)采集图像数据，并标记图像数据的任务标签和受保护属性，将任务标签、受保护属性与图像数据构成一个样本图像，组成样本集，根据任务标签不同将样本集分成U域样本集和V域样本集，U域样本集中样本图像u和V域样本集中的样本图像v组成一个样本对；
(2)基于跨域对偶生成式对抗网络构建训练系统，包括生成器GA、判别器DA、生成器GB、判别器DB，样本对中样本图像u和样本图像v分别输入至生成器GA、生成器GB中，并为生成器GA和生成器GB分别添加噪声信息z和噪声信息z’，样本图像u与噪声信息z经过生成器GA编码的生成图像GA(u,z)再与噪声信息z’经过生成器GB编码得到生成图像GB(GA(u,z),z')，样本图像v与噪声信息z’经过生成器GB编码的生成图像GB(v,z')再与噪声信息z经过生成器GA编码得到生成图像GA(GB(u,z'),z)，判别器DA判别生成图像GA(u,z)与样本图像v的真伪，判别器DB判别生成图像GB(v,z')与样本图像u的真伪；
(3)构建损失函数，根据生成图像GA(u,z)与样本图像v之间的距离构建判别器DA的第一损失函数；根据生成图像GB(v,z’)与样本图像u之间的距离构建判别器DB的第二损失函数，根据所有生成图像和样本图像之间的距离构建第一部分损失，根据任务标签和判别标签的交叉熵、受保护属性与编码特征的交叉熵构建第二部分损失，第一部分损失和第二部分损失组成生成器GA和生成器GB的第三损失函数；
(4)利用第一损失函数、第二损失函数以及第三损失函数对训练系统进行对抗训练，训练结束后，提取参数确定的生成器GA和GB作为两个图像迁移模型；
(5)应用时，将图像对分别输入至两个图像迁移模型，经计算生成图像域迁移的两张迁移图像。


2.如权利要求1所述的基于跨域对偶生成式对抗网络的偏见消除方法，其特征在于，所述第一损失函数为：



第二损失函数为：



其中，DA(v)为样本图像v输入至判别器DA得到的预测判别结果，DA(GA(u,z))为生成图像GA(u,z)输入至判别器DA得到的预测判别结果，DB(u)为样本图像u输入至判别器DB得到的预测判别结果，DB(GB(v,z'))为生成图像GB(v,z')输入至判别器DB得到的预测判别结果。


3.如权利要求1所述的基于跨域对偶生成式对抗网络的偏见消除方法，其特征在于，所述第三损失函数lg(u,v)为：
l...

【专利技术属性】
技术研发人员：陈晋音，徐思雨，缪盛欢，徐国宁，陈治清，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33