模型训练和身份匿名化方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种模型训练和身份匿名化方法、装置、设备及存储介质，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。该方法包括：在目标网络模型中投影模块的目标空间上进行采样，得到N个虚拟身份向量；通过目标网络模型中的属性模块对待处理图像进行处理，得到M个属性向量；将N个虚拟身份向量和M个属性向量输入目标网络模型的融合模块中，得到待处理图像的身份匿名化图像。即本申请在身份匿名化时，通过目标网络模型生成独立虚拟身份，无需去除图像中面部区域，进而提高身份匿名化的保真度和分辨率。保真度和分辨率。保真度和分辨率。

【技术实现步骤摘要】
模型训练和身份匿名化方法、装置、设备及存储介质


[0001]本申请实施例涉及图像处理
，尤其涉及一种模型训练和身份匿名化方法、装置、设备及存储介质。

技术介绍

[0002]身份匿名化又叫做去身份化(De
‑
Identification)，指去除图像或视频中可识别的身份特征(Identity)，但同时保留其他与身份无关的属性不变，并保证匿名化的图片或视频必须在视觉上仍然真实的。
[0003]目前，使用条件生成式对抗网络(Generative Adversarial Networks，GAN)生成匿名化的图片，具体是提取原始图片的姿态关键点，并将原始图片的姿态关键点和去除面部区域之后的背景图片作为条件输入模型中，以生成新的虚拟身份来填补空缺的面部区域。但是，该方法，以去除面部区域之后的背景图片作为模型输入，使得模型生成的图片质量差。

技术实现思路

[0004]本申请提供一种模型训练和身份匿名化方法、装置、设备及存储介质，以提高身份匿名化图像的生成质量。
[0005]第一方面，本申请提供一种模型训练方法，包括：
[0006]通过目标网络模型中的投影模块，将第一训练图像投影至目标空间，得到N个第一虚拟身份向量，所述N为正整数；
[0007]通过所述目标网络模型中的属性模块对第二训练图像进行处理，得到M个属性向量，所述M为正整数；
[0008]将所述N个第一虚拟身份向量和所述M个属性向量输入所述目标网络模型的融合模块中，得到所述第二训练图像的身份匿名化图像；
[0009]根据所述身份匿名化图像，确定所述目标网络模型的损失，并根据所述损失对所述目标网络模型进行训练。
[0010]第二方面，提供了一种身份匿名化方法，包括：
[0011]在目标网络模型中投影模块的目标空间上进行采样，得到N个虚拟身份向量，所述N为正整数；
[0012]通过目标网络模型中的属性模块对待处理图像进行处理，得到M个属性向量，所述M为正整数；
[0013]将所述N个虚拟身份向量和所述M个属性向量输入所述目标网络模型的融合模块中，得到所述待处理图像的身份匿名化图像。
[0014]第三方面，提供了一种模型训练装置，包括：
[0015]投影单元，用于通过目标网络模型中的投影模块，将第一训练图像投影至目标空间，得到N个第一虚拟身份向量，所述N为正整数；
[0016]属性单元，用于通过所述目标网络模型中的属性模块对第二训练图像进行处理，得到M个属性向量，所述M为正整数；
[0017]融合单元，用于将所述N个第一虚拟身份向量和所述M个属性向量输入所述目标网络模型的融合模块中，得到所述第二训练图像的身份匿名化图像；
[0018]训练单元，用于根据所述身份匿名化图像，确定所述目标网络模型的损失，并根据所述损失对所述目标网络模型进行训练。
[0019]第四方面，提供了一种身份匿名化装置，包括：
[0020]采样单元，用于在目标网络模型中投影模块的目标空间上进行采样，得到N个虚拟身份向量，所述N为正整数；
[0021]属性单元，用于通过目标网络模型中的属性模块对待处理图像进行处理，得到M个属性向量，所述M为正整数；
[0022]匿名化单元，用于将所述N个虚拟身份向量和所述M个属性向量输入所述目标网络模型的融合模块中，得到所述待处理图像的身份匿名化图像。
[0023]第五方面，提供了一种计算设备，包括处理器和存储器。所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行上述第一方面或第二方面其各实现方式中的方法。
[0024]第六方面，提供了一种芯片，用于实现上述第一方面至第二方面中任一方面或其各实现方式中的方法。具体地，所述芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如上述第一方面或第二方面中任一方面或其各实现方式中的方法。
[0025]第七方面，提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行上述第一方面或第二方面中任一方面或其各实现方式中的方法。
[0026]第八方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令使得计算机执行上述第一方面或第二方面中任一方面或其各实现方式中的方法。
[0027]第九方面，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面中任一方面或其各实现方式中的方法。
[0028]综上，本申请通过目标网络模型中的投影模块，将第一训练图像投影至目标空间，得到N个第一虚拟身份向量，通过目标网络模型中的属性模块对第二训练图像进行处理，得到M个属性向量，将N个第一虚拟身份向量和M个属性向量输入目标网络模型的融合模块中，得到第二训练图像的身份匿名化图像，根据身份匿名化图像，确定目标网络模型的损失，并根据损失对目标网络模型进行训练。即本申请提供一种新的目标网络模型，通过上述训练方法，使得目标网络模型对第一训练图像中的身份信息，以及第二训练图像中的属性信息进行充分学习。这样在身份匿名时，在目标网络模型中投影模块的目标空间上进行采样，得到N个虚拟身份向量；通过目标网络模型中的属性模块对待处理图像进行处理，得到M个属性向量；将N个虚拟身份向量和M个属性向量输入目标网络模型的融合模块中，得到待处理图像的身份匿名化图像。即本申请在身份匿名化时，通过目标网络模型生成独立虚拟身份，无需去除图像中面部区域，进而提高身份匿名化的保真度和分辨率。
附图说明
[0029]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1A为真实图像示意图；
[0031]图1B
‑
图1D为图1A对应的身份匿名化图像示意图；
[0032]图2为本申请实施例涉及的一种系统架构示意图；
[0033]图3为本申请一实施例提供的模型训练方法的流程示意图；
[0034]图4为本申请一实施例提供的目标网络模型的结构示意图；
[0035]图5为本申请另一实施例提供的目标网络模型的结构示意图；
[0036]图6为本申请另一实施例提供的目标网络模型的结构示意图；
[0037]图7为本申请实施例涉及的融合模块结构示意图；
[0038]图8为本申请另一实施例提供的目标网络模型的结构示意图；
[0039]图9为本申请实施例涉及的对比损失确定一示意图；
[0040]图10为本申请实施例涉及的对比损失确定另一示意图；
[0041]图11为本申请一实施例提供的身份匿名化方法流程示意图；
[0042]图12为本申请实施例提供的投影模块示意图；...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：通过目标网络模型中的投影模块，将第一训练图像投影至目标空间，得到N个第一虚拟身份向量，所述N为正整数；通过所述目标网络模型中的属性模块对第二训练图像进行处理，得到M个属性向量，所述M为正整数；将所述N个第一虚拟身份向量和所述M个属性向量输入所述目标网络模型的融合模块中，得到所述第二训练图像的身份匿名化图像；根据所述身份匿名化图像，确定所述目标网络模型的损失，并根据所述损失对所述目标网络模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述投影模块包括第一投影单元和第二投影单元，所述目标空间包括第一空间和第二空间，所述通过目标网络模型中的投影模块，将第一训练图像投影至目标空间，得到N个第一虚拟身份向量，包括：提取所述第一训练图像的先验身份信息；通过所述第一投影单元，将所述先验身份信息投影至第一空间，得到N个身份隐向量；通过所述第二投影单元，将所述N个身份隐向量投影至第二空间，得到所述N个第一虚拟身份向量。3.根据权利要求2所述的方法，其特征在于，所述通过所述第一投影单元，将所述先验身份信息投影至第一空间，得到N个身份隐向量，包括：通过所述第一投影单元将先验身份信息，投影为所述第一空间的均值和方差；基于所述第一空间的均值和方差进行采样，得到所述N个身份隐向量。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：确定所述N个身份隐向量的散度约束；所述根据所述身份匿名化图像，确定所述目标网络模型的损失，包括：根据所述身份匿名化图像和所述散度约束，确定所述目标网络模型的损失。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：获取第三训练图像，所述第三训练图像和所述第一训练图像均为第一目标的两张不同的图像；通过投影参考模块对所述第三训练图像进行处理，得到N个第二虚拟身份向量，所述投影参考模块与所述投影模块的网络结构相同，且根据所述投影模块进行更新；根据所述N个第一虚拟身份向量和所述N个第二虚拟身份向量，确定身份损失；所述根据所述身份匿名化图像和所述散度约束，确定所述目标网络模型的损失，包括：根据所述身份匿名化图像、所述散度约束和所述身份损失，确定所述目标网络模型的损失。6.根据权利要求5所述的方法，其特征在于，所述根据所述N个第一虚拟身份向量和所述N个第二虚拟身份向量，确定身份损失，包括：针对所述N个第二虚拟身份向量中的第i个第二虚拟身份向量，使用所述第i个第二虚拟身份向量更新第i个动态列表中，所述第一目标对应的虚拟身份向量，其中，所述第i个动态列表中包括第i个分辨率下不同目标的虚拟身份向量，所述i为从1到N的正整数；根据第i个第一虚拟身份向量和更新后的所述第i个动态列表，确定所述第i个第一虚
拟身份向量对应的身份子损失；将所述N个第一虚拟身份向量分别对应的身份子损失之和，确定为所述身份损失。7.根据权利要求6所述的方法，其特征在于，所述根据第i个第一虚拟身份向量和更新后的所述第i个动态列表，确定所述第i个第一虚拟身份向量对应的身份子损失，包括：将所述第i个第二虚拟身份向量与第一预设值相比后，与所述第i个第一虚拟身份向量相乘后再进行指数运算，得到第一运算值；将更新后的所述第i个动态列表中，每个第二虚拟身份向量与第一预设值相比后，与对应的第i个第一虚拟身份向量相乘后再进行指数运算，得到所述每个第二虚拟身份向量对应的第二运算值；将所述第一运算值与所述每个第二虚拟身份向量对应的第二运算值之和相比后，进行对数运算，得到第三运算值；将所述第三运算值的负数，确定为所述第i个第一虚拟身份向量对应的身份子损失。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述属性模块包括编码单元和解码单元，所述通过所述目标网络模型中的属性模块对第二训练图像进行处理，得到M个属性向量，包括：将所述第二训练图像输入所述编码单元，得到所述第二训练图像的特征信息；将所述特征信息输入所述解码单元，得到M个属性向量。9.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述融合模块包括多个不同的分辨率层，所述将所述N个第一虚拟身份向量和所述M个属性向量输入所述目标网络模型的融合模块中，得到所述第二训练图...

【专利技术属性】
技术研发人员：罗宇辰，朱俊伟，贺珂珂，储文青，邰颖，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：