实现用户隐私保护的人脸图像生成方法及装置制造方法及图纸

本说明书实施例提供一种实现用户隐私保护的人脸图像生成方法，该方法包括：首先，获取与目标用户的真实人脸图像对应的真实特征向量，该真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；接着，将该真实特征向量输入图像生成网络，得到可以识别为该目标用户的虚拟人脸图像。如此，使得无需对刷脸业务中产生的原始人脸图像进行存储，而只需存储识别该原始人脸图像对应的特征向量，就可以实现对刷脸业务的历史回溯，从而大大节省存储空间，降低因直接存储原始人脸图像而带来的用户隐私泄露风险，并带给用户良好的隐私保护体验。

【技术实现步骤摘要】
实现用户隐私保护的人脸图像生成方法及装置
本说明书实施例涉及计算机
，具体地，涉及一种实现用户隐私保护的人脸图像生成方法及装置。
技术介绍
当下，机器学习技术已被广泛应用于许多领域，例如，将机器学习技术应用于人脸图像的生成领域。该生成领域关注的重点通常为，如何提高生成的人脸图像的真实感，也就是尽可能让人们在看到这些机器生成的人脸图像时，以为该人脸图像是在现实生活中对真人进行拍摄而得到。然而，目前尚不存在一种方案，可以生成包含特定身份人脸、且真实感强的人脸图像，也即，肉眼可以识别出该人脸图像中的人脸所具有的特定身份，同时人脸识别模型也可以识别出该人脸图像对应的该特定身份，以满足人脸图像生成领域的更多需求，如实现对用户隐私的保护，等等。
技术实现思路
本说明书中的一个或多个实施例提供一种人脸图像生成方法及装置，可以生成包含特定身份人脸的人脸图像，用于实现对用户隐私的保护。第一方面，提供一种实现用户隐私保护的人脸图像生成方法，该方法包括：获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；将所述真实特征向量输入图像生成网络，所述图像生成网络至少包括N个处理单元和输出层；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，再利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出；其中输出层根据第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像；其中N和i为正整数，且i＜N；将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量；基于所述真实特征向量和虚拟特征向量，确定第一损失；将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失；确定生成综合损失，所述生成综合损失分别与所述第一损失和所述第二损失正相关；利用所述生成综合损失，训练所述图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。在一个实施例中，所述N个处理单元中的第1个处理单元将所述真实特征向量从向量空间映射到特征图空间，得到映射特征图，并利用其对应包括的卷积层对所述映射特征图进行卷积处理，得到转化特征图，作为第1个处理单元的输出。在一个实施例中，所述图像生成网络还包括调制单元，所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，包括：第i+1个处理单元利用所述升维特征向量和所述随机噪声向量，将所述第一特征图转化为所述第二特征图。在一个具体的实施例中，所述调制单元包括第一全连接层；其中，所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量，包括：将所述真实特征向量输入所述第一全连接层中，输出所述升维特征向量。在一个实施例中，其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，包括：对所述真实特征向量和随机噪声向量进行融合处理，得到融合向量；利用所述融合向量，将所述第一特征图转化为所述第二特征图。在一个具体的实施例中，所述第一特征图中包括任意的第一特征元素，对应于所述第二特征图中的第二特征元素；所述第i+1个处理单元中还包括对应的第二全连接层和第三全连接层；其中，利用所述融合向量，将所述第一特征图转化为所述第二特征图，包括：将所述融合向量输入第二全连接层中，得到对应的均值向量，其中包括用于对所述第一特征元素进行标准化处理的均值；将所述融合向量输入第三全连接层中，得到对应的方差向量，其中包括用于对所述第一特征元素进行标准化处理的方差；利用所述方差和均值，对所述第一特征元素进行标准化处理，得到标准化特征元素；利用所述第i+1个处理单元中对应包括的缩放学习参数和偏移学习参数，对所述标准化特征元素进行缩放和偏移处理，得到所述第二特征元素。在一个实施例中，获取与第一用户的真实人脸图像对应的真实特征向量，包括：将所述真实人脸图像输入所述特征表示层中，得到所述真实特征向量；其中包括，在所述特征表示层所包括的特定卷积层中，通过卷积处理得到具有特定尺寸的真实特征图；其中，确定生成综合损失，包括：从所述N个处理单元输出的N个第三特征图中，获取具有所述特定尺寸的特征图作为虚拟特征图；基于所述真实特征图和所述虚拟特征图，确定第三损失；确定所述生成综合损失，所述生成综合损失还与所述第三损失正相关。在一个实施例中，在确定第二损失之后，所述方法还包括：将所述真实人脸图像输入所述判别网络中，得到第二判别结果，并且，基于所述第二判别结果和所述真实人脸图像对应的第二类别标签，确定第四损失；确定判别综合损失，所述判别综合损失与所述第四损失正相关，且与所述第二损失负相关；基于所述判别综合损失，训练所述判别网络。第二方面，提供一种实现用户隐私保护的人脸图像生成方法，包括：获取与目标用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；将所述真实特征向量输入图像生成网络，得到用于识别为所述目标用户的虚拟人脸图像，所述图像生成网络通过第一方面提供的方法进行预先训练而得到。第三方面，提供一种实现用户隐私保护的人脸图像生成装置，该装置包括：真实向量获取模块，配置为获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；虚拟图像生成模块，配置为将所述真实特征向量输入图像生成网络，所述图像生成网络至少包括N个处理单元和输出层；所述虚拟图像生成单元具体包括：特征图转换子模块，配置为通过其中的第i+1个处理单元，利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图；卷积处理子模块，配置为通过该第i+1个处理单元，利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出；图像输出子模块，配置为通过其中的输出层，根据第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像；其中N和i为正整数，且i＜N；虚拟向量确定模块，配置为将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量；第一损失确定模块，配置为基于所述真实特征向量和虚拟特征向量，确定第一损失；第二损失确定模块，配置为将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并且，基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失；生成损失确定模块，配置为确定生成综合损失，所述生成综合损失分别与所述第一损失和所述第二损失正相关；生成网络训练模块，配置为利用所述生成综合损失，训练所述图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。第四方面，提供一种实现用户隐私保护的人脸图像生成装置，包括：真实向量获取本文档来自技高网...

【技术保护点】
1.一种实现用户隐私保护的人脸图像生成方法，包括：/n获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；/n将所述真实特征向量输入图像生成网络，所述图像生成网络至少包括N个处理单元和输出层；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，再利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出；其中输出层根据第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像；其中N和i为正整数，且i＜N；/n将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量；/n基于所述真实特征向量和虚拟特征向量，确定第一损失；/n将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并且，基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失；/n确定生成综合损失，所述生成综合损失分别与所述第一损失和所述第二损失正相关；/n利用所述生成综合损失，训练所述图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。/n...

【技术特征摘要】
1.一种实现用户隐私保护的人脸图像生成方法，包括：
获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；
将所述真实特征向量输入图像生成网络，所述图像生成网络至少包括N个处理单元和输出层；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，再利用其对应包括的卷积层对所述第二特征图进行卷积处理，得到第三特征图，作为第i+1个处理单元的输出；其中输出层根据第N个处理单元输出的特征图，输出用于识别为所述第一用户的虚拟人脸图像；其中N和i为正整数，且i＜N；
将所述虚拟人脸图像输入所述特征表示层中，得到对应的虚拟特征向量；
基于所述真实特征向量和虚拟特征向量，确定第一损失；
将所述虚拟人脸图像输入判别网络中，得到第一判别结果，并且，基于所述第一判别结果和所述虚拟人脸图像对应的第一类别标签，确定第二损失；
确定生成综合损失，所述生成综合损失分别与所述第一损失和所述第二损失正相关；
利用所述生成综合损失，训练所述图像生成网络，用于生成与目标用户对应的目标虚拟人脸图像。


2.根据权利要求1所述的方法，其中，所述N个处理单元中的第1个处理单元将所述真实特征向量从向量空间映射到特征图空间，得到映射特征图，并利用其对应包括的卷积层对所述映射特征图进行卷积处理，得到转化特征图，作为第1个处理单元的输出。


3.根据权利要求1所述的方法，其中，所述图像生成网络还包括调制单元，所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量；其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，包括：
第i+1个处理单元利用所述升维特征向量和所述随机噪声向量，将所述第一特征图转化为所述第二特征图。


4.根据权利要求3所述的方法，其中，所述调制单元包括第一全连接层；其中，所述调制单元对所述真实特征向量进行升维处理，得到升维特征向量，包括：
将所述真实特征向量输入所述第一全连接层中，输出所述升维特征向量。


5.根据权利要求1所述的方法，其中第i+1个处理单元利用所述真实特征向量和预先获取的随机噪声向量，将第i个处理单元输出的第一特征图转化为第二特征图，包括：
对所述真实特征向量和随机噪声向量进行融合处理，得到融合向量；
利用所述融合向量，将所述第一特征图转化为所述第二特征图。


6.根据权利要求5所述的方法，其中，所述第一特征图中包括任意的第一特征元素，对应于所述第二特征图中的第二特征元素；所述第i+1个处理单元中还包括对应的第二全连接层和第三全连接层；其中，利用所述融合向量，将所述第一特征图转化为所述第二特征图，包括：
将所述融合向量输入第二全连接层中，得到对应的均值向量，其中包括用于对所述第一特征元素进行标准化处理的均值；
将所述融合向量输入第三全连接层中，得到对应的方差向量，其中包括用于对所述第一特征元素进行标准化处理的方差；
利用所述方差和均值，对所述第一特征元素进行标准化处理，得到标准化特征元素；
利用所述第i+1个处理单元中对应包括的缩放学习参数和偏移学习参数，对所述标准化特征元素进行缩放和偏移处理，得到所述第二特征元素。


7.根据权利要求1所述的方法，其中，获取与第一用户的真实人脸图像对应的真实特征向量，包括：
将所述真实人脸图像输入所述特征表示层中，得到所述真实特征向量；其中包括，在所述特征表示层所包括的特定卷积层中，通过卷积处理得到具有特定尺寸的真实特征图；
其中，确定生成综合损失，包括：
从所述N个处理单元输出的N个第三特征图中，获取具有所述特定尺寸的特征图作为虚拟特征图；
基于所述真实特征图和所述虚拟特征图，确定第三损失；
确定所述生成综合损失，所述生成综合损失还与所述第三损失正相关。


8.根据权利要求1所述的方法，其中，在确定第二损失之后，所述方法还包括：
将所述真实人脸图像输入所述判别网络中，得到第二判别结果，并且，基于所述第二判别结果和所述真实人脸图像对应的第二类别标签，确定第四损失；
确定判别综合损失，所述判别综合损失与所述第四损失正相关，且与所述第二损失负相关；
基于所述判别综合损失，训练所述判别网络。


9.一种实现用户隐私保护的人脸图像生成方法，包括：
获取与目标用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；
将所述真实特征向量输入图像生成网络，得到用于识别为所述目标用户的虚拟人脸图像，所述图像生成网络通过权利要求1所述的方法进行预先训练而得到。


10.一种实现用户隐私保护的人脸图像生成装置，包括：
真实向量获取模块，配置为获取与第一用户的真实人脸图像对应的真实特征向量，所述真实特征向量基于预先训练的人脸识别模型中的特征表示层而确定；
虚拟图像生成模块，配置为将所述真实特征向量输入图像生成网络，所述图像生成...

【专利技术属性】
技术研发人员：赵凯，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33