人脸衰老图像的生成方法、模型训练方法、设备和介质技术

本发明专利技术公开了一种人脸衰老图像生成方法，该方法包括：学生生成模型仅通过计算已收敛的教师生成模型和学生生成模型之间的蒸馏损失来反向优化学生生成模型，无需单独训练学生生成模型，从而逐步模仿教师生成器生成衰老图像的过程，直到学生生成模型也收敛，预测阶段时，则只需调用更加轻量化的学生生成模型和风格编码便能预测不同年龄的衰老图像。相较于使用教师生成模型来生成衰老图像，由于学生生成模型的结构更为简单，使用学生生成模型能极大的减少所需使用的内存，为受限于设备性能的GAN模型的部署提供一种新的可能性。此外，还提出了人脸衰老图像的生成方法、设备和存储介质。设备和存储介质。设备和存储介质。

【技术实现步骤摘要】
人脸衰老图像的生成方法、模型训练方法、设备和介质


[0001]本专利技术涉及计算机视觉
，尤其是涉及人脸衰老图像的生成方法、模型训练方法、设备和介质。

技术介绍

[0002]一直以来，人脸衰老在计算机视觉领域都是比较热门的研究方向，其研究成果也可广泛应用于生活中。例如，在很多刑事案件中常需要寻找失踪人员，但又只能找到该失踪人员以前的照片。虽然医学领域认为，随着年龄的增长，个人的面部衰老变化取决于个体的心理状态以及衰老的生理机能。但在计算机视觉领域，通过计算机辅助可以提供以前的照片在特定年龄下的衰老面部图像，这样就能协助警方更好的掌握嫌疑人的外貌变化。
[0003]随着近几年来，对抗生成网络(GAN)应用的越来越广泛，同样也可被应用在人脸生成的领域，然后现在基于GAN模型去生成衰老图像需要较大的内存，对硬件性能的要求较高，导致在实际应用场景受到限制。

技术实现思路

[0004]基于此，有必要针对上述问题，提供人脸衰老图像的生成方法、模型训练方法、设备和介质，以解决现有GAN模型对硬件性能的要求较高的问题。
[0005]一种人脸衰老图像生成模型的训练方法，所述人脸衰老图像生成模型包括教师生成模型和学生生成模型，所述学生生成模型包括多个学生特征层，所述教师生成模型包括多个老师特征层和多个学生特征层，所述教师生成模型中的多个学生特征层的结构和数量与所述学生生成模型中的学生特征层的结构和数量相同，一个学生特征层用于输出一种特征尺度的中间特征图，所述方法包括：
[0006]获取训练数据集，所述训练数据集包括多个人脸训练图像，一个所述人脸训练图像对应一个真实年龄标签；
[0007]将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像，所述第一人脸图像为所述多个人脸训练图像中的任意一个，所述第一期望风格编码携带有所述第一期望年龄的风格编码特征；
[0008]根据所述第一期望衰老人脸图像的真实程度，调整所述教师生成模型的参数，以使所述教师生成模型生成的期望衰老人脸图像的真实程度增大，返回执行所述将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤；
[0009]当所述教师生成模型的参数经过预设次数的调整后，将第二人脸图像及第二期望风格编码输入教师生成模型，以得到所述教师生成模型中的多个学生特征层输出的第一中间特征图，和第二期望年龄的第二期望衰老人脸图像，将所述第二人脸图像及所述第二期望风格编码输入所述学生生成模型，以得到所述学生生成模型中的多个学生特征层输出的第二中间特征图，和所述第二期望年龄的第三期望衰老人脸图像，所述第二人脸图像为所
述多个人脸训练图像中的任意一个，所述第二期望风格编码携带有所述第二期望年龄的风格编码特征；
[0010]通过预设的蒸馏损失函数，根据所述第二期望衰老人脸图像、所述第三期望衰老人脸图像、所述第一中间特征图和所述第二中间特征图计算第二损失值，根据所述第二损失值调整所述学生生成模型的参数，返回执行所述将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤，直至所述学生生成模型收敛。
[0011]在其中一个实施例中，所述蒸馏损失函数为：
[0012][0013]L∈(64,128,256,512)
[0014]其中，表示所述第二损失值，n
L
表示第L大小的特征图的数量，W
iT
表示所述教师生成模型中第i张尺寸为L*L的中间特征图，W
is
表示所述学生生成模型中第i张尺寸为L*L中间特征图；I
GT
表示所述第二期望衰老人脸图像，I
GS
表示所述第三期望衰老人脸图像，SSIM为结构相似度。
[0015]在其中一个实施例中，所述教师生成模型的多个老师特征层中的至少一个为特征融合层；所述教师生成模型的多个学生特征层中的第i个学生特征层和所述学生生成模型的多个学生特征层中的第i个学生特征层为特征融合层，i为1至N中的至少一个，N等于所述多个学生特征层的数量；所述特征融合层包括自适应实例归一化模块；
[0016]所述将第二人脸图像及第二期望风格编码输入教师生成模型，以得到所述教师生成模型中的多个学生特征层输出的第一中间特征图，包括：
[0017]通过第一特征融合层内的第一自适应实例归一化模块，使第一待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第一特征融合层输出的中间特征图，所述第一特征融合层为所述教师生成模型中的任意一个特征融合层，所述第一待融合特征图为输入所述第一特征融合层的特征图；
[0018]所述将所述第二人脸图像及所述第二期望风格编码输入所述学生生成模型，以得到所述学生生成模型中的多个学生特征层输出的第二中间特征图，包括：
[0019]通过第二特征融合层内的第二自适应实例归一化模块，使第二待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第二特征融合层输出的中间特征图，所述第二特征融合层为所述学生师生成模型中的任意一个特征融合层，所述第二待融合特征图为输入所述第二特征融合层的特征图。
[0020]在其中一个实施例中，所述通过第一特征融合层内的第一自适应实例归一化模块，使第一待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第一特征融合层输出的中间特征图，包括：
[0021]对所述第二期望风格编码进行仿射变换，以得到第一平移因子和第一缩放因子；
[0022]对所述第一待融合特征图进行归一化处理，得到第一归一化特征图；
[0023]通过所述第一平移因子、所述第一缩放因子和预设的特征吸收公式对所述第一归
一化特征图进行平移变换和尺度变换，以得到所述第一特征融合层输出的中间特征图；
[0024]所述通过第一特征融合层内的第一自适应实例归一化模块，使第一待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第二特征融合层输出的中间特征图，包括：
[0025]对所述第二期望风格编码进行仿射变换，以得到第二平移因子和第二缩放因子；
[0026]对所述第二待融合特征图进行归一化处理，得到第二归一化特征图；
[0027]通过所述第二平移因子、所述第二缩放因子和预设的特征吸收公式对所述第二归一化特征图进行平移变换和尺度变换，以得到所述第二特征融合层输出的中间特征图。
[0028]在其中一个实施例中，所述仿射变换的计算公式为：
[0029]D＝S*A
T
+b
[0030]其中，S为期望风格编码，S*A
T
为缩放因子，b为平移因子；
[0031]所述特征吸收公式：
[0032]Y＝(1+D1)*y+D2[0033]其中，D1＝S*A
T
，D2＝b，y为归一化特征图，Y为融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸衰老图像生成模型的训练方法，其特征在于，所述人脸衰老图像生成模型包括教师生成模型和学生生成模型，所述学生生成模型包括多个学生特征层，所述教师生成模型包括多个老师特征层和多个学生特征层，所述教师生成模型中的多个学生特征层的结构和数量与所述学生生成模型中的学生特征层的结构和数量相同，一个学生特征层用于输出一种特征尺度的中间特征图，所述方法包括：获取训练数据集，所述训练数据集包括多个人脸训练图像，一个所述人脸训练图像对应一个真实年龄标签；将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像，所述第一人脸图像为所述多个人脸训练图像中的任意一个，所述第一期望风格编码携带有所述第一期望年龄的风格编码特征；根据所述第一期望衰老人脸图像的真实程度，调整所述教师生成模型的参数，以使所述教师生成模型生成的期望衰老人脸图像的真实程度增大，返回执行所述将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤；当所述教师生成模型的参数经过预设次数的调整后，将第二人脸图像及第二期望风格编码输入教师生成模型，以得到所述教师生成模型中多个学生特征层输出的第一中间特征图，和第二期望年龄的第二期望衰老人脸图像，将所述第二人脸图像及所述第二期望风格编码输入所述学生生成模型，以得到所述学生生成模型中的多个学生特征层输出的第二中间特征图，和所述第二期望年龄的第三期望衰老人脸图像，所述第二人脸图像为所述多个人脸训练图像中的任意一个，所述第二期望风格编码携带有所述第二期望年龄的风格编码特征；通过预设的蒸馏损失函数，根据所述第二期望衰老人脸图像、所述第三期望衰老人脸图像、所述第一中间特征图和所述第二中间特征图计算第二损失值；根据所述第二损失值调整所述学生生成模型的参数，返回执行所述将第一人脸图像及第一期望风格编码输入已经收敛的教师生成模型，以得到第一期望年龄的第一期望衰老人脸图像的步骤，直至所述学生生成模型收敛。2.根据权利要求1所述的方法，其特征在于，所述蒸馏损失函数为：L∈(64，128，256，512)其中，表示所述第二损失值，n
L
表示第L大小的特征图的数量，表示所述教师生成模型中第i张尺寸为L*L的中间特征图，表示所述学生生成模型中第i张尺寸为L*L中间特征图；I
GT
表示所述第二期望衰老人脸图像，I
GS
表示所述第三期望衰老人脸图像，SSIM为结构相似度。3.根据权利要求1所述的方法，其特征在于，所述教师生成模型的多个老师特征层中的至少一个为特征融合层；所述教师生成模型的多个学生特征层中的第i个学生特征层和所述学生生成模型的多个学生特征层中的第i个学生特征层为特征融合层，i为1至N中的至少
一个，N等于所述多个学生特征层的数量；所述特征融合层包括自适应实例归一化模块；所述将第二人脸图像及第二期望风格编码输入教师生成模型，以得到所述教师生成模型中的多个学生特征层输出的第一中间特征图，包括：通过第一特征融合层内的第一自适应实例归一化模块，使第一待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第一特征融合层输出的中间特征图，所述第一特征融合层为所述教师生成模型中的任意一个特征融合层，所述第一待融合特征图为输入所述第一特征融合层的特征图；所述将所述第二人脸图像及所述第二期望风格编码输入所述学生生成模型，以得到所述学生生成模型中的多个学生特征层输出的第二中间特征图，包括：通过第二特征融合层内的第二自适应实例归一化模块，使第二待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第二特征融合层输出的中间特征图，所述第二特征融合层为所述学生师生成模型中的任意一个特征融合层，所述第二待融合特征图为输入所述第二特征融合层的特征图。4.根据权利要求3所述的方法，其特征在于，所述通过第一特征融合层内的第一自适应实例归一化模块，使第一待融合特征图吸收所述第二期望风格编码的风格编码特征，以得到所述第一特征融合层输出的中间特征图，包括：对所述第二期望风格编码进行仿射变换，以得到第一平移因子和第一缩放因子；对所述第一待融合特征图进行归一化处理，得到第一归一化特征...

【专利技术属性】
技术研发人员：陈仿雄，
申请(专利权)人：深圳数联天下智能科技有限公司，
类型：发明
国别省市：