基于对抗迁移学习的人脸美丽预测方法及装置制造方法及图纸

本发明专利技术公开了基于对抗迁移学习的人脸美丽预测方法及装置，实施了以下步骤，包括通过相似性度度量从多个识别人脸因素的辅任务中筛选相关性最高的，并以此构建第一人脸美丽预测模型；将对抗网络预训练后形成的通用特征参数迁移至第二人脸美丽预测模型；输入待测人脸图像实现识别。减少预训练的训练成本，减少存在不相关因素的辅任务带来负迁移；通过对抗迁移学习减少第二人脸美丽预测模型再训练的计算量，达到利用更少的训练图像获得更精准的模型的效果。

Face beauty prediction method and device based on anti migration learning

【技术实现步骤摘要】
基于对抗迁移学习的人脸美丽预测方法及装置
本专利技术涉及图像处理领域，特别是基于对抗迁移学习的人脸美丽预测方法及装置。
技术介绍
人脸美丽预测技术在拍照领域得到广泛的应用。同时，随着深度学习技术的发展，将深度学习技术应用到人脸美丽预测技术上使人脸美预测结果更精确，更符合人们的认知。但单任务学习忽略了任务之间的关联，而多任务学习又使不必要的组合添加至深度学习网络中，增加了深度学习任务的冗余度，也加重了网络训练的负担，严重影响到分类识别的效率。
技术实现思路
本专利技术的目的在于至少解决现有技术中存在的技术问题之一，提供基于多任务迁移的人脸美丽预测方法及装置，通过相似性度量减少计算量。本专利技术解决其问题所采用的技术方案是：本专利技术的第一方面，基于对抗迁移学习的人脸美丽预测方法，包括以下步骤：度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务，其中主任务为人脸美丽预测任务，辅任务为识别人脸美丽因素的任务，N>A；建立对应A个相似度最高的辅任务的A个第一人脸美丽预测模型以及建立用于人脸美丽预测的第二人脸美丽预测模型；将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型；输入待测人脸图像至再训练好的第二人脸美丽预测模型输出人脸美丽预测结果。根据本专利技术的第一方面，所述度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务包括以下步骤：对N个辅任务与主任务分别构建全监督的特定网络并进行训练得到每个任务的特征表达Es(I)；构建N个辅任务与主任务间的迁移网络，并度量N个辅任务与主任务间的任务紧密度，所述任务紧密度的计算方式为：式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；通过层次分析法对迁移网络的损失归一化处理得到关联矩阵；对关联矩阵作最优化处理以得到A个相似性最高的辅任务。根据本专利技术的第一方面，所述第一人脸美丽预测模型包括依次连接的用于预处理人脸图像的第一预处理层，用于提取共享图像特征的第一特征共享层，用于从共享图像特征中提取独立特征的第一独立特征提取层，以及第一分类层；所述第二人脸美丽预测模型包括依次连接的第二预处理层，第二特征共享层，第二独立特征提取层，用于融合独立特征和对应人脸美丽预测任务的几何特征、纹理特征的特征融合层，以及第二分类层。根据本专利技术的第一方面，所述将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型具体包括以下步骤：提取步骤：提取对应输入第一人脸美丽预测模型的人脸图像的源特征和对应输入第二人脸美丽预测模型的人脸图像的目标特征映射步骤：将源特征映射到目标特征空间，得到伪目标特征区分步骤：区分目标特征和伪目标特征的来源并通过损失函数计算误差；优化步骤：利用正则化项测量源特征和伪目标特征之间的距离后结合所述误差优化源特征至目标特征空间的映射；重复映射步骤、区分步骤和优化步骤直至源域与目标域两者域适应以得到通用特征参数；迁移步骤：将所述通用特征参数迁移至所述第二人脸美丽预测模型。根据本专利技术的第一方面，所述特征融合层融合几何特征、纹理特征和独立特征的融合方式为求和，计算方式为Ffusion＝[FCNN，G，H]，式中，Ffusion为融合特征，FCNN为独立特征，G为几何特征，H为纹理特征。上述基于对抗迁移学习的人脸美丽预测方法至少具有以下的有益效果：通过相似性度度量从多个识别人脸因素的辅任务中找到相关性最高的，并以此构建第一人脸美丽预测模型进行预训练；减少预训练的训练成本，减少存在不相关因素的辅任务对第一人脸美丽预测模型造成的偏差，避免带来负迁移。将对抗网络预训练后形成的通用特征参数迁移至第二人脸美丽预测模型实现最终的人脸美丽预测，通过对抗迁移学习减少第二人脸美丽预测模型训练的计算量，压缩训练时间，达到利用更少的训练图像获得更精准的模型的效果。本专利技术的第二方面，基于对抗迁移学习的人脸美丽预测装置，包括：相似性度量模块，用于度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务，其中主任务为人脸美丽预测任务，辅任务为识别人脸美丽因素的任务，N＞A；第一模型建立模块，用于建立对应A个相似度最高的辅任务的A个第一人脸美丽预测模型；第二模型建立模块，用于建立用于人脸美丽预测的第二人脸美丽预测模型；参数迁移模块，用于将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型；测算模块，用于输入待测人脸图像至再训练好的第二人脸美丽预测模型输出人脸美丽预测结果。根据本专利技术的第二方面，所述相似性度量模块包括：特征表达获取模块，用于对N个辅任务与主任务分别构建全监督的特定网络并进行训练得到每个任务的特征表达Es(I)；紧密度度量模块，用于构建N个辅任务与主任务间的迁移网络，并度量N个辅任务与主任务间的任务紧密度，所述任务紧密度的计算方式为：式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；归一化处理模块，用于通过层次分析法对迁移网络的损失归一化处理得到关联矩阵；最优化处理模块，用于对关联矩阵作最优化处理以得到A个相似性最高的辅任务。根据本专利技术的第二方面，所述第一人脸美丽预测模型包括依次连接的用于预处理人脸图像的第一预处理层，用于提取共享图像特征的第一特征共享层，用于从共享图像特征中提取独立特征的第一独立特征提取层，以及第一分类层；所述第二人脸美丽预测模型包括依次连接的第二预处理层，第二特征共享层，第二独立特征提取层，用于融合独立特征和对应人脸美丽预测任务的几何特征、纹理特征的特征融合层，以及第二分类层。根据本专利技术的第二方面，所述参数迁移模块包括：第一提取模块，用于提取对应输入第一人脸美丽预测模型的人脸图像的源特征第二提取模块，用于提取对应输入第二人脸美丽预测模型的人脸图像的目标特征映射模块，用于将源特征映射到目标特征空间，得到伪目标特征区分模块，用于区分目标特征和伪目标特征的来源并通过损失函数计算误差；优化模块，用于利用正则化项测量源特征和伪目标特征之间的距离后结合所述误差优化源特征至目标特征空间的映射；参数获取模块，用于当源域与目标域两者域适应时，获取通用特征参数；迁移子模块，用于将所述通用特征参数迁移至所述第二人脸美丽预测模型。根据本专利技术的第二方面，所述特征融合层对几何特征、纹理特征和独立特征的融合的计算方式为F本文档来自技高网...

【技术保护点】
1.基于对抗迁移学习的人脸美丽预测方法，其特征在于，包括以下步骤：/n度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务，其中主任务为人脸美丽预测任务，辅任务为识别人脸美丽因素的任务，N>A；/n建立对应A个相似度最高的辅任务的A个第一人脸美丽预测模型以及建立用于人脸美丽预测的第二人脸美丽预测模型；/n将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型；/n输入待测人脸图像至训练好的第二人脸美丽预测模型输出人脸美丽预测结果。/n

【技术特征摘要】
1.基于对抗迁移学习的人脸美丽预测方法，其特征在于，包括以下步骤：
度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务，其中主任务为人脸美丽预测任务，辅任务为识别人脸美丽因素的任务，N>A；
建立对应A个相似度最高的辅任务的A个第一人脸美丽预测模型以及建立用于人脸美丽预测的第二人脸美丽预测模型；
将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型；
输入待测人脸图像至训练好的第二人脸美丽预测模型输出人脸美丽预测结果。


2.根据权利要求1所述的基于对抗迁移学习的人脸美丽预测方法，其特征在于，所述度量N个辅任务与主任务间的相似性，得到A个相似性最高的辅任务包括以下步骤：
对N个辅任务与主任务分别构建全监督的特定网络并进行训练得到每个任务的特征表达Es(I)；
构建N个辅任务与主任务间的迁移网络，并度量N个辅任务与主任务间的任务紧密度，所述任务紧密度的计算方式为：

式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
通过层次分析法对迁移网络的损失归一化处理得到关联矩阵；
对关联矩阵作最优化处理以得到A个相似性最高的辅任务。


3.根据权利要求1或2所述的基于对抗迁移学习的人脸美丽预测方法，其特征在于，所述第一人脸美丽预测模型包括依次连接的用于预处理人脸图像的第一预处理层，用于提取共享图像特征的第一特征共享层，用于从共享图像特征中提取独立特征的第一独立特征提取层，以及第一分类层；所述第二人脸美丽预测模型包括依次连接的第二预处理层，第二特征共享层，第二独立特征提取层，用于融合独立特征和对应人脸美丽预测任务的几何特征、纹理特征的特征融合层，以及第二分类层。


4.根据权利要求3所述的基于对抗迁移学习的人脸美丽预测方法，其特征在于，所述将A个所述第一人脸美丽预测模型作为源域和所述第二人脸美丽预测模型作为目标域通过对抗网络预训练以寻找源域相对目标域的通用特征参数，将所述通用特征参数迁移至所述第二人脸美丽预测模型具体包括以下步骤：
提取步骤：提取对应输入第一人脸美丽预测模型的人脸图像的源特征和对应输入第二人脸美丽预测模型的人脸图像的目标特征
映射步骤：将源特征映射到目标特征空间，得到伪目标特征
区分步骤：区分目标特征和伪目标特征的来源并通过损失函数计算误差；
优化步骤：利用正则化项测量源特征和伪目标特征之间的距离后结合所述误差优化源特征至目标特征空间的映射；
重复映射步骤、区分步骤和优化步骤直至源域与目标域两者域适应以得到通用特征参数；
迁移步骤：将所述通用特征参数迁移至所述第二人脸美丽预测模型。


5.根据权利要求4所述的基于对抗迁移学习的人脸美丽预测方法，其特征在于，所述特征融合层融合几何特征、纹理特征和独立特征的融合方式为求和，计算方式为Ffusion＝[FCNN，G，H]，式中，Ffusion为融合特征，FCNN为独立特征，G为几何特征，H为纹...

【专利技术属性】
技术研发人员：翟懿奎，项俐，甘俊英，麦超云，曾军英，应自炉，
申请(专利权)人：五邑大学，
类型：发明
国别省市：广东;44