基于多任务迁移的人脸美丽预测方法及装置制造方法及图纸

本发明专利技术公开了基于多任务迁移的人脸美丽预测方法及装置，实施了以下步骤，包括对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合；基于最佳组合构建包含特征共享层的人脸美丽预测模型；将特征参数迁移至特征共享层；预训练人脸美丽预测模型；以及输入待测人脸图像至训练好的所述人脸美丽预测模型进行识别，达到了减少了深度学习任务的冗余度，减轻了网络训练的负担，提升网络分类识别的效率和精度的效果。

Face beauty prediction method and device based on multi task migration

【技术实现步骤摘要】
基于多任务迁移的人脸美丽预测方法及装置
本专利技术涉及图像处理领域，特别是基于多任务迁移的人脸美丽预测方法及装置。
技术介绍
人脸美丽预测技术在拍照领域得到广泛的应用。同时，随着深度学习技术的发展，将深度学习技术应用到人脸美丽预测技术上使人脸美预测结果更精确，更符合人们的认知。但单任务学习忽略了任务之间的关联，而多任务学习又使不必要的组合添加至深度学习网络中，增加了深度学习任务的冗余度，也加重了网络训练的负担，严重影响到分类识别的效率。
技术实现思路
本专利技术的目的在于至少解决现有技术中存在的技术问题之一，提供基于多任务迁移的人脸美丽预测方法及装置，通过相似性度量减少计算量。本专利技术解决其问题所采用的技术方案是：本专利技术的第一方面，基于多任务迁移的人脸美丽预测方法，包括以下步骤：对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合，其中多个所述任务包括为人脸美丽预测的主任务以及若干个对人脸美丽因素识别的辅助任务；基于所述最佳组合构建人脸美丽预测模型，其中所述人脸美丽预测模型包括用于提取多个所述任务的共享图像特征的特征共享层；将现有的大型人脸图像网络的特征参数迁移至所述人脸美丽预测模型的特征共享层；输入训练用人脸图像对所述人脸美丽预测模型预训练；输入待测人脸图像至训练好的所述人脸美丽预测模型，得到人脸识别结果。根据本专利技术的第一方面，所述对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合包括以下步骤：对多个所述任务的每个任务分别构建特定网络并进行训练得到每个任务的特征表达Es(I)；对多个所述特定网络的顶点和路径进行匹配以构建多个所述任务间的迁移网络；度量多个所述任务间的任务紧密度，所述任务紧密度的计算方式为：式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；计算多个所述任务间的关联矩阵，所述关联矩阵中的每个元素为构建一个有向无环图结构，将每个任务作为图结构的节点，将关联矩阵作为图结构的监督值，通过最小化监督预算来寻求最优的路径，得到多个所述任务间的最佳组合。根据本专利技术的第一方面，所述人脸美丽预测模型还包括用于预处理训练用人脸图像和待测人脸图像的预处理层，用于提取多个所述任务的独立特征的独立特征提取层，用于融合独立特征和与每个任务对应的几何特征、纹理特征的特征融合层，以及分类层。根据本专利技术的第一方面，所述特征共享层根据所述最佳组合配置基础参数；在将所述特征参数迁移至所述特征共享层的步骤中，对比所述特征参数与所述基础参数，对与所述基础参数对应的特征参数进行迁移。根据本专利技术的第一方面，所述辅助任务包括表情识别、性别识别和年龄识别，所述人脸识别结果包括与所述主任务对应的人脸美丽预测结果以及与所述辅助任务对应的表情识别结果、性别识别结果和年龄识别结果。上述基于多任务迁移的人脸美丽预测方法至少具有以下有益效果：对多个任务进行基于图结构的相似性度量，寻找多个任务间的联系，得到多个任务间的最佳组合，将最佳组合结合到人脸美丽预测模型中，减少了深度学习任务的冗余度，减轻了网络训练的负担，提升网络分类识别的效率和精度；利用现有人脸图像网络的特征参数，将参数迁移学习，进一步降低网络训练的成本。本专利技术的第二方面，基于多任务迁移的人脸美丽预测装置，包括：相似性度量模块，用于对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合，其中多个所述任务包括为人脸美丽预测的主任务以及若干个对人脸美丽因素识别的辅助任务；模型构建模块，用于基于所述最佳组合构建人脸美丽预测模型，其中所述人脸美丽预测模型包括用于提取多个所述任务的共享图像特征的特征共享层；特征参数迁移模块，用于将现有的大型人脸图像网络的特征参数迁移至所述人脸美丽预测模型的特征共享层；预训练模块，用于输入训练用人脸图像对所述人脸美丽预测模型预训练；结果获取模块，用于输入待测人脸图像至训练好的所述人脸美丽预测模型，得到人脸识别结果。根据本专利技术的第二方面，所述相似性度量模块包括：特征表达获取模块，用于对多个所述任务的每个任务分别构建特定网络并进行训练得到每个任务的特征表达Es(I)；迁移网络构建模块，用于对多个所述特定网络的顶点和路径进行匹配以构建多个所述任务间的迁移网络；紧密度度量模块，用于度量多个所述任务间的任务紧密度，其中所述任务紧密度的计算方式为：式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；关联性处理模块，用于计算多个所述任务间的关联矩阵，所述关联矩阵中的每个元素为图结构构建模块，用于构建一个有向无环图结构，将每个任务作为图结构的节点，将关联矩阵作为图结构的监督值，通过最小化监督预算来寻求最优的路径，得到多个所述任务间的最佳组合。根据本专利技术的第二方面，所述人脸美丽预测模型还包括用于预处理训练用人脸图像和待测人脸图像的预处理层，用于提取多个所述任务的独立特征的独立特征提取层，用于融合独立特征和与每个任务对应的几何特征、纹理特征的特征融合层，以及分类层。根据本专利技术的第二方面，所述特征共享层包括参数配置器，所述参数配置器用于根据所述最佳组合配置基础参数；所述特征参数迁移模块包括匹配模块，所述匹配模块用于对比所述特征参数与所述基础参数并对与所述基础参数对应的特征参数进行迁移。根据本专利技术的第二方面，所述辅助任务包括表情识别、性别识别和年龄识别，所述人脸识别结果包括与所述主任务对应的人脸美丽预测结果以及与所述辅助任务对应的表情识别结果、性别识别结果和年龄识别结果。上述基于多任务迁移的人脸美丽预测装置至少具有以下有益效果：对多个任务进行基于图结构的相似性度量，寻找多个任务间的联系，得到多个任务间的最佳组合，将最佳组合结合到人脸美丽预测模型中，减少了深度学习任务的冗余度，减轻了网络训练的负担，提升网络分类识别的效率和精度；利用现有人脸图像网络的特征参数，将参数迁移学习，进一步降低网络训练的成本。附图说明下面结合附图和实例对本专利技术作进一步说明。图1是本专利技术实施例基于多任务迁移的人脸美丽预测方法的步骤图；图2是步骤S100的具体步骤图；图3是人脸美丽预测模型的网络结构图；图4是本专利技术实施例基于多任务迁移的人脸美丽预测装置的结构。具体实施方式本部分将详细描述本专利技术的具体实施例，本专利技术之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本专利技术的每个技术特征和整体技术方案，但其不能理解为对本专利技术保护范围的限制。本专利技术的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属
技术人员可以结合技术方案的具体内容合理确定上述词语在本专利技术中的具体含义。参照本文档来自技高网...

【技术保护点】
1.基于多任务迁移的人脸美丽预测方法，其特征在于，包括以下步骤：/n对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合，其中多个所述任务包括为人脸美丽预测的主任务以及若干个对人脸美丽因素识别的辅助任务；/n基于所述最佳组合构建人脸美丽预测模型，其中所述人脸美丽预测模型包括用于提取多个所述任务的共享图像特征的特征共享层；/n将现有的大型人脸图像网络的特征参数迁移至所述人脸美丽预测模型的特征共享层；/n输入训练用人脸图像对所述人脸美丽预测模型预训练；/n输入待测人脸图像至训练好的所述人脸美丽预测模型，得到人脸识别结果。/n

【技术特征摘要】
1.基于多任务迁移的人脸美丽预测方法，其特征在于，包括以下步骤：
对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合，其中多个所述任务包括为人脸美丽预测的主任务以及若干个对人脸美丽因素识别的辅助任务；
基于所述最佳组合构建人脸美丽预测模型，其中所述人脸美丽预测模型包括用于提取多个所述任务的共享图像特征的特征共享层；
将现有的大型人脸图像网络的特征参数迁移至所述人脸美丽预测模型的特征共享层；
输入训练用人脸图像对所述人脸美丽预测模型预训练；
输入待测人脸图像至训练好的所述人脸美丽预测模型，得到人脸识别结果。


2.根据权利要求1所述的基于多任务迁移的人脸美丽预测方法，其特征在于，所述对多个任务进行基于图结构的相似性度量，得到多个所述任务间的最佳组合包括以下步骤：
对多个所述任务的每个任务分别构建特定网络并进行训练得到每个任务的特征表达Es(I)；
对多个所述特定网络的顶点和路径进行匹配以构建多个所述任务间的迁移网络；
度量多个所述任务间的任务紧密度，所述任务紧密度的计算方式为：式中I是输入，D是数据集，ft(I)是第t个输入I的真实值，Lt是真实值与预测值之间的损失，EIeD表示期望值；
计算多个所述任务间的关联矩阵，所述关联矩阵中的每个元素为
构建一个有向无环图结构，将每个任务作为图结构的节点，将所述关联矩阵作为图结构的监督值，通过最小化监督预算来寻求最优的路径，得到多个所述任务间的最佳组合。


3.根据权利要求2所述的基于多任务迁移的人脸美丽预测方法，其特征在于，所述人脸美丽预测模型还包括用于预处理训练用人脸图像和待测人脸图像的预处理层，用于提取多个所述任务的独立特征的独立特征提取层，用于融合独立特征和与每个任务对应的几何特征、纹理特征的特征融合层，以及分类层。


4.根据权利要求3所述的基于多任务迁移的人脸美丽预测方法，其特征在于，所述特征共享层根据所述最佳组合配置基础参数；在将所述特征参数迁移至所述特征共享层的步骤中，对比所述特征参数与所述基础参数，对与所述基础参数对应的特征参数进行迁移。


5.根据权利要求1-4任一项所述的基于多任务迁移的人脸美丽预测方法，其特征在于，所述辅助任务包括表情识别、性别识别和年龄识别，所述人脸识别结果包括与所述主任务对应的人脸美丽预测结果以及与所述辅助任务对应的表情识别结果、性别识别结果和年龄识别结果。


6.基于多任务迁移的人脸美丽预测装置，其特征在于，包括：
相似性度量模块，...

【专利技术属性】
技术研发人员：甘俊英，项俐，翟懿奎，麦超云，曾军英，应自炉，
申请(专利权)人：五邑大学，
类型：发明
国别省市：广东;44