一种基于双重标签分布的轻量化人脸美学预测方法技术

本发明专利技术提供了一种基于双重标签分布的轻量化人脸美学预测方法，包括：获取人脸图片，对每张人脸图片进行预处理，将预处理后的人脸图片划分为训练集和测试集；对训练集中的每张人脸图片构建其对应的双重标签分布；所述双重标签分布包括吸引力分布和评分分布；将训练集中的人脸图片和其所对应的吸引力分布输入至轻量化卷积神经网络中，通过联合学习模块进行优化训练，得到优化后的人脸美学预测网络模型；将需要预测的人脸图片输入至优化后的人脸美学预测网络模型中，输出预测的吸引力分布，根据预测的吸引力分布得到预测的人脸图片的美丽分数。该方法提出了双重标签分布，同时进行轻量化设计，使预测性能优越、预测效率和速度都大幅提升。都大幅提升。都大幅提升。

【技术实现步骤摘要】
一种基于双重标签分布的轻量化人脸美学预测方法


[0001]本专利技术涉及计算机视觉与图像处理
，特别地，涉及一种基于双重标签分布的轻量化人脸美学预测方法。

技术介绍

[0002]美丽一直为人们津津乐道的话题，然而如何评价一张人脸图像的美丽程度是一个抽象的问题。评价人脸的美丽程度很有可能受到主观因素的影响，不同的人有不同的评价标准，现有人研究通过计算机对人脸美丽进行较为客观的评价，人脸美丽评价可以广泛地应用在日常生活中，如在社交网络中让计算机为好友进行美丽评价并分享。
[0003]但是，现有的研究绝大部分采用了规模庞大的神经网络结构，例如：VGG、ResNet、 ResNeXt系列等，忽略了轻量化设计。现有方法获得的预测模型虽然预测性能良好，但存在规模庞大、预测效率低下等诸多缺点，导致模型的适用范围十分有限，难以用于手机、嵌入式设备等资源有限的终端，在落地应用方面存在诸多约束与不便。同时，大部分研究将人脸美学预测视作简单分类或回归问题，没有充分利用数据集提供的各类信息。具体而言，在建模过程中，大部分方法只利用了数据集的分数标签作为监督信息，而忽略了分数的标准差和评分分布等信息，造成信息浪费，且预测不够准确，性能存在提升空间。
[0004]因此，业内急需用于人脸美学预测的方法的新型技术。

技术实现思路

[0005]针对上述现有技术中存在的技术问题，本专利技术提供了一种基于双重标签分布的轻量化人脸美学预测方法，该方法提出了双重标签分布，同时进行轻量化设计，使预测性能优越，在主流数据集上达到目前最好的预测性能，同时大幅提升预测效率和速度。
[0006]为实现上述目的，本专利技术提供了一种基于双重标签分布的轻量化人脸美学预测方法，包括以下步骤：
[0007]获取人脸图片，对每张人脸图片进行预处理，将预处理后的人脸图片划分为训练集和测试集；
[0008]对训练集中的每张人脸图片构建每张人脸图片对应的双重标签分布；所述双重标签分布包括吸引力分布和评分分布；
[0009]将训练集中的人脸图片和训练集中人脸图片所对应的吸引力分布输入至轻量化卷积神经网络中，通过联合学习模块进行优化训练，得到优化后的人脸美学预测网络模型；其中，所述联合学习模块包括吸引力分布学习模块、评分分布学习模块以及美丽分数回归学习模块；
[0010]将训练集中的人脸图片所对应的吸引力分布输入至所述吸引力分布学习模块，输出预估吸引力分布；通过训练集中人脸图片所对应的吸引力分布与输出的预估吸引力分布，得到吸引力分布损失函数；
[0011]将所述预估吸引力分布输入至所述评分分布学习模块，输出预估评分分布，通过
训练集中人脸图片所对应的评分分布和预估评分分布，得到评分分布损失函数；
[0012]将训练集中的人脸图片所对应的预估吸引力分布输入至美丽分数回归学习模块，输出预测的美丽分数，通过训练集中人脸图片所对应的真实美丽分数与预测的美丽分数，得到美丽分数回归损失函数；
[0013]根据所述吸引力分布损失函数、评分分布损失函数和美丽分数回归损失函数构建联合损失函数；通过最小化联合损失函数，得到优化后的人脸美学预测网络模型；
[0014]将测试集中需要预测的人脸图片输入至优化后的人脸美学预测网络模型中，输出预测的吸引力分布，根据预测的吸引力分布得到预测的人脸图片的美丽分数。
[0015]进一步的，获取人脸图片，对每张人脸图片进行预处理，包括：
[0016]先将获取的人脸图片缩放为256
×
256，然后再中心裁切至224
×
224，对人脸图片进行 RGB通道的归一化，即得预处理后的人脸图片。
[0017]进一步的，将训练集中的人脸图片和训练集中人脸图片所对应的吸引力分布输入至轻量化卷积神经网络之前，人脸图片还进行了概率为0.5的随机水平反转的数据增广。
[0018]进一步的，所述吸引力分布为每张人脸图片的真实美丽分数在其对应分数区间上的概率值，用向量p表示，p的第j个元素由下式得到
[0019]s
k
＝y
min
+k
·
Δl
[0020]p
j
＝F(s
j+1
|μ，b)
‑
F(s
j
|μ，b)
[0021]其中，p
j
代表人脸图片的真实美丽分数在区间[s
j
，s
j+1
]上的概率，s
k
∈ [y
min
，y
max
]，y
min
和y
max
分别为图片评分等级的最小值和最大值；Δl为区间长度，s
k
与s
j
的含义相同，均为区间端点，F(x|μ，b)为拉普拉斯分布的概率分布函数，x为函数的自变量，μ和b分别为拉普拉斯分布的位置参数和尺度参数；人脸图片的均值和标准差分别记作y和σ，则拉普拉斯分布的参数设置为μ＝y和
[0022]进一步的，所述评分分布为每张人脸图片获得不同评分等级的频数，使用向量r表示；并对向量r进行L1归一化操作，使∑
m
r
m
＝1，其中：m为向量r元素的下标，表示相应的评分等级。
[0023]进一步的，所述吸引力分布损失函数L
ad
表示为：
[0024][0025]其中，n表示训练集样本的数量，p
(i)
和分别为训练集样本中第i个样本的吸引力分布和预估吸引力分布。
[0026]进一步的，所述评分分布损失函数L
rd
表示为：
[0027][0028]其中，n表示训练集样本的数量，r
(i)
和分别为训练集样本中第i个样本的评分分布和预估评分分布。
[0029]进一步的，所述美丽分数回归损失函数L
score
表示为：
[0030][0031]其中，n表示训练集样本的数量，y
(i)
和分别为训练集样本中第i个样本的真实美丽分数和预测美丽分数。
[0032]进一步的，所述联合损失函数L表示为：
[0033]L＝λ1L
ad
+λ2L
rd
+λ3L
score
[0034]其中，L
ad
、L
rd
和L
score
分别为吸引力分布损失函数、评分分布损失函数和美丽分数回归损失函数，λ1、λ2和λ3是平衡L
ad
、L
rd
和L
score
三者的权重。
[0035]进一步的，将测试集中的需要预测的人脸图片输入至训练好的人脸美学预测网络模型中，输出预测的吸引力分布根据预测的吸引力分布得到预测的人脸图片的美丽分数
[0036]预测的人脸图片的美丽本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双重标签分布的轻量化人脸美学预测方法，其特征在于，包括以下步骤：获取人脸图片，对每张人脸图片进行预处理，将预处理后的人脸图片划分为训练集和测试集；对训练集中的每张人脸图片构建每张人脸图片对应的双重标签分布；所述双重标签分布包括吸引力分布和评分分布；将训练集中的人脸图片和训练集中人脸图片所对应的吸引力分布输入至轻量化卷积神经网络中，通过联合学习模块进行优化训练，得到优化后的人脸美学预测网络模型；其中，所述联合学习模块包括吸引力分布学习模块、评分分布学习模块以及美丽分数回归学习模块；将训练集中的人脸图片所对应的吸引力分布输入至所述吸引力分布学习模块，输出预估吸引力分布；通过训练集中人脸图片所对应的吸引力分布与输出的预估吸引力分布，得到吸引力分布损失函数；将所述预估吸引力分布输入至所述评分分布学习模块，输出预估评分分布，通过训练集中人脸图片所对应的评分分布和预估评分分布，得到评分分布损失函数；将训练集中的人脸图片所对应的预估吸引力分布输入至美丽分数回归学习模块，输出预测的美丽分数，通过训练集中人脸图片所对应的真实美丽分数与预测的美丽分数，得到美丽分数回归损失函数；根据所述吸引力分布损失函数、评分分布损失函数和美丽分数回归损失函数构建联合损失函数；通过最小化联合损失函数，得到优化后的人脸美学预测网络模型；将测试集中需要预测的人脸图片输入至优化后的人脸美学预测网络模型中，输出预测的吸引力分布，根据预测的吸引力分布得到预测的人脸图片的美丽分数。2.根据权利要求1所述的一种基于双重标签分布的轻量化人脸美学预测方法，其特征在于，获取人脸图片，对每张人脸图片进行预处理，包括：先将获取的人脸图片缩放为256
×
256，然后再中心裁切至224
×
224，对人脸图片进行RGB通道的归一化，即得预处理后的人脸图片。3.根据权利要求1所述的一种基于双重标签分布的轻量化人脸美学预测方法，其特征在于，将训练集中的人脸图片和训练集中人脸图片所对应的吸引力分布输入至轻量化卷积神经网络之前，人脸图片还进行了概率为0.5的随机水平反转的数据增广。4.根据权利要求1所述的一种基于双重标签分布的轻量化人脸美学预测方法，其特征在于，所述吸引力分布为每张人脸图片的真实美丽分数在其对应分数区间上的概率值，用向量p表示，p的第j个元素由下式得到s
k
＝y
min
+k
·
Δlp
j
＝F(s
j+1
|μ,b)
‑
F(s
j
|μ,b)其中，p
j
代表人脸图片的真实美丽分数在区间[s
j
,s
j+1
]上的概率，s
k
∈[y
min
,y
max
],y
min
和y
max
...

【专利技术属性】
技术研发人员：刘姝，黄恩泉，许焱，王科选，
申请(专利权)人：中南大学，
类型：发明
国别省市：