The invention provides a face beauty prediction method based on multi-scale depth, which comprises the following steps: constructing a multi-scale CNN model, inputting the pre-processed face image into the CNN model for pre-training, obtaining the pre-trained CNN model for face beauty prediction, and inputting the processed face beauty image into the pre-training. The CNN model of face beauty prediction is retrained, the unified deep-level feature expression of face image is extracted, and the trained final face beauty prediction CNN model is obtained. The test face image is input into the final trained CNN model of face beauty prediction, and the face beauty prediction is carried out. The multi-scale CNN model is adopted in the invention. The model can be pre-trained by facial image, and then fine-tuned by facial image. By clipping the facial image into multiple scales for feature learning, the accuracy of facial beauty prediction can be improved.
【技术实现步骤摘要】
一种基于多尺度深度的人脸美丽预测方法
本专利技术涉及一种计算机视觉与图像处理领域,尤其是一种基于多尺度深度的人脸美丽预测方法。
技术介绍
美丽一直为人们津津乐道的话题,然而如何评价一张人脸图像的美丽程度是一个抽象的问题。评价人脸的美丽程度很有可能受到主观因素的影响,不同人,不同种族都有不同的评价标准,现有人研究通过计算机对人脸美丽进行较为客观的评价,人脸美丽评价可以广泛地应用在日常生活中,如在社交网络中让计算机为好友进行美丽评价并分享,基于几何特征的人脸美丽预测方法是人脸美丽研究的热点,研究者在人脸图像上提取许多有意义的特征点,计算感兴趣特征点之间的几何距离以及由这些距离所构成的比率矢量,然后将几何距离和比率矢量作为特征进行机器学习,然而人脸平面图像单纯用几何特征进行描述会丢失诸如肌肉的起伏、五官部位的结构转折等表征人脸美丽的特征信息,而且人脸特征点的检测在训练阶段需由人工标注训练样本,但过多主观因素介入容易导致所获结果没有普适性,当待标注图像数目庞大时,标注工作量较大。
技术实现思路
针对现有技术的不足,本专利技术提供一种基于多尺度深度的人脸美丽预测方法,通过利用深度学习来提取人脸图像更具结构性和层次性的美学特征,提高对人脸美丽度预测的准确性。本专利技术的技术方案为:一种基于多尺度深度的人脸美丽预测方法,包括以下步骤:S1)、获取人脸图像、以及人脸美丽图像作为训练图像;S2)、对训练图像中的人脸图像、以及人脸美丽图像进行相同的预处理,得到预设大小的图像;S3)、构建多尺度的CNN模型,该所述的多尺度的CNN模型包括第一输入层、第二输入层、第三输入层,以及多个 ...
【技术保护点】
1.一种基于多尺度深度的人脸美丽预测方法,其特征在于,包括以下步骤:S1)、获取人脸图像、以及人脸美丽图像作为训练图像;S2)、对训练图像中的人脸图像、以及人脸美丽图像进行相同的预处理,得到预设大小的图像;S3)、构建多尺度的CNN模型,该所述的多尺度CNN模型包括第一输入层、第二输入层、第三输入层,以及多个BMC单元、多个池化层、下采样层、多个全连接层,其中,每个BMC由单元BN层、MFM激活层以及卷积层构成,第一输入层与第二输入层的输出端依次与BMC3、BMC4、池化层P2串联连接;第三输入层与池化层P2的输出端依次与BMC5、BMC6、池化层P3、BMC7、BMC8、BMC9、BMC10、池化层P4、全连接层Fc1、下采样层、全连接层Fc2串联连接,将第一输入层得到的美丽特征与第二输入层得到的美丽特征结合来,经过堆积的BMC3、BMC4、池化层P2与第三输入层提取的美丽特征结合起来,并经过多个BMC单元提取到更深层次的多尺度特征;S4)、将步骤S2)中预处理的人脸图像输入到CNN模型中进行预训练,提取人脸图像的深层泛化特征,得到预训练的人脸美丽预测CNN模型;S5)、然后将步骤S ...
【技术特征摘要】
1.一种基于多尺度深度的人脸美丽预测方法,其特征在于,包括以下步骤:S1)、获取人脸图像、以及人脸美丽图像作为训练图像;S2)、对训练图像中的人脸图像、以及人脸美丽图像进行相同的预处理,得到预设大小的图像;S3)、构建多尺度的CNN模型,该所述的多尺度CNN模型包括第一输入层、第二输入层、第三输入层,以及多个BMC单元、多个池化层、下采样层、多个全连接层,其中,每个BMC由单元BN层、MFM激活层以及卷积层构成,第一输入层与第二输入层的输出端依次与BMC3、BMC4、池化层P2串联连接;第三输入层与池化层P2的输出端依次与BMC5、BMC6、池化层P3、BMC7、BMC8、BMC9、BMC10、池化层P4、全连接层Fc1、下采样层、全连接层Fc2串联连接,将第一输入层得到的美丽特征与第二输入层得到的美丽特征结合来,经过堆积的BMC3、BMC4、池化层P2与第三输入层提取的美丽特征结合起来,并经过多个BMC单元提取到更深层次的多尺度特征;S4)、将步骤S2)中预处理的人脸图像输入到CNN模型中进行预训练,提取人脸图像的深层泛化特征,得到预训练的人脸美丽预测CNN模型;S5)、然后将步骤S2)中处理的人脸美丽图像输入到预训练的人脸美丽预测CNN模型中进行再训练,提取人脸图像的统一深层次特征表达,并计算人脸美丽预测的正确率,多次迭代直至正确率不再增加且在最大正确值附近波动时,减少学习速率继续训练,并且将训练图像通过模型,用全连接层参数计算损失误差,将计算得到的损失误差反向传播更新模型参数,得到训练好的最终人脸美丽预测CNN模型;S6)、将测试人脸图像输入到最终训练好的人脸美丽预测CNN模型中,进行人脸美丽预测,并输出预测结果。2.根据权利要求1所述的一种基于多尺度深度的人脸美丽预测方法,其特征在于:步骤S2)中,所述的图像预处理的步骤如下:利用Haar人脸检测器对训练图像进行快速人脸检测,得到人脸区域图像,然后利用基于SDM的关键点检测技术检测人脸区域图像中的人脸关键点,并找出代表眉毛、眼睛、嘴巴位置的关键点,通过关键点估算出人脸图像的Roll角度,再旋转图像来纠正Roll角度,其中,Roll角度θ为眉毛间斜角θb、眼睛间斜角θe和嘴巴斜角θm的平均值,即θ=mean(θb,θe,θm),通过Roll角度θ对图像进行仿射变换处理,得到人脸对齐图像,对经人脸对齐后的图像进行裁剪和缩放,将人脸对齐图像裁剪为一定大小。3.根据权利要求1所述的一种...
【专利技术属性】
技术研发人员:甘俊英,谭海英,姜开永,何国辉,翟懿奎,
申请(专利权)人:五邑大学,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。