基于生物启发和深度属性学习相结合的人脸美感预测方法技术

基于生物启发和深度属性学习相结合的人脸美感预测方法，涉及一种人脸美感预测方法。首先通过眼动仪获取用户观察人脸图像时的眼动信息，进而提取出人观看人脸时的审美空间区域，通过聚类将审美空间区域划分为若干特征空间，然后通过监督学习和卷积神经网络方法训练出人脸美感检测器，训练出的人脸美感检测器对于一张正面的人脸图像，预处理后能够得到人脸图像的美感等级。通过收集图像的中层属性特征信息提取了用户观察图像时的审美空间区域，通过得到的人脸美感模型充分验证了决定人脸美感的审美特征区域，并且相对于其他人脸美感评价方法在准确率方面有了很大的提升。

【技术实现步骤摘要】
基于生物启发和深度属性学习相结合的人脸美感预测方法
本专利技术涉及一种人脸美感预测方法，特别是涉及一种基于生物启发和深度属性学习相结合的人脸美感预测方法。
技术介绍
在当前人脸相关应用中，人脸美感预测受到了越来越多人的关注，在客户端和移动端也得到了相关的应用，例如在用户进行人脸拍照时，实时返回一个当前人脸的美感分数，帮助人们找出理想的拍照角度。但目前人脸美感技术中最关键的挑战在于提取具有判别性和感知能力的特征来区分人脸面部分美感。到目前为止，现有刻画人脸美感的方法主要依赖于手动提取的图像底层特征，比如人脸的几何特征的空间位置的计算，或人脸图像的全局特征的判别等。对于基于几何特征的方法，大多数的方法是，首先手动或自动的对人脸的关键点进行标注，根据这些关键点的位置计算人脸各个器官的比例关系，然后通过训练得到分类回归模型，用于人脸美感的分类回归。对于基于人脸的全局特征的方法，将整个预处理后的人脸图像输入提取整张人脸的特征信息来进行人脸美感评价模型的训练，不过由于人脸图像的维度过高，造成的问题有，计算复杂度过高，且在高维空间中的分布稀疏，分类效果并不是很好。中国专利201110177113.5专利技术提供了一种基于几何特征的人脸美感分析方法，通过基于组合策略的局部几何特征进行组合描述，并采用基于记忆的动态加权核密度估计(MDKDE)构建弱分类器，利用Adaboost集成学习机制实现特征的集成，得到人脸美感精确类别。与以往基于几何特征的人脸美感分析技术不同的是，专利技术从欧氏距离、斜率和面积等多角度选取描述人脸美感的局部几何特征，构成人脸美感的单一描述，并由局部几何特征描述进行组合得到组合特征描述，并采用MDKDE构建Adaboost集成学习的弱分类器，对任意输入的人脸图像获得了较好的分类结果。以上这两种方法不能揭示图像语意信息的有效表达，尽管基于几何特征的方法对人脸美感的分析也具有相关性，但是仍旧不能清晰的解释人类大脑是如何利用这些几何特征去分析和判别出人脸的美感，并没有用科学的方法去统计和验证其合理性。对于基于全局特征的美感分析方法，存在着很多人类大脑不关注的区域和噪声，可能存在对人脸审美的判别中造成不可逆影响的情况。我们知道，在人脑感知系统中，当评估人脸的美感问题时，人脑趋向于有选择的关注那些有吸引力的人脸位置区域，在这样情况下，提取人脸显著特征位置显得尤为重要了。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术的不足，提供基于生物启发和深度属性学习相结合的人脸美感预测方法。本专利技术包括以下步骤：1)人脸图像的预处理；2)人脸显著特征位置的提取；3)获取人脸图像的美感等级标签；4)人脸美感模型的建立。在步骤1)中，所述人脸图像的预处理包括人脸检测、人脸关键点定位、人脸图像归一化处理等；所述人脸图像的预处理的具体方法，包括以下步骤：(1)对人脸图像进行人脸检测及人脸关键点的定位，具体方法包括但不限于基于opencv的人脸检测和人脸关键点的定位、基于人脸关键点位置的手工标注等；(2)根据人脸关键点的位置进行人脸图像几何归一化处理，将人脸表情子图像变换为统一的尺寸；(3)人脸图像的灰度归一化处理，用来增强图像亮度，减弱光线和光照强度的影响。在步骤2)中，所述人脸显著特征位置的提取的具体方法可为：(1)根据步骤1)中预处理后的人脸图像，由眼动仪获取用户观察图像时的眼动信息，通过眼动追踪仪获取用户的眼动扫描和追踪数据，计算用户眼球在图像的焦点位置；(2)根据得到的用户眼球在图像的焦点位置，分析并提取用户关注的人脸显著特征点集合；(3)将用户扫视过的人脸特征点的集合进行筛选；所述筛选为删除所有用户扫视过的人脸特征点频度小于5的特征点；(4)将筛选后的用户扫视的人脸特征点进行聚类，得到所有用户关注的图像焦点位置，即聚类后的簇心，其中定义为凝视点(POG)，由凝视点(POG)得到用户的凝视区域，用户的凝视区域计算如下：S＝d·tan(θ)其中，S为用户的凝视区域，d为用户到实验主机屏幕的水平距离，θ为视觉广度，取值为6度；tan()为正切函数。在步骤3)中，所述获取人脸图像的美感等级标签的具体方法可为：针对步骤1)中预处理后的人脸图像，通过实验获取至少20用户对于人脸图像之间的美感相对排名，然后通过包括但不限于TrueSkill算法将美感的相对排名转换为人脸图像的美感评分，进而转化为美感等级标签。在步骤4)中，所述人脸美感模型的建立的具体方法可为：(1)根据步骤2)得到的凝视区域，将步骤1)进行预处理之后的人脸图像凝视区域之外的区域进行高斯模糊处理；(2)将人脸图像划分为训练集合和测试集合；(3)根据步骤2)得到的用户观察人脸时的凝视区域及步骤3)得到的人脸图像的美感标签通过包括但不限于监督学习和卷积神经网络的方法训练出人脸美感评价模型。本专利技术的实验评价标准为准确度(Accuracy)，反映了预测的人脸美感类别与标注的美感类别之间的一致程度。不同方法在人脸美感预测任务上的效果比较参见表1。表1方法二分类(％)三分类(％)AutoDL68.763.0ManualRegion65.159.9DBP63.950.4Data-Driven68.056.6Bio-AttriBank72.165.3Bio-AttriBank-PCA73.565.8其中AutoDL、ManualRegion、DBP和Data-Driven为近两年最佳的人脸美感预测方法，Bio-AttriBank为本专利技术提出的基于生物启发和深度属性学习相结合的人脸美感预测方法，Bio-AttriBank-PCA为本专利技术提出的基于生物启发和深度属性学习相结合的人脸美感预测方法的变种。由表1可知，本专利技术在二分类和三分类的人脸美感预测任务上都取得最佳的效果。本专利技术首次提出了基于人脸显著特征的人脸美感预测方法，建立起人在进行人脸美感分析时的情感桥梁。本专利技术首先通过眼动仪获取用户观察人脸图像时的眼动信息，进而提取出人观看人脸时的审美空间区域，通过聚类将审美空间区域划分为若干特征空间，然后通过监督学习和卷积神经网络方法训练出人脸美感检测器，训练出的人脸美感检测器对于一张正面的人脸图像，预处理后能够得到人脸图像的美感等级。通过收集图像的中层属性特征信息提取了用户观察图像时的审美空间区域，通过得到的人脸美感模型充分验证了决定人脸美感的审美特征区域，并且相对于其他人脸美感评价方法在准确率方面有了很大的提升。附图说明图1为本专利技术实例中凝视点(POG)分布热区图及聚类后簇心位置；图2为本专利技术实例中凝视区域S的确定过程；图3为本专利技术实例中的标定的人脸美感分数；图4为本专利技术实例中训练网络结构。具体实施方式以下实施例将结合附图对本专利技术作进一步的说明。1.人脸图像的预处理(1)对人脸图像进行人脸检测并进行人脸关键点的定位，具体方法包括但不限于基于opencv的人脸检测和人脸关键点的定位；(2)根据人脸关键点的位置进行人脸图像几何归一化处理，将人脸表情子图像变换为统一的尺寸。具体方法为，根据左右眼的坐标值旋转图像，保证人脸方向的一致性，根据面部特征点和几何模型确定矩阵特征区域，以两眼中心点为基准，左右方向剪切两眼中心的距离d，垂直方向各取0.5d和1.5d的矩形区域进行剪裁，最后将剪裁之后的本文档来自技高网...

【技术保护点】
基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于包括以下步骤：1)人脸图像的预处理；2)人脸显著特征位置的提取；3)获取人脸图像的美感等级标签；4)人脸美感模型的建立。

【技术特征摘要】
1.基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于包括以下步骤：1)人脸图像的预处理；2)人脸显著特征位置的提取；3)获取人脸图像的美感等级标签；4)人脸美感模型的建立。2.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤1)中，所述人脸图像的预处理包括人脸检测、人脸关键点定位、人脸图像归一化处理。3.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤1)中，所述人脸图像的预处理的具体方法，包括以下步骤：(1)对人脸图像进行人脸检测及人脸关键点的定位，具体方法包括但不限于基于opencv的人脸检测和人脸关键点的定位、基于人脸关键点位置的手工标注；(2)根据人脸关键点的位置进行人脸图像几何归一化处理，将人脸表情子图像变换为统一的尺寸；(3)人脸图像的灰度归一化处理，用来增强图像亮度，减弱光线和光照强度的影响。4.如权利要求1所述基于生物启发和深度属性学习相结合的人脸美感预测方法，其特征在于在步骤2)中，所述人脸显著特征位置的提取的具体方法为：(1)根据步骤1)中预处理后的人脸图像，由眼动仪获取用户观察图像时的眼动信息，通过眼动追踪仪获取用户的眼动扫描和追踪数据，计算用户眼球在图像的焦点位置；(2)根据得到的用户眼球在图像的焦点位置，分析并提取用户关注的人脸显著特征点集...

【专利技术属性】
技术研发人员：纪荣嵘，陈福海，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35