基于热点区域特征融合的正侧脸特征的判断方法技术

本发明专利技术公开一种基于热点区域特征融合的正侧脸特征的判断方法，涉及数据识别领域。包括：确定数据集，划分原训练集和原测试集；对数据集中的图片进行热点灰度图的特征提取，分别得到热点灰度图特征图像训练集和热点灰度图特征图像测试集；以热点灰度图特征图像训练集作为分类模型的输入，原训练集中正脸标签、左侧脸标签和右侧脸标签作为分类标签，对利用传统机器学习方法构建的分类模型进行模型训练得到最终分类模型；热点灰度图特征图像测试集中的任意一个热点灰度图特征图像输入所述最终分类模型，完成正侧脸判断。本发明专利技术解决基于传统机器学习分类模型的正侧脸判断方法存在判断速度慢，在光照、遮挡等不确定因素下的鲁棒性差的问题。棒性差的问题。棒性差的问题。

【技术实现步骤摘要】
基于热点区域特征融合的正侧脸特征的判断方法


[0001]本专利技术涉及数据识别领域，尤其涉及一种基于热点区域特征融合的正侧脸特征的判断方法。

技术介绍

[0002]人脸识别过程中，涉及正侧脸识别，尽管在正侧脸识别过程中添加人脸矫正过程，但，因左右旋转导致侧脸无法矫正为正脸。为保证人脸比对时正脸图片与正脸图片进行比对，现有存在多种方法实现从多张图片中选取正脸图片，包括：基于传统机器学习分类模型的正侧脸判断方法、基于人脸欧拉角进行的正侧脸判断方法和基于卷积神经网络分类模型的正侧脸判断方法。
[0003]其中，现有基于传统机器学习分类模型的正侧脸判断方法以整个人脸区域特征作为输入实现正侧脸判断，存在判断速度慢，在光照、遮挡等不确定因素下的鲁棒性差的问题。

技术实现思路

[0004]本专利技术的目的在于提供一种基于热点区域特征融合的正侧脸特征的判断方法，以解决基于传统机器学习分类模型的正侧脸判断方法存在判断速度慢，在光照、遮挡等不确定因素下的鲁棒性差的问题。
[0005]本专利技术提供一种基于热点区域特征融合的正侧脸特征的判断方法，包括：
[0006]S1，基于预先设定的裁剪方式对原图片集中包含人脸的图片进行裁剪，得到数据集，所述数据集划分为原训练集和原测试集；
[0007]S2，所述数据集中的图片进行热点灰度图的特征提取，分别得到热点灰度图特征图像训练集和热点灰度图特征图像测试集；
[0008]S3，以所述热点灰度图特征图像训练集作为分类模型的输入，所述原训练集中正脸标签、左侧脸标签和右侧脸标签作为分类标签，对利用传统机器学习方法构建的分类模型进行模型训练得到最终分类模型；
[0009]S4，所述热点灰度图特征图像测试集中的任意一个热点灰度图特征图像输入所述最终分类模型，完成正侧脸判断；
[0010]其中，S2中对任意一张图片X进行热点灰度图的特征提取，具体为：
[0011]S201，以所述原训练集对卷积神经网络分类模型进行训练，得到卷积神经网络分类模型M；
[0012]S202，利用所述卷积神经网络分类模型M读取所述图片X的特征图，获取所述特征图的可视化热力图；
[0013]S203，构建热点区域，具体为：利用所述卷积神经网络分类模型M获取所述原训练集中各个图片的可视化热力图，进行均值计算后，得到平均热力图；从所述平均热力图中选取至少一个子区域作为热点子区域；所述热点子区域拼接为正方形，得到热点区域；
[0014]S204，利用所述热点区域剪裁所述图片X的灰度图，得到所述图片X的热点灰度图；分别提取所述热点灰度图的HOG特征和LBP特征，对所述HOG特征和所述LBP特征分别进行标准化，拼接得到热点灰度图特征，完成所述图片X的热点灰度图特征的提取。
[0015]在本专利技术的上述实施例中，可选地，S1，具体为：
[0016]S101，获取包含至少一张图片的原图片集；
[0017]S102，依据预设剪裁规则，对所述原图片集中包含人脸的图片剪裁，得到数据集；所述预设剪裁规则为裁剪区域为正方形，所述正方形的中心为人脸目标框的中心，且所述正方形的宽从所述人脸目标框的宽和所述人脸目标框的高中选择；
[0018]S103，所述数据集划分为原训练集和原测试集；对所述原训练集的各图片标记标签；所述标签包括正脸、左侧脸和右侧脸。
[0019]在本专利技术的上述实施例中，可选地，S202中，所述获取所述特征图的可视化热力图，具体为：对所述特征图依次进行图片缩放处理、归一化处理，得到所述特征图的可视化热力图；其中，所述特征图的尺寸为所述卷积神经网络分类模型M输入图片尺寸的1/8；所述特征图缩放后的尺寸与所述可视化热力图的尺寸相同，均为所述卷积神经网络分类模型M输入图片尺寸的1/2。
[0020]在本专利技术的上述实施例中，可选地，S204中，利用预先获取的热点区域，所述图片X的灰度图转换为热点灰度图，具体为：
[0021]S2041，从数据集中获取任意一张图片X，所述图片X转成灰度图像X
′
；
[0022]S2042，利用预先获取的热点区域，剪裁所述灰度图像X
′
得到热点灰度图。
[0023]在本专利技术的上述实施例中，可选地，S204中，分别提取所述热点灰度图的HOG特征和LBP特征，对所述HOG特征和所述LBP特征分别进行标准化，拼接得到热点灰度图特征，完成所述图片X的热点灰度图特征的提取；具体为：
[0024]S001，提取所述热点灰度图的HOG特征，提取所述热点灰度图的LBP特征；
[0025]S002，对所述HOG特征进行L2标准化得到标准化后的HOG特征；
[0026]对所述LBP特征进行L1标准化得到标准化后的LBP特征；
[0027]S003，所述标准化后的HOG特征和所述标准化后的LBP特征拼接得到所述热点灰度图特征，完成所述图片X的热点灰度图特征的提取。
[0028]在本专利技术的上述实施例中，可选地，所述热点子区域的选取要求为：所有热点子区域的面积总和/可视化热力图的面积＝1/4；利用每个热点子区域对所述平均热力图剪裁得到对应二维数组，每个二维数组先加和得到加和数据，所有加和数据累加得到一个最终加和结果，在选取热点子区域时保证累加得到的所述最终加和结果最大。
[0029]在本专利技术的上述实施例中，可选地，所述热点子区域的个数为1、2、3或4。
[0030]在本专利技术的上述实施例中，可选地，当所述热点子区域的个数为1时，从所述平均热力图中选取一个子区域作为热点子区域，该热点子区域即为热点区域。
[0031]在本专利技术的上述实施例中，可选地，S2，对所述数据集中包括的各个图片进行热点灰度图的特征提取，得到热点灰度图特征图像，所述热点灰度图特征图像的尺寸为其对应图片尺寸的1/4。
[0032]与现有技术相比，本专利技术的技术方案所述基于热点区域特征融合的正侧脸判断方法的有益效果是：
[0033]1)本专利技术的技术方案通过卷积神经网络分类模型的特征图，定位对于分类效果影响较大的图像区域，从而将传统机器学习分类模型的输入图像减少至原图像的四分之一，大大提升了判断效率。
[0034]2)热点区域外的人脸是否被遮挡对于本专利技术的技术方案的精度没有任何影响，提高基于传统机器学习分类模型的正侧脸判断方法在遮挡因素下的鲁棒性。
[0035]3)本专利技术的技术方案中采用HOG特征和LBP特征，HOG特征可提取图像的轮廓信息，LBP特征可提取图像的纹理信息，二者对于光照因素的鲁棒性较高。二者拼接前的归一化方式有多种，经多次实验，将HOG特征L2标准化、LBP特征L1标准化后进行拼接，精度最高。
附图说明
[0036]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于热点区域特征融合的正侧脸特征的判断方法，其特征在于，包括：S1，基于预先设定的裁剪方式对原图片集中包含人脸的图片进行裁剪，得到数据集，所述数据集划分为原训练集和原测试集；S2，对所述数据集中的图片进行热点灰度图的特征提取，分别得到热点灰度图特征图像训练集和热点灰度图特征图像测试集；S3，以所述热点灰度图特征图像训练集作为分类模型的输入，所述原训练集中正脸标签、左侧脸标签和右侧脸标签作为分类标签，对利用传统机器学习方法构建的分类模型进行模型训练得到最终分类模型；S4，所述热点灰度图特征图像测试集中的任意一个热点灰度图特征图像输入所述最终分类模型，完成正侧脸判断；其中，S2中对任意一张图片X进行热点灰度图的特征提取，具体为：S201，以所述原训练集对卷积神经网络分类模型进行训练，得到卷积神经网络分类模型M；S202，利用所述卷积神经网络分类模型M读取所述图片X的特征图，获取所述特征图的可视化热力图；S203，构建热点区域，具体为：利用所述卷积神经网络分类模型M获取所述原训练集中各个图片的可视化热力图，进行均值计算后，得到平均热力图；从所述平均热力图中选取至少一个子区域作为热点子区域；所述热点子区域拼接为正方形，得到热点区域；S204，利用所述热点区域剪裁所述图片X的灰度图，得到所述图片X的热点灰度图；分别提取所述热点灰度图的HOG特征和LBP特征，对所述HOG特征和所述LBP特征分别进行标准化，拼接得到热点灰度图特征，完成所述图片X的热点灰度图特征的提取。2.根据权利要求1所述方法，其特征在于，S1，具体为：S101，获取包含至少一张图片的原图片集；S102，依据预设剪裁规则，对所述原图片集中包含人脸的图片剪裁，得到数据集；所述预设剪裁规则为裁剪区域为正方形，所述正方形的中心为人脸目标框的中心，且所述正方形的宽从所述人脸目标框的宽和所述人脸目标框的高中选择；S103，所述数据集划分为原训练集和原测试集；对所述原训练集的各图片标记标签；所述标签包括正脸、左侧脸和右侧脸。3.根据权利要求1所述方法，其特征在于，S202中，所述获取所述特征图的可视化热力图，具体为：对所述特征图依次进行图...

【专利技术属性】
技术研发人员：孙家乐，瞿洪桂，安国旭，
申请(专利权)人：北京中电兴发科技有限公司，
类型：发明
国别省市：