一种脸部图像丰富度特征的检测方法及设备技术

本申请的目的是提供一种脸部图像丰富度特征的检测方法及设备，本申请通过对获取的至少一个脸部样本图像进行人脸检测，得到至少一个脸部样本图像中各图像的待检测区域；对至少一个脸部样本图像中各图像的待检测区域分别进行脸部特征提取和脸部表情识别，得到至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息；对至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到至少一个脸部样本图像的丰富度特征，以便后续在脸部图像替换模型的训练时能用来评价用于训练的脸部图像的样本质量，使得训练的脸部图像替换模型能有效贴合用于替换的人脸的各种面部姿态及表情等，从而提高用户的换脸体验度。

A detection method and equipment of facial image richness feature

【技术实现步骤摘要】
一种脸部图像丰富度特征的检测方法及设备
本申请涉及图像处理
，尤其涉及一种脸部图像丰富度特征的检测方法及设备。
技术介绍
人脸替换技术是计算机视觉领域中一个重要的研究方向，由于人脸替换技术代替了photoshop等软件手工进行图像编辑融合等各种弊端，因而在商业、娱乐及其一些特殊的行业有着巨大的影响。在现有的深度人脸识别技术(如深度换脸)中，对于用户或第三方提供的一批人脸样本，往往没有建立起有效的样本质量评价体系(比如，样本丰富度)，很难保证最终合成样本的可靠性，很容易导致训练模型无法有效贴合模版样本中目标人脸的各种面部姿态，表情等，使得最终的效果很差，从而降低换脸体验度。
技术实现思路
本申请的一个目的是提供一种脸部图像丰富度特征的检测方法及设备，以解决现有技术中在进行人脸识别过程中缺乏人脸的丰富度特征的问题。根据本申请的一个方面，提供了一种脸部图像丰富度特征的检测方法，其中，所述方法包括：获取至少一个脸部样本图像；对所述至少一个脸部样本图像进行人脸检测，得到所述至少一个脸部样本图像中各图像的待检测区域；对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息；对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息；对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征。进一步地，上述方法中，所述脸部特征信息包括所述脸部特征点信息和脸部角度信息，其中，所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息，包括：对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息；对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息；其中，所述对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，包括：对所述至少一个脸部样本图像中各图像的脸部特征点信息、脸部角度信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征。进一步地，上述方法中，所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息，包括：获取用于检测脸部特征的关键点定位模型，其中，所述关键点定位模型由局部二值化特征算法和随机森林算法训练得到；通过所述关键点定位模型，对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息。进一步地，上述方法中，所述对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息，包括：获取用于识别脸部角度的脸部角度识别模型；通过所述脸部角度识别模型，对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息。进一步地，上述方法中，所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息，包括：获取用于识别脸部表情的脸部表情识别模型，其中，所述脸部表情识别模型由基于深度学习的卷积神经网络训练得到；通过所述脸部表情识别模型，对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的的脸部表情信息。进一步地，上述方法中，所述对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，包括：对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行融合，得到所述至少一个脸部样本图像中各图像的丰富度特征；根据所述至少一个脸部样本图像中各图像的丰富度特征，得到所述至少一个脸部样本图像的丰富度特征。进一步地，上述方法中，所述对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，包括：根据所述至少一个脸部样本图像中各图像的脸部特征信息，得到所述至少一个脸部样本图像的脸部特征信息；根据所述至少一个脸部样本图像中各图像的脸部表情信息，得到所述至少一个脸部样本图像的脸部表情信息；对所述至少一个脸部样本图像的脸部特征信息和脸部表情信息进行融合，得到所述至少一个脸部样本图像的丰富度特征。进一步地，上述方法中，所述方法还包括：基于所述待检测区域对对应的所述脸部样本图像进行有效性判断，若所述待检测区域对应的脸部样本图像为有效脸部样本图像，则对所述脸部样本图像的待检测区域进行脸部特征提取和脸部表情识别。进一步地，上述方法中，所述基于所述待检测区域对对应的所述脸部样本图像进行有效性判断，包括：获取所述待检测区域的内容信息、像素信息及尺寸信息；基于所述待检测区域的内容信息、像素信息及尺寸信息对对应的所述脸部样本图像进行有效性判断。根据本申请的另一方面，还提供了一种脸部图像丰富度特征的检测设备，其中，该设备包括：一个或多个处理器；非易失性存储介质，用于存储一个或多个计算机可读指令，当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述脸部图像丰富度特征的检测方法。根据本申请的另一方面，还提供了一种脸部图像丰富度特征的检测设备，其中，该设备包括：一个或多个处理器；非易失性存储介质，用于存储一个或多个计算机可读指令，当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述脸部图像丰富度特征的检测方法。与现有技术相比，本申请通过获取至少一个脸部样本图像；对所述至少一个脸部样本图像进行人脸检测，得到所述至少一个脸部样本图像中各图像的待检测区域；对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息；对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息；对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，实现对至少一个脸部样本图像的丰富度特征的检测，以便后续在脸部图像替换模型的训练过程中，能够用来评价用于训练脸部图像替换模型的样本脸部图像的样本质量，使得训练得到的脸部图像替换模型能够有效贴合本文档来自技高网...

【技术保护点】
1.一种脸部图像丰富度特征的检测方法，其中，所述方法包括：/n获取至少一个脸部样本图像；/n对所述至少一个脸部样本图像进行人脸检测，得到所述至少一个脸部样本图像中各图像的待检测区域；/n对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息；/n对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息；/n对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征。/n

【技术特征摘要】
1.一种脸部图像丰富度特征的检测方法，其中，所述方法包括：
获取至少一个脸部样本图像；
对所述至少一个脸部样本图像进行人脸检测，得到所述至少一个脸部样本图像中各图像的待检测区域；
对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息；
对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸部表情信息；
对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征。


2.根据权利要求1所述的方法，其中，所述脸部特征信息包括所述脸部特征点信息和脸部角度信息，其中，
所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征提取得到所述至少一个脸部样本图像中各图像的脸部特征信息，包括：
对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息；
对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息；
其中，所述对所述至少一个脸部样本图像中各图像的脸部特征信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征，包括：
对所述至少一个脸部样本图像中各图像的脸部特征点信息、脸部角度信息和脸部表情信息进行特征融合，得到所述至少一个脸部样本图像的丰富度特征。


3.根据权利要求2所述的方法，其中，所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息，包括：
获取用于检测脸部特征的关键点定位模型，其中，所述关键点定位模型由局部二值化特征算法和随机森林算法训练得到；
通过所述关键点定位模型，对所述至少一个脸部样本图像中各图像的待检测区域进行脸部特征点提取，得到所述至少一个脸部样本图像中各图像的脸部特征点信息。


4.根据权利要求3所述的方法，其中，所述对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息，包括：
获取用于识别脸部角度的脸部角度识别模型；
通过所述脸部角度识别模型，对所述至少一个脸部样本图像中各图像的脸部特征点信息进行脸部角度识别，得到所述至少一个脸部样本图像中各图像的脸部角度信息。


5.根据权利要求1所述的方法，其中，所述对所述至少一个脸部样本图像中各图像的待检测区域进行脸部表情识别得到所述至少一个脸部样本图像中各图像的脸...

【专利技术属性】
技术研发人员：徐伟，罗琨，陈晓磊，
申请(专利权)人：连尚新昌网络科技有限公司，
类型：发明
国别省市：浙江;33