基于多特征融合的表情识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于多特征融合的表情识别方法及装置，该方法包括：对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；基于所述人脸关键点确定影响人脸表情的多个部位图像，并将所述人脸图像的数据标签赋予给多个所述部位图像，所述数据标签用于表示人脸表情种类；多个所述部位图像包括眼睛区域图像、嘴巴区域图像、鼻子区域图像和下巴区域图像；利用改进的多分支特征提取网络对赋予所述数据标签的多个所述部位图像进行特征提取，获得多个所述部位图像的特征；将多个所述部位图像的特征进行特征融合，获得总融合特征；对总融合特征进行分类，得到表情分类结果。本发明专利技术可以更精准的进行表情识别。可以更精准的进行表情识别。可以更精准的进行表情识别。

【技术实现步骤摘要】
基于多特征融合的表情识别方法及装置


[0001]本专利技术涉及人脸识别
，尤其涉及基于多特征融合的表情识别方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]目前很多方法是直接对人脸整体区域进行表情识别，这导致表情识别精度很低；有些方法虽然取到影响表情的关键部位进行识别，但是该类方法是分别单独进行分类，分别获得其对应的识别准确率后根据识别准确率加权分类，该方法流程麻烦，且单独分类得到的准确率并不能真正得到各个部位的重要性，比如平静的表情对各个部位进行分类，会得到每个部位准确率差不多，就误导实验者对每个位置相同权重，这跟实际情况不符，导致人脸表情识别准确率低。

技术实现思路

[0004]本专利技术实施例提供一种基于多特征融合的表情识别方法，用以解决现有人脸识别方法识别准确率低的技术问题，该方法包括：
[0005]对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；
[0006]基于所述人脸关键点确定影响人脸表情的多个所述部位图像，并将人脸图像的数据标签赋予给多个所述部位图像，所述数据标签用于表示人脸表情种类；多个所述部位图像包括眼睛区域图像、嘴巴区域图像、鼻子区域图像和下巴区域图像；
[0007]利用改进的多分支特征提取网络对赋予了数据标签的多个所述部位图像分别进行特征提取，获得多个所述部位图像的特征；
[0008]将多个所述部位图像的特征进行特征融合，获得总融合特征；
[0009]对所述总融合特征进行分类，得到表情分类结果。
[0010]本专利技术实施例还提供一种基于多特征融合的表情识别装置，用以解决现有人脸识别方法识别准确率低的技术问题，该装置包括：
[0011]人脸和人脸关键点检测模块，用于对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；
[0012]部位区域确定及标签赋予模块，用于基于所述人脸关键点确定影响人脸表情的多个部位图像，并将人脸图像的数据标签赋予给多个所述部位图像，所述数据标签用于表示人脸表情种类；多个所述部位图像包括眼睛区域图像、嘴巴区域图像、鼻子区域图像和下巴区域图像；
[0013]特征提取模块，用于利用改进的多分支特征提取网络对赋予了数据标签的多个所述部位图像分别进行特征提取，获得多个所述部位图像的特征；
[0014]特征融合模块，用于将多个所述部位图像的特征进行特征融合，获得总融合特征；
[0015]特征分类模块，用于对所述总融合特征进行分类，得到表情分类结果。
[0016]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于多特征融合的表情识别方法。
[0017]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于多特征融合的表情识别方法。
[0018]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述基于多特征融合的表情识别方法。
[0019]本专利技术通过对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；基于人脸关键点确定影响人脸表情的多个部位图像，并将数据标签赋予给多个所述部位图像，数据标签用于表示人脸表情种类；多个所述部位图像包括眼睛区域图像、嘴巴区域图像、鼻子区域图像和下巴区域图像；利用改进的多分支特征提取网络对赋予了数据标签的多个所述部位图像分别进行特征提取，获得多个所述部位图像的特征；将多个所述部位图像的特征进行特征融合，获得总融合特征；对总融合特征进行分类，得到表情分类结果。相比直接对人脸整体区域进行表情识别的现有方法，本专利技术对人脸和人脸关键点均进行检测，然后基于人脸关键点进行表情识别，这样可以提高表情识别精度。另外，相比取到影响表情的关键部位进行单独分类，分别获得其对应的识别准确率后根据精确率加权分类的现有方法，本专利技术获取不同部位区域，然后将不同部位区域的特征融合后进行表情分类，这样可以更精准的进行表情识别。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0021]图1为本专利技术实施例中基于多特征融合的表情识别方法流程图一；
[0022]图2为本专利技术实施例中基于多特征融合的表情识别方法流程图二；
[0023]图3为本专利技术实施例中基于多特征融合的表情识别方法流程图三；
[0024]图4为本专利技术实施例中基于多特征融合的表情识别方法流程图四；
[0025]图5为本专利技术实施例中基于多特征融合的表情识别方法流程图五；
[0026]图6为本专利技术实施例中基于多特征融合的表情识别方法流程图六；
[0027]图7为本专利技术实施例中基于多特征融合的表情识别方法流程图七；
[0028]图8为本专利技术实施例中基于多特征融合的表情识别方法流程图八；
[0029]图9为本专利技术实施例中基于多特征融合的表情识别装置结构框图一；
[0030]图10为本专利技术实施例中基于多特征融合的表情识别装置结构框图二。
具体实施方式
[0031]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并
不作为对本专利技术的限定。
[0032]本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
[0033]针对目前直接对人脸整体区域进行表情识别精度低的情况，本专利技术提出一种基于多特征融合的表情识别方法，如图1所示，该基于多特征融合的表情识别方法包括：
[0034]步骤101：对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；
[0035]步骤102：基于所述人脸关键点确定影响人脸表情的多个部位图像，并将人脸图像的数据标签赋予给多个所述部位图像，所述数据标签用于表示人脸表情种类；多个所述部位图像包括眼睛区域图像、嘴巴区域图像、鼻子区域图像和下巴区域图像；
[0036]步骤103：利用改进的多分支特征提取网络对赋予了数据标签的多个所述部位图像分别进行特征提取，获得多个所述部位图像的特征；
[0037]步骤104：将多个所述部位图像的特征进行特征融合，获得总融合特征；
[0038]步骤105：对所述总融合特征进行分类，得到表情分类结果。
[0039]上述方法是对人脸识别网络的训练过程，即将标注有表情种类的人脸图像作为训练数据，对改进的yolov本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的表情识别方法，其特征在于，包括：对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；基于所述人脸关键点确定影响人脸表情的多个部位图像，并将所述人脸图像的数据标签赋予给多个所述部位图像，所述数据标签用于表示人脸表情种类；多个所述部位图像包括眼睛区域图像、嘴巴区域图像、鼻子区域图像和下巴区域图像；利用改进的多分支特征提取网络对赋予了所述数据标签的多个所述部位图像分别进行特征提取，获得多个所述部位图像的特征；将多个所述部位图像的特征进行特征融合，获得总融合特征；对所述总融合特征进行分类，得到表情分类结果。2.如权利要求1所述的基于多特征融合的表情识别方法，其特征在于，所述对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点，具体包括：采用改进的yolov5算法对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点，其中，所述改进的yolov5算法为在yolov5算法上增加人脸关键点分支网络。3.如权利要求1所述的基于多特征融合的表情识别方法，其特征在于，在所述检测出人脸和人脸关键点之后，还包括：将所述人脸关键点越界的人脸图像去除。4.如权利要求3所述的基于多特征融合的表情识别方法，其特征在于，所述将所述人脸关键点越界的人脸图像去除，具体包括：将所述人脸关键点的坐标和所述人脸图像中人脸区域的坐标范围进行比较，若所述人脸关键点的坐标不在所述人脸区域的坐标范围之内，则去除对应的所述人脸图像。5.如权利要求1所述的基于多特征融合的表情识别方法，其特征在于，所述方法还包括：将多分支特征提取网络通道数乘以权重系数得到所述改进的多分支特征提取网络；其中，所述权重系数为多个所述部位图像的权重，多个所述部位图像的权重不同。6.如权利要求5所述的基于多特征融合的表情识别方法，其特征在于，所述方法还包括：将特征提取网络shufflenetV2由单分支扩展成多个分支，得到所述多分支特征提取网络；所述将多分支特征提取网络通道数乘以权重系数得到所述改进的多分支特征提取网络；其中，所述权重系数为多个所述部位图像的权重，多个所述部位图像的权重...

【专利技术属性】
技术研发人员：陈超村，贾东风，程力行，
申请(专利权)人：奇酷软件深圳有限公司，
类型：发明
国别省市：