基于多特征融合的表情识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于多特征融合的表情识别方法及装置，该方法包括：对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；基于所述人脸关键点确定影响人脸表情的多个部位图像，并将所述人脸图像的数据标签赋予给多个所述部位图像，所述数据标签用于表示人脸表情种类；多个所述部位图像包括眼睛区域图像、嘴巴区域图像、鼻子区域图像和下巴区域图像；利用改进的多分支特征提取网络对赋予所述数据标签的多个所述部位图像进行特征提取，获得多个所述部位图像的特征；将多个所述部位图像的特征进行特征融合，获得总融合特征；对总融合特征进行分类，得到表情分类结果。本发明专利技术可以更精准的进行表情识别。可以更精准的进行表情识别。可以更精准的进行表情识别。

【技术实现步骤摘要】
基于多特征融合的表情识别方法及装置


[0001]本专利技术涉及人脸识别
，尤其涉及基于多特征融合的表情识别方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]目前很多方法是直接对人脸整体区域进行表情识别，这导致表情识别精度很低；有些方法虽然取到影响表情的关键部位进行识别，但是该类方法是分别单独进行分类，分别获得其对应的识别准确率后根据识别准确率加权分类，该方法流程麻烦，且单独分类得到的准确率并不能真正得到各个部位的重要性，比如平静的表情对各个部位进行分类，会得到每个部位准确率差不多，就误导实验者对每个位置相同权重，这跟实际情况不符，导致人脸表情识别准确率低。

技术实现思路

[0004]本专利技术实施例提供一种基于多特征融合的表情识别方法，用以解决现有人脸识别方法识别准确率低的技术问题，该方法包括：
[0005]对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；
[0006]基于所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征融合的表情识别方法，其特征在于，包括：对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点；基于所述人脸关键点确定影响人脸表情的多个部位图像，并将所述人脸图像的数据标签赋予给多个所述部位图像，所述数据标签用于表示人脸表情种类；多个所述部位图像包括眼睛区域图像、嘴巴区域图像、鼻子区域图像和下巴区域图像；利用改进的多分支特征提取网络对赋予了所述数据标签的多个所述部位图像分别进行特征提取，获得多个所述部位图像的特征；将多个所述部位图像的特征进行特征融合，获得总融合特征；对所述总融合特征进行分类，得到表情分类结果。2.如权利要求1所述的基于多特征融合的表情识别方法，其特征在于，所述对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点，具体包括：采用改进的yolov5算法对人脸图像进行人脸和人脸关键点检测，检测出人脸和人脸关键点，其中，所述改进的yolov5算法为在yolov5算法上增加人脸关键点分支网络。3.如权利要求1所述的基于多特征融合的表情识别方法，其特征在于，在所述检测出人脸和人脸关键点之后，还包括：将所述人脸关键点越界的人脸图像去除。4.如权利要求3所述的基于多特征融合的表情识别方法，其特征在于，所述将所述人脸关键点越界的人脸图像去除，具体包括：将所述人脸关键点的坐标和所述人脸图像中人脸区域的坐标范围进行比较，若所述人脸关键点的坐标不在所述人脸区域的坐标范围之内，则去除对应的所述人脸图像。5.如权利要求1所述的基于多特征融合的表情识别方法，其特征在于，所述方法还包括：将多分支特征提取网络通道数乘以权重系数得到所述改进的多分支特征提取网络；其中，所述权重系数为多个所述部位图像的权重，多个所述部位图像的权重不同。6.如权利要求5所述的基于多特征融合的表情识别方法，其特征在于，所述方法还包括：将特征提取网络shufflenetV2由单分支扩展成多个分支，得到所述多分支特征提取网络；所述将多分支特征提取网络通道数乘以权重系数得到所述改进的多分支特征提取网络；其中，所述权重系数为多个所述部位图像的权重，多个所述部位图像的权重...

【专利技术属性】
技术研发人员：陈超村，贾东风，程力行，
申请(专利权)人：奇酷软件深圳有限公司，
类型：发明
国别省市：