人脸表情识别方法及装置、计算机设备、可读存储介质制造方法及图纸

本发明专利技术提供了一种人脸表情识别方法，包括：获取待识别的人脸图像；对待识别的人脸图像进行预处理；利用神经网络依次进行第一分区卷积处理和第二分区卷积处理；第一分区卷积处理包括：将输入图像划分为排成多行多列的多个区域；第二分区卷积处理包括：基于人脸关键器官的位置，将输入图像划分为多个区域；第一分区卷积处理和第二分区卷积处理均还包括：对每个区域进行特征提取，得到每个区域的区域特征图像；将所有的区域特征图像进行区域合并，生成输出图像；人脸识别方法还包括：根据第二分区卷积处理的输出图像确定表情类别。本发明专利技术还提供一种人脸表情识别装置、计算机设备和计算机可读存储介质。本发明专利技术能够提高表情识别的准确性。

Face Expression Recognition Method and Device, Computer Equipment and Readable Storage Media

【技术实现步骤摘要】
人脸表情识别方法及装置、计算机设备、可读存储介质
本专利技术涉及图像处理领域，具体涉及一种人脸表情识别方法及装置、计算机设备、计算机可读存储介质。
技术介绍
人脸特征识别是近年来生物模式识别中的热点技术。该技术要求对人脸的面部特征点进行检测定位，并根据这些特征点进行人脸匹配，表情分析等应用。其中，表情识别是人脸特征识别
中的一个难点。而随着深度学习的兴起，目标识别算法也突破了传统算法的瓶颈，称为近年来人脸特征识别领域的热门关注点。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一，提出了一种人脸表情识别方法及装置、计算机设备、可读存储介质。为了实现上述目的，本专利技术提供一种人脸表情识别方法，包括：获取待识别的人脸图像；对待识别的人脸图像进行预处理，得到预处理后的人脸图像；利用训练得到的神经网络针对第一输入图像依次进行第一分区卷积处理和第二分区卷积处理；其中，所述第一输入图像基于所述预处理后的人脸图像得到；所述第一分区卷积处理包括：将第一输入图像划分为排成多行多列的多个区域；所述第二分区卷积处理包括：基于人脸关键器官的位置，将第二分区卷积处理的输入图像划分为多个区域，以使不同的人脸关键器官位于不同区域；其中，所述第二分区卷积处理的输入图像基于所述第一分区卷积处理的输出图像得到；所述第一分区卷积处理和所述第二分区卷积处理均还包括：对每个区域进行特征提取，得到每个区域的区域特征图像；所述每个区域的区域特征图像的尺寸小于所述预处理后的人脸图像的尺寸；将所有的区域特征图像进行区域合并，生成与所述预处理后的人脸图像尺寸相同的输出图像；所述人脸识别方法还包括：根据第二分区卷积处理的输出图像确定所述待识别的人脸图像对应的表情类别。可选地，进行所述第一分区卷积处理之前，还包括：利用所述神经网络进行第三分区卷积处理，所述第三分区卷积处理包括：将所述第三分区卷积处理的输入图像划分为排成多行多列的多个区域；对每个区域进行特征提取，得到每个区域的区域特征图像；所述每个区域的区域特征图像的尺寸小于所述预处理后的人脸图像的尺寸；将所有的区域特征图像进行区域合并，生成与所述预处理后的人脸图像尺寸相同的输出图像；其中，所述第三分区卷积处理的输入图像为所述预处理后的人脸图像；所述第一输入图像为所述第三分区卷积处理的输出图像；所述第二分区卷积处理的输入图像为所述第一分区卷积处理的输出图像。可选地，所述预处理包括图像增强处理。可选地，所述对待识别的人脸图像进行预处理，包括：对所述待识别的人脸图像进行低通滤波，得到低频图像；获取所述待识别的人脸图像与所述低频图像之间的差值图像；计算所述差值图像和所述待识别的人脸图像的加权和，得到所述预处理后的人脸图像。可选地，所述第一分区卷积处理中，将第一输入图像划分成的多个区域的大小、形状均一致。可选地，所述第一分区卷积处理中，将所述第一输入图像划分成的多个区域排成4行4列；所述第二分区卷积处理中，将所述第二分区卷积处理的输入图像划分成的多个区域排成3行1列，所述第二分区卷积处理的输入图像划分成的多个区域分别对应人脸图像的眼部、鼻部和嘴部；所述第三分区卷积处理中，将所述第三分区卷积处理的输入图像划分成的多个区域排成4行4列。可选地，所述将第一输入图像划分为排成多行多列的多个区域，包括：对所述第一输入图像进行卷积处理，得到第一特征图像；将第一特征图像划分为排成4行4列的16个区域；基于人脸关键器官的位置，将第二分区卷积处理的输入图像划分为多个区域，以使不同的人脸关键器官位于不同区域；包括：对所述第二分区卷积处理的输入图像进行卷积处理，得到第二特征图像；基于人脸关键器官的位置，将第二特征图像划分为三个区域，以使所述三个区域分别包含人脸的眼部、鼻部和嘴部；将所述第三分区卷积处理的输入图像划分为排成多行多列的多个区域，包括：对所述第三分区卷积处理的输入图像进行卷积处理，得到第三特征图像；将第三特征图像划分为排成4行4列的16个区域。可选地，所述对每个区域进行特征提取，得到每个区域的区域特征图像，包括：对每个区域进行批量归一化处理，得到每个区域的归一化图像；对每个区域的归一化图像进行激活处理，得到每个区域的激活图像；对每个区域的激活图像进行卷积处理，得到每个区域的区域特征图像。可选地，所述利用训练得到的神经网络依次进行第一分区卷积处理和第二分区卷积处理，之后还包括利用所述神经网络进行：基于所述第二分区卷积处理的输出图像进行卷积处理，得到输出特征图像；对所述输出特征图像进行全局平均池化处理，得到池化特征图像；根据所述池化特征图像计算每种预设的表情类别的置信度；所述根据第二分区卷积处理的输出图像确定所述待识别的人脸图像对应的表情类别，包括：根据每种预设的表情类别的置信度确定所述待识别的人脸图像对应的表情类别。可选地，所述神经网络是通过随机梯度下降法训练得到。本专利技术还提供了一种人脸表情识别装置，包括：图像获取模块、预处理模块、神经网络和识别模块；所述图像获取模块用于获取待识别的人脸图像；所述预处理模块用于对所述待识别的人脸图像进行预处理，得到预处理后的人脸图像；所述神经网络包括：第一分区卷积模块和第二分区卷积模块；所述第一分区卷积模块包括：第一分区单元，用于将第一分区卷积模块的输入图像划分为排成多行多列的多个区域；其中，所述第一分区卷积模块的输入图像基于所述预处理后的人脸图像得到；所述第二分区卷积模块包括：第二分区单元，用于基于人脸关键器官的位置，将第二分区卷积模块的输入图像划分为多个区域，以使不同的人脸关键器官位于不同区域；其中，所述第二分区卷积模块的输入图像基于所述第一分区卷积模块的输出图像得到；所述第一分区卷积模块和所述第二分区卷积模块均还包括区域特征提取单元和合并单元；其中，所述区域特征提取单元，被配置为对每个区域进行特征提取，得到每个区域的区域特征图像；所述每个区域的区域特征图像的尺寸小于所述预处理后的人脸图像的尺寸；所述合并单元，被配置为将所有的区域特征图像进行区域合并，生成与所述预处理后的人脸图像尺寸相同的输出图像；所述识别模块用于根据所述第二分区卷积模块的输出图像确定所述待识别的人脸图像对应的表情类别。可选地，所述神经网络还包括第三分区卷积模块，所述第三分区卷积模块包括：第三分区单元以及所述区域特征提取单元和所述合并单元，其中，所述第三分区单元用于将所述第三分区卷积模块的输入图像划分为排成多行多列的多个区域；所述第三分区卷积模块的输入图像为所述预处理后的人脸图像，所述第一分区卷积模块的输入图像为所述第三分区卷积模块的输出图像；所述第二分区卷积模块的输入图像为所述第一分区卷积模块的输出图像。可选地，所述第一分区单元被配置为将所述第一分区卷积模块的输入图像划分成4行4列的16个区域；所述第二分区单元被配置为将所述第二分区卷积模块的输入图像划分成3行1列的3个区域，所述3个区域分别对应所述待识别的人脸图像的眼部、鼻部和嘴部；所述第三分区单元被配置为将所述第三分区卷积模块的输入图像划分成4行4列的16个区域。本专利技术还提供了一种计算机设备，包括：一个或多个处理器；存储器，其上存储有一个或多个程序，所述一个或多个程序被所述一个或多个处理器执行时实现权利要求1至10中任一所述的人脸表情识别方法。本发本文档来自技高网...

【技术保护点】
1.一种人脸表情识别方法，其特征在于，包括：获取待识别的人脸图像；对待识别的人脸图像进行预处理，得到预处理后的人脸图像；利用训练得到的神经网络针对第一输入图像依次进行第一分区卷积处理和第二分区卷积处理；其中，所述第一输入图像基于所述预处理后的人脸图像得到；所述第一分区卷积处理包括：将第一输入图像划分为排成多行多列的多个区域；所述第二分区卷积处理包括：基于人脸关键器官的位置，将第二分区卷积处理的输入图像划分为多个区域，以使不同的人脸关键器官位于不同区域；其中，所述第二分区卷积处理的输入图像基于所述第一分区卷积处理的输出图像得到；所述第一分区卷积处理和所述第二分区卷积处理均还包括：对每个区域进行特征提取，得到每个区域的区域特征图像；所述每个区域的区域特征图像的尺寸小于所述预处理后的人脸图像的尺寸；将所有的区域特征图像进行区域合并，生成与所述预处理后的人脸图像尺寸相同的输出图像；所述人脸识别方法还包括：根据第二分区卷积处理的输出图像确定所述待识别的人脸图像对应的表情类别。

【技术特征摘要】
1.一种人脸表情识别方法，其特征在于，包括：获取待识别的人脸图像；对待识别的人脸图像进行预处理，得到预处理后的人脸图像；利用训练得到的神经网络针对第一输入图像依次进行第一分区卷积处理和第二分区卷积处理；其中，所述第一输入图像基于所述预处理后的人脸图像得到；所述第一分区卷积处理包括：将第一输入图像划分为排成多行多列的多个区域；所述第二分区卷积处理包括：基于人脸关键器官的位置，将第二分区卷积处理的输入图像划分为多个区域，以使不同的人脸关键器官位于不同区域；其中，所述第二分区卷积处理的输入图像基于所述第一分区卷积处理的输出图像得到；所述第一分区卷积处理和所述第二分区卷积处理均还包括：对每个区域进行特征提取，得到每个区域的区域特征图像；所述每个区域的区域特征图像的尺寸小于所述预处理后的人脸图像的尺寸；将所有的区域特征图像进行区域合并，生成与所述预处理后的人脸图像尺寸相同的输出图像；所述人脸识别方法还包括：根据第二分区卷积处理的输出图像确定所述待识别的人脸图像对应的表情类别。2.根据权利要求1所述的人脸表情识别方法，其特征在于，进行所述第一分区卷积处理之前，还包括：利用所述神经网络进行第三分区卷积处理，所述第三分区卷积处理包括：将所述第三分区卷积处理的输入图像划分为排成多行多列的多个区域；对每个区域进行特征提取，得到每个区域的区域特征图像；所述每个区域的区域特征图像的尺寸小于所述预处理后的人脸图像的尺寸；将所有的区域特征图像进行区域合并，生成与所述预处理后的人脸图像尺寸相同的输出图像；其中，所述第三分区卷积处理的输入图像为所述预处理后的人脸图像；所述第一输入图像为所述第三分区卷积处理的输出图像；所述第二分区卷积处理的输入图像为所述第一分区卷积处理的输出图像。3.根据权利要求1所述的人脸表情识别方法，其特征在于，所述预处理包括图像增强处理。4.根据权利要求1所述的人脸表情识别方法，其特征在于，所述对待识别的人脸图像进行预处理，包括：对所述待识别的人脸图像进行低通滤波，得到低频图像；获取所述待识别的人脸图像与所述低频图像之间的差值图像；计算所述差值图像和所述待识别的人脸图像的加权和，得到所述预处理后的人脸图像。5.根据权利要求1所述的人脸表情识别方法，其特征在于，所述第一分区卷积处理中，将第一输入图像划分成的多个区域的大小、形状均一致。6.根据权利要求2所述的人脸表情识别方法，其特征在于，所述第一分区卷积处理中，将所述第一输入图像划分成的多个区域排成4行4列；所述第二分区卷积处理中，将所述第二分区卷积处理的输入图像划分成的多个区域排成3行1列，所述第二分区卷积处理的输入图像划分成的多个区域分别对应人脸图像的眼部、鼻部和嘴部；所述第三分区卷积处理中，将所述第三分区卷积处理的输入图像划分成的多个区域排成4行4列。7.根据权利要求2至6中任一所述的人脸表情识别方法，其特征在于，所述将第一输入图像划分为排成多行多列的多个区域，包括：对所述第一输入图像进行卷积处理，得到第一特征图像；将第一特征图像划分为排成4行4列的16个区域；基于人脸关键器官的位置，将第二分区卷积处理的输入图像划分为多个区域，以使不同的人脸关键器官位于不同区域；包括：对所述第二分区卷积处理的输入图像进行卷积处理，得到第二特征图像；基于人脸关键器官的位置，将第二特征图像划分为三个区域，以使所述三个区域分别包含人脸的眼部、鼻部和嘴部；将所述第三分区卷积处理的输入图像划分为排成多行多列的多个区域，包括：对所述第三分区卷积处理的输入图像进行卷积处理，得到第三特征图像；将第三特征图像划分为排成4行4列的16个区域。8.根据权利要求1至6中任一所述的人脸表情识别方法，其特征在于...

【专利技术属性】
技术研发人员：陈冠男，吴艳红，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11