情绪识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种情绪识别方法、装置、设备及存储介质，其方法包括：获取视频文件；从所述视频文件中识别具有业务分析价值的业务片段；对所述业务片段对应的图像人物进行人脸检测，得到人脸图像；对所述人脸图像进行表情识别，得到所述人脸图像的表情识别结果；将所述人脸图像的表情识别结果、预先得到的所述人物的抱胸动作识别结果和预先得到的所述人物的点头动作识别结果进行融合，得到融合后的所述人物的情绪结果。本发明专利技术提出通过融合表情、点头动作和抱胸动作等多维度信息以判断人物情绪，提高情绪识别满意度分析的准确率。提高情绪识别满意度分析的准确率。提高情绪识别满意度分析的准确率。

【技术实现步骤摘要】
情绪识别方法、装置、设备及存储介质


[0001]本专利技术涉及人脸识别
，尤其涉及一种情绪识别方法、装置、设备及存储介质。

技术介绍

[0002]视觉场景的情绪识别应用越来越广泛，其中包括不同业务场景下的满意度分析评估，通过对用户的面部信息进行信号处理和分析，确定用户当前的情绪状态进而分析用户对当前业务的满意程度。
[0003]目前，视觉场景的情绪识别，无法定位业务场景进而无法找到具有业务分析价值的业务片段；同时，现有的情绪识别对于面部表情的分类、图像的清晰度和人脸的角度要求都比较高，无法筛选出有效人脸进行满意度分析评估；此外，仅仅依靠用户的面部表情进行满意度分析评估，判断决策单一，准确率较低。

技术实现思路

[0004]本专利技术的主要目的在于提供一种情绪识别方法、装置、设备及存储介质，旨在提高情绪识别满意度分析的准确率。
[0005]为实现上述目的，本专利技术实施例提供一种情绪识别方法，所述方法应用于情绪识别装置，所述方法包括以下步骤：
[0006]获取视频文件；
[0007]从所述视频文件中识别具有业务分析价值的业务片段；
[0008]对所述业务片段对应的图像人物进行人脸检测，得到人脸图像；
[0009]对所述人脸图像进行表情识别，得到所述人脸图像的表情识别结果；
[0010]将所述人脸图像的表情识别结果、预先得到的所述人物的抱胸动作识别结果和预先得到的所述人物的点头动作识别结果进行融合，得到融合后的所述人物的情绪结果。
[0011]可选地，所述情绪识别装置包括：业务片段识别模块，所述从所述视频文件中识别具有业务分析价值的业务片段的步骤包括：
[0012]从所述视频文件中读取当前帧的图像；
[0013]对所述当前帧的图像进行人体检测，得到人物在所述当前帧的图像中的位置信息；
[0014]结合所述位置信息，若所述人物的位置稳定且所处面积占所述当前帧的图像1/10以上，则根据人物的服装、所处区域、停留时间中的一种或多种判断人物身份；
[0015]统计全天的时间线，若某一时间段存在不同人物身份且所述时间段超过预设的人物停留时长阈值，则将所述时间段作为具有业务分析价值的时间片段；
[0016]通过所述业务片段识别模块识别所述具有业务分析价值的时间片段，基于所述时间片段得到具有业务分析价值的业务片段。
[0017]可选地，所述情绪识别装置还包括：抱胸动作识别模块，所述对所述业务片段对应
的图像人物进行人脸检测，得到人脸图像的步骤之前还包括：
[0018]通过所述抱胸动作识别模块，对所述业务片段对应的图像人物进行抱胸动作识别，得到所述人物的抱胸动作识别结果。
[0019]可选地，所述情绪识别装置还包括：人脸检测模块，所述对所述业务片段对应的图像人物进行人脸检测，得到人脸图像的步骤包括：
[0020]通过所述人脸检测模块，对所述业务片段对应的图像人物进行人脸检测，得到人脸图像；
[0021]基于所述人脸图像获取人脸位置信息，所述人脸位置信息包括检测框的左上角坐标、检测框的右下角坐标和预设数量个人脸关键点坐标。
[0022]可选地，所述情绪识别装置还包括：点头动作识别模块，所述对所述业务片段对应的图像人物进行人脸检测，得到人脸图像的步骤之后还包括：
[0023]根据所述预设数量个人脸关键点坐标，计算所述关键点在相邻时间序列的垂直移动距离；
[0024]基于所述垂直移动距离定义抬头判断条件和低头判断条件；
[0025]通过所述点头动作识别模块，基于所述抬头判断条件和低头判断条件对所述人物的人脸进行点头动作识别，得到所述人物的点头动作识别结果。
[0026]可选地，所述情绪识别装置还包括：无效人脸剔除模块，所述对所述人脸图像进行表情识别，得到所述人脸图像的表情识别结果的步骤之前还包括：
[0027]基于所述人脸位置信息对所述人脸图像进行无效人脸判断，剔除无效人脸，得到剔除无效人脸后的人脸图像。
[0028]可选地，所述情绪识别装置还包括：结果融合模块，所述将所述人脸图像的表情识别结果、预先得到的所述人物的抱胸动作识别结果和预先得到的所述人物的点头动作识别结果进行融合，得到融合后的所述人物的情绪结果的步骤包括：
[0029]确定表情识别结果、抱胸动作识别结果和点头动作识别结果的融合权重；
[0030]通过结果融合模块，结合所述融合权重，将所述人脸图像的表情识别结果、预先得到的所述人物的抱胸动作识别结果和预先得到的所述人物的点头动作识别结果进行融合，得到融合后的所述人物的情绪结果。
[0031]此外，为实现上述目的，本专利技术实施例还提出一种情绪识别装置，所述情绪识别装置包括：
[0032]获取模块，用于获取视频文件；
[0033]业务片段识别模块，用于从所述视频文件中识别具有业务分析价值的业务片段；
[0034]抱胸动作识别模块，用于对所述业务片段对应的图像人物进行抱胸动作识别，得到所述人物的抱胸动作识别结果；
[0035]人脸检测模块，用于对所述业务片段对应的图像人物进行人脸检测，得到人脸图像；
[0036]点头动作识别模块，用于对所述人脸图像进行点头动作识别，得到所述人物的点头动作识别结果；
[0037]无效人脸剔除模块，用于对所述人脸图像进行无效人脸判断，剔除无效人脸，得到剔除无效人脸后的人脸图像；
[0038]表情识别模块，用于对所述剔除无效人脸后的人脸图像进行表情识别，得到所述人脸图像的表情识别结果；
[0039]结果融合模块，用于将所述人脸图像的表情识别结果、所述人物的抱胸动作识别结果和所述人物的点头动作识别结果进行融合，得到融合后的所述人物的情绪结果。
[0040]此外，为实现上述目的，本专利技术实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的情绪识别程序，所述情绪识别程序被所述处理器执行时实现如上所述的情绪识别方法的步骤。
[0041]此外，为实现上述目的，本专利技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有情绪识别程序，所述情绪识别程序被处理器执行时实现如上所述的情绪识别方法的步骤。
[0042]本专利技术实施例提出的一种情绪识别方法、装置、设备及存储介质，所述方法应用于情绪识别装置，其方法包括：获取视频文件；从所述视频文件中识别具有业务分析价值的业务片段；对所述业务片段对应的图像人物进行人脸检测，得到人脸图像；对所述人脸图像进行表情识别，得到所述人脸图像的表情识别结果；将所述人脸图像的表情识别结果、预先得到的所述人物的抱胸动作识别结果和预先得到的所述人物的点头动作识别结果进行融合，得到融合后的所述人物的情绪结果。由此，通过上述方案，融合表情、点头动作和抱胸动作等多维度信息以判断人物情绪，提高情绪识别满意度分析的准确率。
附图说明
[0043]图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情绪识别方法，其特征在于，所述方法应用于情绪识别装置，所述方法包括以下步骤：获取视频文件；从所述视频文件中识别具有业务分析价值的业务片段；对所述业务片段对应的图像人物进行人脸检测，得到人脸图像；对所述人脸图像进行表情识别，得到所述人脸图像的表情识别结果；将所述人脸图像的表情识别结果、预先得到的所述人物的抱胸动作识别结果和预先得到的所述人物的点头动作识别结果进行融合，得到融合后的所述人物的情绪结果。2.如权利要求1所述的情绪识别方法，其特征在于，所述情绪识别装置包括：业务片段识别模块，所述从所述视频文件中识别具有业务分析价值的业务片段的步骤包括：从所述视频文件中读取当前帧的图像；对所述当前帧的图像进行人体检测，得到人物在所述当前帧的图像中的位置信息；结合所述位置信息，若所述人物的位置稳定且所处面积占所述当前帧的图像1/10以上，则根据人物的服装、所处区域、停留时间中的一种或多种判断人物身份；统计全天的时间线，若某一时间段存在不同人物身份且所述时间段超过预设的人物停留时长阈值，则将所述时间段作为具有业务分析价值的时间片段；通过所述业务片段识别模块识别所述具有业务分析价值的时间片段，基于所述时间片段得到具有业务分析价值的业务片段。3.如权利要求2所述的情绪识别方法，其特征在于，所述情绪识别装置还包括：抱胸动作识别模块，所述对所述业务片段对应的图像人物进行人脸检测，得到人脸图像的步骤之前还包括：通过所述抱胸动作识别模块，对所述业务片段对应的图像人物进行抱胸动作识别，得到所述人物的抱胸动作识别结果。4.如权利要求2所述的情绪识别方法，其特征在于，所述情绪识别装置还包括：人脸检测模块，所述对所述业务片段对应的图像人物进行人脸检测，得到人脸图像的步骤包括：通过所述人脸检测模块，对所述业务片段对应的图像人物进行人脸检测，得到人脸图像；基于所述人脸图像获取人脸位置信息，所述人脸位置信息包括检测框的左上角坐标、检测框的右下角坐标和预设数量个人脸关键点坐标。5.如权利要求4所述的情绪识别方法，其特征在于，所述情绪识别装置还包括：点头动作识别模块，所述对所述业务片段对应的图像人物进行人脸检测，得到人脸图像的步骤之后还包括：根据所述预设数量个人脸关键点坐标，计算所述关键点在相邻时间序列的垂直移动距离；基于所述垂直移动距离定义抬头判断条件和低头判断条件；通过所述点头动作识别模块，基于所述抬头判断条件和低头判断...

【专利技术属性】
技术研发人员：毛萌，余炜杰，谭林祥，李国鸣，钱学成，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：