一种基于深度学习的情绪强度估计方法及系统技术方案

本发明专利技术提供一种基于深度学习的情绪强度估计方法及系统，所述方法包括：接收用户视频图像；提取所述视频图像中的面部图像特征和头部图像特征；基于所述面部图像特征和头部图像特征利用训练好的深度卷积神经网络计算所述用户的情绪强度；以及根据所述情绪强度级别输出相应报警信息。本发明专利技术提供的基于深度学习的情绪强度估计方法和系统不需要用户专门配合，可以在对话过程中通过对用户面部特征和头部特征的融合分析，实现对用户情绪强度的非接触式自动评估，因此易于实现并且在使用上非常灵活和方便。

A Method and System of Emotional Intensity Estimation Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的情绪强度估计方法及系统
本专利技术涉及视频图像处理
，具体而言涉及一种基于深度学习的情绪强度估计方法及系统。
技术介绍
随着图像处理技术的进步，目前出现了许多方法，能够根据采集到的面部图像，识别面部表情，将表情进行分类：如分为高兴、悲伤以及中间态，再如分为激动、平静，或者分为疑惑、害怕、伤心、吃惊等等。分类的方式很多，但是目前这些方法只能针对表情进行粗略的分类，无法获知表情分类下的具体强度，如有多高兴、多悲伤等等，即未基于表情识别做出表情强度的估计。近年来，开始慢慢有相关研究开始投入到基于表情识别的情绪强度估计研究中来。然而，仅仅通过面部表情来表征情绪强度都存在着缺陷，即忽略了情绪表达的另一个途径——头部的晃动剧烈程度。
技术实现思路
针对现有技术的不足，本专利技术提出一种基于深度学习的情绪强度估计方法，所述方法包括：步骤S101：接收用户视频图像；步骤S102：提取用户视频图像中的面部图像特征和头部图像特征；步骤S103：基于面部图像特征和头部图像特征利用训练好的深度卷积神经网络计算用户情绪强度级别；以及步骤S104：根据所述情绪强度级别输出相应报警信息。示例性地，所述步骤S102包括：在所述用户视频图像中分割出面部、头部区域；针对所述面部区域，检测并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取尺度不变特征变换(SIFT)特征，以得到面部区域特征向量；以及针对所述头部区域，检测并标记头部区域关键点，计算所述头部区域各关键点的运动矢量，并使用有限长单位冲激响应(IIR)滤波器对所述头部区域各关键点的运动矢量进行时域滤波，以得到头部区域特征向量。根据本专利技术的实施例，所述深度卷积神经网络的训练包括：采集不同人的视频图像并标记出情绪强度级别；在所采集的视频图像的面部区域上提取尺度不变特征变换(SIFT)特征以得到面部区域特征向量；在所采集的视频图像的头部区域上提取运动矢量特征并进行时域滤波以得到头部区域特征向量；以所标记的情绪强度级别为训练目标，利用所述面部区域特征向量和头部区域特征向量对所述深度卷积神经网络进行训练。示例性地，所述步骤S104包括：当所述情绪强度高于预定级别，则输出关于所述用户情绪强度过高的报警信息。另一方面，本专利技术还提供一种基于深度学习的情绪强度估计系统，所述系统包括：视频接收模块，用于接收用户视频图像；特征提取模块，用于提取用户视频图像中的面部图像特征和头部图像特征；情绪强度计算模块，用于基于面部图像特征和头部图像特征利用训练好的深度卷积神经网络计算用户情绪强度；以及告警输出模块，用于根据所述情绪强度级别输出相应报警信息。示例性地，所述特征提取模块通过如下方法实现：在所述用户视频图像中分割出面部区域、头部区域；针对所述面部区域，检测并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取尺度不变特征变换(SIFT)特征，以得到面部区域特征向量；以及针对所述头部区域，检测并标记头部区域关键点，计算所述头部区域各关键点的运动矢量，并使用有限长单位冲激响应(IIR)滤波器对所述头部区域各关键点的运动矢量进行时域滤波，以得到头部区域特征向量。根据本专利技术的实施例，所述深度卷积神经网络的训练包括：采集不同人的视频图像并标记出情绪强度级别；在所采集的视频图像的面部区域上提取尺度不变特征变换(SIFT)特征以得到面部区域特征向量；在所采集的视频图像的头部区域上提取运动矢量特征并进行时域滤波以得到头部区域特征向量；以所标记的情绪强度级别为训练目标，利用所述面部区域特征向量和头部区域特征向量对所述深度卷积神经网络进行训练。示例性地，所述告警输出模块用于根据所述情绪强度级别输出相应报警信息。其中，当所述情绪强度高于预定级别，则输出关于所述用户情绪强度级别过高的报警信息。本专利技术提供的基于深度学习的情绪强度估计方法和系统不需要用户专门配合，可以在对话过程中自动进行分析，甚至可以做到在不被察觉的境况下对用户进行情绪强度评估。因此，本专利技术提供的基于深度学习的情绪强度估计方法和系统易于实现并且在使用上非常灵活和方便。附图说明本专利技术的下列附图在此作为本专利技术的一部分用于理解本专利技术。附图中示出了本专利技术的实施例及其描述，用来解释本专利技术的原理。附图中：图1示出了根据本专利技术的实施例的一种基于深度学习的情绪强度估计方法100的流程图；图2示出了根据本专利技术的实施例的一种深度卷积神经网络的功能性示意图；图3示出了根据本专利技术的实施例的一种基于深度学习的情绪强度估计系统200的结构框图；以及图4示出了根据本专利技术实施例的一种深度卷积神经网络模型的架构示例图。具体实施方式在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。应当理解的是，本专利技术能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本专利技术的范围完全地传递给本领域技术人员。在此使用的术语的目的仅在于描述具体实施例并且不作为本专利技术的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。为了彻底理解本专利技术，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本专利技术的技术方案。本专利技术的较佳实施例详细描述如下，然而除了这些详细描述外，本专利技术还可以具有其他实施方式。本专利技术提出一种基于深度学习的情绪强度估计方法和系统，其通过捕捉说话人的面部区域和头部区域的微小变化来评估说话人的情绪强度。本专利技术提供的基于深度学习的情绪强度估计方法和系统仅需要普通的摄像装置加上软件系统即可实现。图1示出了根据本专利技术实施例的一种基于深度学习的情绪强度估计方法100的流程图。下面参照图1来具体描述根据本专利技术实施例的一种基于深度学习的情绪强度估计方法100。根据本专利技术的实施例的，基于深度学习的情绪强度估计方法100包括如下步骤：步骤S101：接收用户(即被测试的人)视频图像。例如，用户通过摄像装置回答提问者的问题，这时摄像装置录制其视频图像。示例性地，本步骤中用户的视频图像可以通过普通的基于可见光的彩色或灰度摄像装置进行采集，所述摄像装置例如普通摄像头、网络摄像头、手机的前置摄像头等。采集得到视频图像序列由根据本专利技术实施例的基于深度学习的情绪强度估计系统逐帧进行接收，在本文稍后部分将结合图3对该系统进行详细说明。步骤S102：提取用户视频图像中的面部图像特征和头部图像特征。当然，本步骤也可以不提取用户视频图像的每一帧的图像特征，而是选择性地提取用户视频图像中的某一帧或某几帧，以减少运算量。也就是说，在本步骤中，提取所述用户视频图像中至少一帧的图本文档来自技高网...

【技术保护点】
1.一种基于深度学习的情绪强度估计方法，其特征在于，所述方法包括：步骤S101：接收用户视频图像；步骤S102：提取用户视频图像中的面部图像特征和头部图像特征；步骤S103：基于面部图像特征和头部图像特征利用训练好的深度卷积神经网络计算用户情绪强度级别；以及步骤S104：根据所述情绪强度级别输出相应报警信息。

【技术特征摘要】
1.一种基于深度学习的情绪强度估计方法，其特征在于，所述方法包括：步骤S101：接收用户视频图像；步骤S102：提取用户视频图像中的面部图像特征和头部图像特征；步骤S103：基于面部图像特征和头部图像特征利用训练好的深度卷积神经网络计算用户情绪强度级别；以及步骤S104：根据所述情绪强度级别输出相应报警信息。2.如权利要求1所述的基于深度学习的情绪强度估计方法，其特征在于，所述步骤S102包括：在所述用户视频图像中分割出面部、头部区域；针对所述面部区域，检测并标记面部区域关键点，计算所述面部区域各关键点的位置与面部区域关键点平均位置的距离，并针对面部区域各关键点提取尺度不变特征变换(SIFT)特征，以得到面部区域特征向量；以及针对所述头部区域，检测并标记头部区域关键点，计算所述头部区域各关键点的运动矢量，并使用有限长单位冲激响应(IIR)滤波器对所述头部区域各关键点的运动矢量进行时域滤波，以得到头部区域特征向量。3.如权利要求1所述的基于深度学习的情绪强度估计方法，其特征在于，所述深度卷积神经网络的训练包括：采集不同人的视频图像并标记出情绪强度级别；在所采集的视频图像的面部区域上提取尺度不变特征变换(SIFT)特征以得到面部区域特征向量；在所采集的视频图像的头部区域上提取运动矢量特征并进行时域滤波以得到头部区域特征向量；以所标记的情绪强度级别为训练目标，利用所述面部区域特征向量和头部区域特征向量对所述深度卷积神经网络进行训练。4.如权利要求1所述的基于深度学习的情绪强度估计方法，其特征在于，所述步骤S104包括：当所述情绪强度高于预定级别时，输出关于所述用户情绪强度过高的报警信息。5.一种基于深度学习...

【专利技术属性】
技术研发人员：王春雷，尉迟学彪，毛鹏轩，
申请(专利权)人：北京入思技术有限公司，
类型：发明
国别省市：北京,11