一种情感检测方法和装置制造方法及图纸

本申请公开了一种情感检测方法和装置，该方法包括以下步骤：采集人脸的视频流，从所述视频流中获取多帧人脸图像；对所述多帧人脸图像进行处理，定位面部的多个肌肉群的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的时序变化数据；根据所述时序变化数据，输出所述人脸对应的多项情感以及各项情感的置信度。本申请根据面部肌肉群轮廓内的每个像素点的振幅和振动频率确定人脸对应的情感，检测准确性较高，且应用范围广，使用方便。使用方便。使用方便。

【技术实现步骤摘要】
一种情感检测方法和装置


[0001]本申请属于人工智能
，具体涉及一种情感检测方法和装置。

技术介绍

[0002]目前，通过视频流非接触情感检测的主要方法是表情识别，而人们在很多情况下擅长伪装或抑制真实情感，因此，使用计算机视觉和模式识别技术进行情感检测成为一种重要的技术手段。
[0003]2009年，Shreve等将人脸划分为几个主要区域，采用稠密光流法提取图像特征值并使用中心插分法估计光流变化，通过与设定的阈值比较来检测微表情；同年，Polikovsky等采用3D梯度方向直方图的方法在自己的微表情数据库中检测出微表情起始阶段、峰值阶段和结束阶段的持续时间；2011年，Sherve等人利用光流法在自己建立的表情和微表情混合数据库上对两种表情(宏表情和微表情)开展了检测实验，其中微表情的检测准确率达到74％；随后Wu等人采用提取图像Gabor特征并由SVM分类训练的方法捕捉微表情。2014年，Moilanen等提出利用LBP直方图特征计算图像序列的时空信息来检测微表情；随后Davison等用HPG特征代替LBP特征提取图像序列特征后，设定了一个基线阈值通过对比来检测微表情。然而，上述现有技术均无法精确地实现情感检测。
[0004]申请内容
[0005]本申请实施例的目的是提供一种情感检测方法和装置，以解决现有技术无法精确地实现情感检测的缺陷。
[0006]为了解决上述技术问题，本申请是这样实现的：
[0007]第一方面，提供了一种情感检测方法，包括以下步骤：
[0008]采集人脸的视频流，从所述视频流中获取多帧人脸图像；
[0009]对所述多帧人脸图像进行处理，定位面部的多个肌肉群的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的时序变化数据；
[0010]根据所述时序变化数据，输出所述人脸对应的多项情感以及各项情感的置信度。
[0011]第二方面，提供了一种情感检测装置，包括：
[0012]采集模块，用于采集人脸的视频流，从所述视频流中获取多帧人脸图像；
[0013]处理模块，用于对所述多帧人脸图像进行处理，定位面部的多个肌肉群的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的时序变化数据；
[0014]输出模块，用于根据所述时序变化数据，输出所述人脸对应的多项情感以及各项情感的置信度。
[0015]本申请实施例根据面部肌肉群轮廓内的每个像素点的振幅和振动频率确定人脸对应的情感，检测准确性较高，且应用范围广，使用方便。
附图说明
[0016]图1是本申请实施例提供的一种情感检测方法流程图；
[0017]图2是本申请实施例提供的情感检测方法的一种具体实现图；
[0018]图3是本申请实施例提供的一种情感检测专用设备的具体实现图；
[0019]图4是本申请实施例提供的一种情感检测装置的结构示意图。
具体实施方式
[0020]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0021]本申请实施例提出一种基于面部肌肉微震颤的情感检测方法和装置，创造性地使用了面部肌肉微震颤的振幅和频率的细微变化来定义不同的情感。由于面部肌肉微震颤是无意识的自然反应，通过连续计算肌肉微震颤的振幅和频率并分析其随时序的细微变化可更客观的获取到更真实的情感表达。本申请实施例使用专用的摄像头，基于面部肌肉群微震颤的振幅和频率这种生理特征来表征情绪，让面部大量的像素点参与计算，识别的情感更丰富；按照30秒的时序变化来输出情感，更关注动态变化，使得准确性更高，并且可识别真实的情感和伪装的情感。
[0022]具体地，情感检测的具体过程包括：利用摄像头捕捉人脸视频，从输入的视频信号中进行逐帧处理，对每一帧图像的人脸面部进行识别，并且定位面部多个肌肉群的轮廓，通过肌肉群轮廓内的每个像素点在连续帧图像中的位移，计算出每个像素点运动的振幅和频率。每个肌肉群内像素点运动的振幅和频率的数值以及随时间的变化跟人的情感密切相关，将计算出的多个肌肉群微震颤的振幅和频率的时序变化数据进行深度学习引擎关联和分析，可以识别出多种情感。
[0023]此外，情感检测装置由信息采集单元、计算单元、情感分析单元组成，信息采集单元通过30帧/秒的摄像头采集人脸视频，并且每秒得到30帧包含不小于400*400像素的人脸图像。计算单元计算肌肉群内像素点在连续多帧中发生的位移，从而计算出肌肉微震颤的振幅和频率以及时序变化数据。情感分析单元通过多种情感模型的深度学习结果实现情感检测。
[0024]具体地，信息采集单元包括视频采集模块和视频处理模块，视频采集模块实现摄像头中视频流的获取，视频处理模块得到帧图像。计算单元包括面部肌肉群轮廓计算模块、像素点振幅和频率计算模块、时序变化数据获取模块。情感分析单元包括情感分析模块和深度学习引擎模块，深度学习引擎模块在情感状态反馈、监督学习等人为调整下对大量数据进行训练得到持续优化的情感分析模型。情感分析模块使用优化过的情感分析模型进行准确的情感检测。
[0025]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的情感检测方法进行详细地说明。
[0026]如图1所示，为本申请实施例提供的一种情感检测方法流程图，该方法包括以下步骤：
[0027]步骤101，采集人脸的视频流，从所述视频流中获取多帧人脸图像。
[0028]步骤102，对所述多帧人脸图像进行处理，定位面部的多个肌肉群的轮廓，并获取
面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的时序变化数据。
[0029]具体地，可以基于肌肉群轮廓定义模型，在每帧人脸图像上定位面部肌肉群轮廓内的各个像素点；根据各个像素点在连续的人脸图像中发生的位移，计算各个像素点的振幅和频率，并获取所述振幅和所述频率在预设时间内的时序变化数据。
[0030]步骤103，根据所述时序变化数据，输出所述人脸对应的多项情感以及各项情感的置信度。
[0031]具体地，可以将所述时序变化数据输入预置的情感分析模型，输出所述人脸对应的多项情感以及各项情感的置信度。
[0032]其中，人脸对应的多项情感包括以下情感中的多个：压力、紧张、焦躁、沮丧、愤怒、喜悦、惊讶、悲伤、恐惧、假装紧张、假装沮丧、假装愤怒、假装喜悦、假装惊讶、假装悲伤和假装恐惧。
[0033]本实施例中，还可以进行深度学习引擎关联和分析，优化所述情感分析模型。
[0034]本申请实施例根据面部肌肉群轮廓内的每个像素点的振幅和振动频率确定人脸对应的情感，检测准确性较高，且应用范围广，使用方便。
[0035]在本申请实施例中，如图2所示，其具体实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情感检测方法，其特征在于，包括以下步骤：采集人脸的视频流，从所述视频流中获取多帧人脸图像；对所述多帧人脸图像进行处理，定位面部的多个肌肉群的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的时序变化数据；根据所述时序变化数据，输出所述人脸对应的多项情感以及各项情感的置信度。2.根据权利要求1所述的方法，其特征在于，所述对所述多帧人脸图像进行处理，定位面部的多个肌肉群的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的时序变化数据，具体包括：基于肌肉群轮廓定义模型，在每帧人脸图像上定位面部肌肉群轮廓内的各个像素点；根据各个像素点在连续的人脸图像中发生的位移，计算各个像素点的振幅和频率，并获取所述振幅和所述频率在预设时间内的时序变化数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述时序变化数据，输出所述人脸对应的多项情感以及各项情感的置信度，具体包括：将所述时序变化数据输入预置的情感分析模型，输出所述人脸对应的多项情感以及各项情感的置信度。4.根据权利要求3所述的方法，其特征在于，还包括：进行深度学习引擎关联和分析，优化所述情感分析模型。5.根据权利要求1所述的方法，其特征在于，所述人脸对应的多项情感包括以下情感中的多个：压力、紧张、焦躁、沮丧、愤怒、喜悦、惊讶、悲伤、恐惧、假装紧张、假装...

【专利技术属性】
技术研发人员：翁彦，曾青，李钟旭，
申请(专利权)人：北京数智天安科技有限公司，
类型：发明
国别省市：