基于表情识别及脑电融合的观影印象检测方法技术

基于表情识别及脑电融合的观影印象检测方法，属于观影印象检测领域。本发明专利技术为解决现有技术中无法定量评定用户对广告内容的主观印象以及不利于在大数据层面上分析的问题。本发明专利技术检测方法包括如下：采集观影时间段内的观影表情变化视频及脑电信号；根据观影表情变化视频，获得观看过程中的愉悦程度B1和专注程度B2，并将B1与B2的乘积作为表情印象指数m

【技术实现步骤摘要】
基于表情识别及脑电融合的观影印象检测方法
本专利技术属于观影印象检测领域。
技术介绍
视频广告是重要的营销手段，是生产商向用户传递产品信息的主要渠道。从观看者获得对广告的主观印象，能够反映出用户对于广告内容的喜好程度，这对指导生产商改进广告内容，合理选择目标投放人群等营销策略有重要意义。此外，对人的情绪的自动识别对于高级人机交互系统的发展具有重要的意义。在人机交互系统中，如果能够准确且快速地识别出人的情绪，可以针对人的情绪使交互过程更加智能和友好。情绪识别也可以应用于军事领域，帮助指挥官实时了解战士的精神状态。而在驾驶安全领域，对于司机的情绪识别和监测可以防止司机在极端情绪下驾驶造成的安全隐患。目前调研广告效果常用方法为“直接询问法”和“销量对比法”。这些方法不能用量化指标衡量广告观看者对广告内容的主观印象，也不利于在大数据层面上分析，因此，以上问题亟需解决。
技术实现思路
本专利技术目的是为了解决现有技术中无法定量评定用户对广告内容的主观印象以及不利于在大数据层面上分析的问题，提供了一种基于表情识别及脑电融合的观影印象检测方法。基于表情识别及脑电融合的观影印象检测方法，该方法包括如下过程：步骤一、采集观影时间段内的观影表情变化视频及脑电信号；步骤二、根据观影时间段内的观影表情变化视频，获得观看过程中的愉悦程度B1和专注程度B2，并将愉悦程度B1与专注程度B2的乘积作为表情印象指数m1；步骤三、对观影时间段内的脑电信号进行傅里叶变化，获得功率谱密度P(w)；再根据功率谱密度P(w)获得各频段的频带能量占比及相关频段的频带能量比；步骤四、将步骤三获得的各频段的频带能量占比及相关频段的频带能量比送入支持向量机SVM，获得脑电印象指数m2；步骤五、利用DS决策融合算法对步骤二获得的表情印象指数m1和步骤四获得的脑电印象指数m2进行融合，从而获得决策结果m，并将决策结果m作为观影印象指数。优选的是，步骤二中愉悦程度B1的实现方式包括：步骤二一一、通过表情识别模型对观影时间段内的观影表情变化视频中的每帧图像进行特征提取，获得每帧图像所对应的观影表情；所述观影表情包括高兴表情和中性表情；步骤二一二、再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1。优选的是，步骤二一二中，再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1的实现方式包括：首先、根据每帧图像所对应的观影表情，获得整个观影时间段内高兴表情所对应的时长和中性表情所对应的时长；其次，将整个观影时间段内高兴表情所对应的时长除以整个观影时间段内中性表情所对应的时长的比值结果，作为愉悦程度B1。优选的是，步骤二中专注程度B2的实现方式包括：步骤二二一、通过眨眼检测模型获得观影时间段内的眨眼总次数；步骤二二二、根据观影时间段内的眨眼总次数，获得的平均每分钟眨眼次数n；步骤二二三、根据平均每分钟眨眼次数n，换算出专注程度B2。优选的是，步骤二二三中、根据平均每分钟眨眼次数n，换算出专注程度B2的实现方式为：优选的是，眨眼检测模型采用眨眼检测算法实现。优选的是，步骤三中，根据功率谱密度P(w)，获得各频段的频带能量占比及相关频段的频带能量比的实现方式包括：步骤三一、将脑电信号依次划分成4个频段，其分别为频段δ、θ、α和β；步骤三二、根据功率谱密度P(w)，统计脑电信号在频段δ、θ、α和β上分别对应的频带能量Eδ、Eθ、Eα和Eβ；其中，w为频率；步骤三三、分别根据频带能量Eδ、Eθ、Eα和Eβ，获得频段δ、θ、α和β分别对应的频带能量Eδ、Eθ、Eα和Eβ在总频带能量中的占比Ri，其中，i为变量，i＝δ,θ,α,β；Rδ为频段δ所对应的频带能量Eδ在总能量中的占比；Rθ为频段θ所对应的频带能量Eθ在总能量中的占比；Rα为频段α所对应的频带能量Eα在总能量中的占比；Rβ为频段β所对应的频带能量Eβ在总能量中的占比；步骤三四、根据频带能量Eδ、Eθ、Eα和Eβ，获得Kδ-α、Kθ-β和K；其中，Kδ-α表示频段δ所对应的频带能量Eδ与频段α所对应的频带能量Eα的比值；Kθ-β表示频段θ所对应的频带能量Eθ与频段β所对应的频带能量Eβ的比值；K表示低频波段频带能量与高频波段频带能量比值。优选的是，步骤三二中，w的单位为Hz；步骤三三中，优选的是，步骤二一一中，表情识别模型采用含有Inception结构的深度神经网络实现。优选的是，步骤五中、利用DS决策融合算法对步骤二获得的表情印象指数m1和步骤四获得的脑电印象指数m2进行融合，从而获得决策结果m的实现方式为：K′为冲突因子。本专利技术带来的有益效果是：本专利技术根据用户观看过程中的面部表情变化和脑电信号频带能量占比来推知某个用户对该广告的主观印象，量化用户的主观印象，以直观地反映用户对广告内容的喜好程度，便于生产产商改进广告内容，以适用通过量化用户的主观印象，以实现在大数据层面上对观影印象的分析。实验人员的面部信息和生理信息属于明显的异构信息，且具有互补的特性。对于这些多源异构信息，一般从特征级融合和决策级融合两个层次来展开。本专利技术引入基于多核学习的特征层融合、基于典型相关分析的特征融合和基于D-S证据理论的决策层融合对图像特征及脑电特征进行融合提高实验人员观影印象检测准确率。附图说明图1是本专利技术所述基于表情识别及脑电融合的观影印象检测方法进行决策融合的原理示意图；图2是频段δ、θ、α和β上的能量占比示意图；其中，横轴表示采样时间，单位为秒，纵轴表示频带能量占比；图2a为频段δ所对应的能量占比Rδ示意图；图2b为频段θ所对应的能量占比Rθ示意图；图2c为频段α所对应的能量占比Rα示意图；图2d为频段β所对应的能量占比Rβ示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。参见图1说明本实施方式，本实施方式所述的基于表情识别及脑电融合的观影印象检测方法，该方法包括如下过程：步骤一、采集观影时间段内的观影表情变化视频及脑电信号；步骤二、根据观影时间段内的观影表情变化视频，获得观看过程中的愉悦程度B1和专注程度B2，并将愉悦程度B1与专注程度B2的乘积作为表情印象指数m1；步骤三、对观影时间段内的脑电信号进行傅里叶变化，获得功率谱密度P(w)；再根据功率谱密度P本文档来自技高网...

【技术保护点】
1.基于表情识别及脑电融合的观影印象检测方法，其特征在于，该方法包括如下过程：/n步骤一、采集观影时间段内的观影表情变化视频及脑电信号；/n步骤二、根据观影时间段内的观影表情变化视频，获得观看过程中的愉悦程度B1和专注程度B2，并将愉悦程度B1与专注程度B2的乘积作为表情印象指数m

【技术特征摘要】
1.基于表情识别及脑电融合的观影印象检测方法，其特征在于，该方法包括如下过程：
步骤一、采集观影时间段内的观影表情变化视频及脑电信号；
步骤二、根据观影时间段内的观影表情变化视频，获得观看过程中的愉悦程度B1和专注程度B2，并将愉悦程度B1与专注程度B2的乘积作为表情印象指数m1；
步骤三、对观影时间段内的脑电信号进行傅里叶变化，获得功率谱密度P(w)；再根据功率谱密度P(w)获得各频段的频带能量占比及相关频段的频带能量比；
步骤四、将步骤三获得的各频段的频带能量占比及相关频段的频带能量比送入支持向量机SVM，获得脑电印象指数m2；
步骤五、利用DS决策融合算法对步骤二获得的表情印象指数m1和步骤四获得的脑电印象指数m2进行融合，从而获得决策结果m，并将决策结果m作为观影印象指数。


2.根据权利要求1所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤二中愉悦程度B1的实现方式包括：
步骤二一一、通过表情识别模型对观影时间段内的观影表情变化视频中的每帧图像进行特征提取，获得每帧图像所对应的观影表情；所述观影表情包括高兴表情和中性表情；
步骤二一二、再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1。


3.根据权利要求2所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤二一二中，再根据每帧图像所对应的观影表情获得整个观影过程的愉悦程度B1的实现方式包括：
首先、根据每帧图像所对应的观影表情，获得整个观影时间段内高兴表情所对应的时长和中性表情所对应的时长；
其次，将整个观影时间段内高兴表情所对应的时长除以整个观影时间段内中性表情所对应的时长的比值结果，作为愉悦程度B1。


4.根据权利要求1所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤二中专注程度B2的实现方式包括：
步骤二二一、通过眨眼检测模型获得观影时间段内的眨眼总次数；
步骤二二二、根据观影时间段内的眨眼总次数，获得的平均每分钟眨眼次数n；
步骤二二三、根据平均每分钟眨眼次数n，换算出专注程度B2。


5.根据权利要求4所述的基于表情识别及脑电融合的观影印象检测方法，其特征在于，步骤二二三中、根据平均每分钟眨眼次数n，换算出专...

【专利技术属性】
技术研发人员：张美妍，刘丹，王启松，赵博琪，曹天傲，孙金玮，刘润樵，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江;23