一种基于多媒体信号的情绪检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于多媒体信息的情绪检测方法，包括：实时收集待检测用户的多媒体信息并将实时收集到的多媒体信息添加上时间戳，其中，多媒体信息包括待检测用户的可见光视频图像、热成像视频图像、雷达射频信号以及声音信号；根据多媒体信息的时间戳，将多媒体信息进行数据对齐，根据预设时长，将多媒体信息进行分割并对分割后的多媒体信息进行数据特征提取，得到多媒体信息的数据特征，其中，相邻的分割处理后的多媒体信息存在相同的交叉片段；通过多模态融合的深度神经网络模型对多媒体信息的数据特征数据融合，得到情绪检测结果，并将情绪检测结果反馈给待检测用户。本发明专利技术还公开了基于多媒体信息的情绪检测装置、电子设备以及存储介质。子设备以及存储介质。子设备以及存储介质。

【技术实现步骤摘要】
一种基于多媒体信号的情绪检测方法及装置


[0001]本专利技术涉及深度学习与视频情感识别领域，尤其涉及一种于多媒体信号的情绪检测方法、装置、电子设备以及存储介质。

技术介绍

[0002]情绪是一种人类独有的主观感受，是一系列主观认知经验的统称。自从电话、手机和网络普及以来，人们越来越感受到情绪在人类沟通交流的过程之中的重要性。文字和语音的沟通因为对于对方情绪理解的限制，在很多情况下会因为无法准确地理解交流对象的情绪状态而造成不必要的误解。而在人机交互领域更是如此，人们始终认为人机交互终端缺乏“人情味”，不能准确地理解他们的情绪和意图，这同样是因为机器缺乏对人类情绪的准确理解。除此之外，利用计算机的方法对人类理解人类的情绪还有许多重要的应用价值，如机场安检、人力资源面试、测谎测试等等。但是人们一直以来难以通过计算的方法对情绪进行准确地估测。
[0003]随着情感识别技术的发展，人们对于情绪的理解越来越深入。目前一种受到广泛认可的理论是唤醒
‑
效价理论。这种理论将人们的情绪分解为唤醒和效价两个维度，其中唤醒代表的是情绪的强度，而效价则表现情绪的积极程度。通过这种理论，可以将人类的基本情绪分解，进而从不同的维度进行情绪的检测。
[0004]现有情绪检测方法主要分为接触式和非接触式两种。然而，接触式情绪检测方法虽然准确率较高但应用场景有限，无法大规模推广；非接触式情绪检测方法存在准确率较低等问题。

技术实现思路

[0005]鉴于上述问题，本专利技术提供了一种基于多媒体信号的情绪检测方法、装置、电子设备以及存储介质，以期至少能够解决上述问题之一。
[0006]根据本专利技术的第一个方面，提供了一种基于多媒体信息的情绪检测方法，包括：
[0007]实时收集待检测用户的多媒体信息并将实时收集到的多媒体信息添加上时间戳，其中，多媒体信息包括待检测用户的可见光视频图像、热成像视频图像、雷达射频信号以及声音信号；
[0008]根据多媒体信息的时间戳，将多媒体信息进行数据对齐，根据预设时长，将多媒体信息进行分割并对分割后的多媒体信息进行数据特征提取，得到多媒体信息的数据特征，其中，相邻的分割处理后的多媒体信息存在相同的交叉片段；
[0009]通过多模态融合的深度神经网络模型对多媒体信息的数据特征数据融合，得到情绪检测结果，并将情绪检测结果反馈给待检测用户。
[0010]根据本专利技术的实施例，上述待检测用户的可见光视频图像用于提取视频图像的颜色通道、用于通过远程光电容积脉搏波来计算待检测用户的心率和血氧信号、用于校正并提取待检测用户的热成像视频图像中的区域关键点以及用于获取待检测用户的面部表情
特征。
[0011]根据本专利技术的实施例，上述待检测用户的可见光视频图像用于校正并提取待检测用户的热成像视频图像中的区域关键点通过以下操作实现：
[0012]将存在位置偏移的可见光摄像设备和热成像摄像设备的视频信号进行标定，并根据可见光视频图像中待检测用户的面部标定区域，对热成像视频图像中待检测用户的面部区域进行框选；
[0013]提取框选区域内的热成像视频图像的最大的N个灰度值数据的均值作为当前时间点的框选区域内的热成像视频图像的灰度值，其中，N为正整数；
[0014]重复提取多个时间点的框选区域内的热成像视频图像的灰度值，得到热成像视频图像的灰度曲线，其中，灰度曲线用于反映待检测用户的面部温度随时间的变化情况并用于计算待检测用户的生理信号。
[0015]根据本专利技术的实施例，上述对分割后的多媒体信息进行数据特征提取，得到多媒体信息的数据特征包括：
[0016]根据预设面部血流的横向流动的特征函数，对分割后的多媒体信息对可见光视频图像和/或热成像视频图像进行面部横向血流特征提取，得到待检测用户的面部横向血流特征数据。
[0017]根据本专利技术的实施例，上述预设面部血流的横向流动的特征函数根据公式(1)和(2)确定：
[0018]T
l
‑
r
(t)＝T
l
(t)
‑
T
r
(t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)，
[0019][0020]其中，T
l
(t)和T
r
(t)分别是左脸和右脸的归一化序列，V
l
‑
r
(t)可以对左右脸之间血流进行积分提取了横向面部血流特征，t
e
和t
s
分别表示序列结束和开始的时刻，表示序列的均值。
[0021]根据本专利技术的实施例，上述多模态融合的深度神经网络模型基于深度神经网络变压器的数据融合架构进行构建；
[0022]根据本专利技术的实施例，上述多模态融合的深度神经网络模型的损失函数包括交叉损失熵函数和对比学习损失函数，由公式(3)确定：
[0023][0024]其中，E表示取期望，o
i
是模型的输出，q是当前样本的输出，k
+
和k
i
分别表示正样本的输出和任意样本的输出，τ是一个可调节的参数，用以控制模型的分布形状。
[0025]根据本专利技术的第二个方面，提供了一种基于多媒体信息的情绪检测装置，包括：
[0026]数据实时收集模块，用于实时收集待检测用户的多媒体信息并将实时收集到的多媒体信息添加上时间戳，其中，多媒体信息包括待检测用户的可见光视频图像、热成像视频图像、雷达射频信号以及声音信号；
[0027]数据预处理模块，用于根据多媒体信息的时间戳，将多媒体信息进行数据对齐，并根据预设时间间隔，将多媒体信息进行分割，其中，相邻的分割处理后的多媒体信息存在相
同的交叉片段；
[0028]情绪检测模块，用于通过多模态融合的深度神经网络模型对分割后的多媒体信息进行数据特征提取和数据特征融合，得到情绪检测结果，并将情绪检测结果反馈给待检测用户
[0029]根据本专利技术的第三个方面，提供了一种电子设备，包括：
[0030]一个或多个处理器；
[0031]存储装置，用于存储一个或多个程序，
[0032]其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述基于多媒体信号的情绪检测方法。
[0033]根据本专利技术的第四个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述基于多媒体信号的情绪检测方法。
[0034]本专利技术所提供的上述基于多媒体信号的情绪检测方法，能够实现非接触式的实时情绪检测和显示，融合多种多媒体、射频信号，在提升准确率的使得检测环境更加宽松，检测结果更加客观、能够有效地排除主观因素对情绪理解的影响。
附图说明
[0035]图1是根据本专利技术实施例的基于多媒体信息的情绪检测方法的流程图；
[0036]图2是根据本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多媒体信息的情绪检测方法，包括：实时收集待检测用户的多媒体信息并将实时收集到的多媒体信息添加上时间戳，其中，所述多媒体信息包括待检测用户的可见光视频图像、热成像视频图像、雷达射频信号以及声音信号；根据所述多媒体信息的时间戳，将所述多媒体信息进行数据对齐，根据预设时长，将所述多媒体信息进行分割并对所述分割后的多媒体信息进行数据特征提取，得到多媒体信息的数据特征，其中，相邻的分割处理后的多媒体信息存在相同的交叉片段；通过多模态融合的深度神经网络模型对所述多媒体信息的数据特征数据融合，得到情绪检测结果，并将所述情绪检测结果反馈给所述待检测用户。2.根据权利要求1所述的方法，其中，所述待检测用户的可见光视频图像用于提取视频图像的颜色通道、用于通过远程光电容积脉搏波来计算所述待检测用户的心率和血氧信号、用于校正并提取所述待检测用户的热成像视频图像中的区域关键点以及用于获取所述待检测用户的面部表情特征。3.根据权利要求2所述的方法，其中，所述待检测用户的可见光视频图像用于校正并提取所述待检测用户的热成像视频图像中的区域关键点通过以下操作实现：将存在位置偏移的可见光摄像设备和热成像摄像设备的视频信号进行标定，并根据所述可见光视频图像中所述待检测用户的面部标定区域，对所述热成像视频图像中所述待检测用户的面部区域进行框选；提取框选区域内的热成像视频图像的最大的N个灰度值数据的均值作为当前时间点的框选区域内的热成像视频图像的灰度值，其中，N为正整数；重复提取多个时间点的框选区域内的热成像视频图像的灰度值，得到所述热成像视频图像的灰度曲线，其中，所述灰度曲线用于反映所述待检测用户的面部温度随时间的变化情况并用于计算所述待检测用户的生理信号。4.根据权利要求1所述的方法，其中，所述对所述分割后的多媒体信息进行数据特征提取，得到多媒体信息的数据特征包括：根据预设面部血流的横向流动的特征函数，对所述分割后的多媒体信息对所述可见光视频图像和/或热成像视频图像进行面部横向血流特征提取，得到所述待检测用户的面部横向血流特征数据。5.根据权利要求4所述的方法，其中，所述预设面部血流的横向流动的特征函数根据公式(1)和(2)确定：T
l
‑
r
(t)＝T
l
(t)<...

【专利技术属性】
技术研发人员：田沛鑫，李得虎，胡洋，孙启彬，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：