根据人体姿态实时检测情绪的系统技术方案

本发明专利技术涉及情绪监测技术领域，公开了一种根据人体姿态实时检测情绪的系统，包括以下步骤：S1:通过摄像头获取视频流；S2:将视频流数据进行处理后送入人体姿态估计网络处理,得到人体关节点信息；S3:对获取到的人体关节点信息进行处理并获得关键识别特征；S4:构建情绪识别网络,并对情绪识别网络添加时间注意力机制以及采取循环训练策略﹐将关键识别特征送入情绪识别网络并进行情绪分类；S5:得到高兴、悲伤、愤怒、中性四种情绪分类结果,输出当前视频中人的情绪；S6:将当前视频中人的情绪实时显示在网页上。本发明专利技术利用骨骼点特征进行分类，效果更好，它克服了传统方法需要高清视频，并且在衣物背包遮挡下精度大大降低的缺点。且在衣物背包遮挡下精度大大降低的缺点。

【技术实现步骤摘要】
根据人体姿态实时检测情绪的系统


[0001]本专利技术涉及一种根据人体姿态实时检测情绪的系统，属于情绪监测


技术介绍

[0002]情感在人们日常生活中是不可或缺的一部分，它能反映出一个人的当前状态，与他人互动的方式，看待世界的态度等。识别出他人的情绪可以更好地理解他人当前的行为方式。而实时检测他人情绪更是应用前景广阔，例如，当在公共场所识别出视频中的人愤怒或充满敌意时，可以提前对其进行提防，防止其做出出格举动。当在购物场所识别出视频中人高兴时，可促进群体进行消费。当在班级中识别到学生情绪悲伤时，可以及时进行心理疏导等。他在我们日常领域对我们影响很大，而在大部分时候，视频难以捕捉到人脸，所以专利技术一种根据人体姿态实时检测情绪的系统十分必要。目前市面上所使用的情绪检测一般是基于面部图像直接进行提取的方法，但此类方法需要高清视频，并且人脸易被头发、帽子、口罩等进行遮挡，特征提取难度大，精度低。因此，需要设计一种提取特征容易，且精度高的方法。

技术实现思路

[0003]针对现有技术存在的上述缺陷，本专利技术提出了一种根据人体姿态实时检测情绪的系统。
[0004]本专利技术所述的一种根据人体姿态实时检测情绪的系统，包括以下步骤：
[0005]步骤S1:通过摄像头获取人体姿态的视频流；
[0006]步骤S2:将视频流数据进行处理后送入人体姿态估计网络处理,得到人体关节点信息；
[0007]步骤S3:对获取到的人体关节点信息进行处理并获得关键识别特征；
[0008]步骤S4:构建情绪识别网络,并对情绪识别网络添加时间注意力机制以及采取循环训练策略﹐将关键识别特征送入情绪识别网络并进行情绪分类；
[0009]步骤S5:得到高兴、悲伤、愤怒、中性四种情绪分类结果,输出当前视频中人的情绪；
[0010]步骤S6:将当前视频中人的情绪实时显示在网页上。
[0011]优选地，所述步骤S1包括以下具体步骤：
[0012]步骤S11：由处理端所发送的控制信号修改摄像机的取流、推流设置；
[0013]步骤S12：摄像机修改完成相关参数后进行推流，路由器接收到视频流数据进行数据转发，拉流到PC端，之后取流解码。
[0014]优选地，所述步骤S11中的取流设置包括修改视频流分辨率、编码格式、帧率；推流设置为设置一个本地服务器地址，用这个服务器地址进行推流。
[0015]优选地，所述步骤S2包括以下具体步骤：
[0016]步骤S21：将接收到的视频流数据进行解码和抽帧处理，得到处理后的单帧图像；
[0017]步骤S22：将处理后的单帧图像送入到人体姿态估计网络Openpose，Openpose对输入的图像进行分析并生成一组特征图，之后将特征图分解为两个分支，第一个分支定位出人体关节点的横、纵坐标，第二个分支生成关节点之间的关联程度和方向。
[0018]优选地，所述步骤S3包括以下具体步骤：
[0019]步骤S31:从步骤S2中得到的m个关节点，从中筛选出n个关键关节点，剔除其他对情绪识别影响有限的m
‑
n个关节点；
[0020]步骤S32：计算出n个关键点到颈部关节点的横纵坐标距离差，计算公式如下所示：
[0021](d
kx
,d
ky
)＝(x
k
,y
k
)
‑
(x1,y1)
[0022]其中，d
kx
表示每个关键点与颈部关节点的横坐标距离；d
ky
表示每个关键点与颈部关节点的纵坐标距离；x
k
表示第k个关节点的横坐标；y
k
表示第k个关节点的纵坐标；k∈[0,24]；
[0023]然后计算相关关节点坐标的欧氏距离，计算公式如下所示：
[0024][0025]其中，D表示第k个关节点和第1个关节点的欧氏距离；x
k
表示第k个关节点的横坐标；y
k
表示第k个关节点的纵坐标；x1表示第1个关节点的横坐标；y1表示第1个关节点的纵坐标；
[0026]步骤S33：对所有的关节点与颈部之间的距离进行归一化，计算公式如下所示：
[0027][0028]其中，表示归一化后的关键点t与颈部关节点之间的欧氏距离；D表示第k个关节点和第1个关节点的欧氏距离；|S|作为归一化的基准，计算公式如下所示：
[0029][0030]其中，|S|表示归一化的基准，x1表示第1个关节点的横坐标；x
p
表示关键关节点p的纵坐标；y1表示第1个关节点的横坐标；y
p
表示关键关节点p的纵坐标；
[0031]步骤S34:取关键骨骼点第t帧和第t
‑
1帧之间的欧氏距离，并进行归一化处理，计算公式如下所示：
[0032][0033]其中，表示归一化后第k个关键点帧间的欧氏距离；表示两帧间的欧氏距离可以获取到和运动速度相关的特征；|S|表示归一化的基准；的计算公式如下所示：
[0034][0035]其中，表示第k个关节点第t帧的关节点横坐标；表示第k个关节点第t
‑
1帧的关节点横坐标，表示第k个关节点第t帧的关节点纵坐标y
kt
；表示第k个关节点第t
‑
1帧的关节点纵坐标；
[0036]步骤S35:计算关键点之间的夹角，计算公式如下所示：
[0037][0038]其中，θ表示关键点之间的夹角，d
a
、d
b
、d
c
分别表示所求关节夹角相关的三条边的欧氏距离。
[0039]优选地，所述步骤S4包括以下具体步骤：
[0040]步骤S41:构建情感识别网络，包括长短期记忆递归神经网络和一个随机森林分类器，长短期记忆递归神经网络提取识别时序特征，注意力机制可以抓取关键特征，随机森林分类器将结果分成高兴、悲伤、愤怒、中性四类；
[0041]步骤S42：用姿态情绪数据集对情感识别网络进行训练，使其可以对输入的数据进行准确识别和分类；
[0042]步骤S43：将处理好的视频数据送入到训练过的情感识别网络，并由录制的姿态信息成功识别分类出高兴、悲伤、愤怒、中立四种人体情绪。
[0043]优选地，所述步骤S6包括以下具体步骤：
[0044]步骤S61：将步骤S5得到的带标签的分类结果与视频流数据进行结合；
[0045]步骤S62：建立一个本地部署的网页，将结合标签的视频流实时显示在这个本地网页上，达到可视化的效果。
[0046]本专利技术的有益效果是：本专利技术所述的根据人体姿态实时检测情绪的系统，相对于目前市面上所使用的基于面部图像和姿态图像直接进行特征提取的方法，利用骨骼点特征进行分类无疑效果更好，它克服了传统方法需要高清视频，并且在衣物背包遮挡下精度大大降低的缺点，并且在难以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种根据人体姿态实时检测情绪的系统，其特征在于，包括以下步骤：步骤S1:通过摄像头获取人体姿态的视频流；步骤S2:将视频流数据进行处理后送入人体姿态估计网络处理,得到人体关节点信息；步骤S3:对获取到的人体关节点信息进行处理并获得关键识别特征；步骤S4:构建情绪识别网络,并对情绪识别网络添加时间注意力机制以及采取循环训练策略﹐将关键识别特征送入情绪识别网络并进行情绪分类；步骤S5:得到高兴、悲伤、愤怒、中性四种情绪分类结果,输出当前视频中人的情绪；步骤S6:将当前视频中人的情绪实时显示在网页上。2.根据权利要求1所述的根据人体姿态实时检测情绪的系统，其特征在于，所述步骤S1包括以下具体步骤：步骤S11：由处理端所发送的控制信号修改摄像机的取流、推流设置；步骤S12：摄像机修改完成相关参数后进行推流，路由器接收到视频流数据进行数据转发，拉流到PC端，之后取流解码。3.根据权利要求2所述的根据人体姿态实时检测情绪的系统，其特征在于，所述步骤S11中的取流设置包括修改视频流分辨率、编码格式、帧率；推流设置为设置一个本地服务器地址，用这个服务器地址进行推流。4.根据权利要求1所述的根据人体姿态实时检测情绪的系统，其特征在于，所述步骤S2包括以下具体步骤：步骤S21：将接收到的视频流数据进行解码和抽帧处理，得到处理后的单帧图像；步骤S22：将处理后的单帧图像送入到人体姿态估计网络Openpose，Openpose对输入的图像进行分析并生成一组特征图，之后将特征图分解为两个分支，第一个分支定位出人体关节点的横、纵坐标，第二个分支生成关节点之间的关联程度和方向。5.根据权利要求1所述的根据人体姿态实时检测情绪的系统，其特征在于，所述步骤S3包括以下具体步骤：步骤S31:从步骤S2中得到的m个关节点，从中筛选出n个关键关节点，剔除其他对情绪识别影响有限的m
‑
n个关节点；步骤S32：计算出n个关键点到颈部关节点的横纵坐标距离差，计算公式如下所示：(d
kx
,d
ky
)＝(x
k
,y
k
)
‑
(x1,y1)其中，d
kx
表示每个关键点与颈部关节点的横坐标距离；d
ky
表示每个关键点与颈部关节点的纵坐标距离；x
k
表示第k个关节点的横坐标；y
k
表示第k个关节点的纵坐标；k∈[0,24]；然后计算相关关节点坐标的欧氏距...

【专利技术属性】
技术研发人员：刘银华，顾春睿，
申请(专利权)人：青岛大学，
类型：发明
国别省市：