一种基于运动姿态伪能量模型的自动情绪识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于运动姿态伪能量模型的自动情绪识别方法及装置，方法包括：采集人体姿态运动时的三维骨骼数据并进行预处理，结合姿态运动时产生的动能与势能，构建姿态伪能量模型，以解码姿态运动时各关节动态能量的演化与情绪之间的关系；对姿态伪能量模型进行多维特征提取，结合不同特征之间的互补性，表征所提出的姿态伪能量模型与情绪之间的映射关系；采用最大相关最小冗余对多维特征进行特征选择，以获取低维度且更具可分性的融合特征矩阵；将融合特征矩阵作为输入，对SVM分类器进行模型训练，以获取基于人体姿态的自动情绪预测模型，实现自动情绪识别。装置包括：处理器和存储器。本发明专利技术将得到的融合特征作为后续模式识别的输入，从而进行自动情绪识别。从而进行自动情绪识别。从而进行自动情绪识别。

【技术实现步骤摘要】
一种基于运动姿态伪能量模型的自动情绪识别方法及装置


[0001]本专利技术涉及自动情绪识别领域，尤其涉及一种基于运动姿态伪能量模型的自动情绪识别方法及装置。

技术介绍

[0002]情绪是对人类主观认识和经验的总称，是人类对于客观事物的态度以及相应的行为反应，在人们的日常生活中起着至关重要的作用。随着人机交互(Human
‑
Computer Interaction,HCI)技术在现代社会的兴起，及时有效地了解用户的情绪已经成为提高人机交互效率、改善用户体验的重要因素。目前，基于生理信号的情绪识别取得了一定的进展，其中包括声音、面部表情和脑电数据等，但基于人体运动姿态进行情感识别的研究还相对较少。
[0003]人体姿态动作被理解为四肢、躯干和人体其他部位的运动，是一个人认知状态的重要标志之一。研究人员发现，65％的人类情绪表达受到例如：人体姿态等非语言信号的影响，且人类的姿态和内在情绪之间也被证实存在着一种特殊的映射关系。此外，因为人体躯干体积较大，研究者可以在较远的距离进行运动姿态信号的采集，这就为户外状态下的远距离自动情绪识别提供了可能。
[0004]目前基于运动姿态的自动情绪识别主要利用运动学特征，例如：运动速度、四肢的摆动幅度等识别情绪。但上述对运动学特征的分析只关注少数特殊关节在某几帧上的数据，相当于单帧分析，并没有对全身关节点进行全面分析。此外，人体姿态运动被定义为各关节的位置随时间的变化，因此应该将其描述为一组连续的帧序列，并建立一个特殊的与情感相关的模型来研究情绪与姿态运动之间的特殊映射关系。已有研究表明，人体进行姿态运动时产生的动态能量变化是识别情绪的关键指标，且其对不同的情绪状态非常敏感。
[0005]因此，构建一个基于运动姿态的能量模型以解码情绪与姿态之间的映射关系，对于实现基于运动姿态的自动情绪识别具有重要的现实意义。

技术实现思路

[0006]本专利技术提供了一种基于运动姿态伪能量模型的自动情绪识别方法及装置，本专利技术通过将姿态运动产生的动能与势能相结合，创新性地提出了伪能量模型的概念以表征姿态运动时产生的能量随时间的演化过程，进而解码情绪与运动姿态间的映射关系，随后对该模型进行了多维度的特征提取，并结合MRMR(Max
‑
Relevance and Min
‑
Redundancy，最大相关最小冗余)特征选择算法获取与情绪相关的融合特征矩阵；最后将得到的融合特征作为后续模式识别的输入，从而进行自动情绪识别，详见下文描述：
[0007]第一方面、一种基于运动姿态伪能量模型的自动情绪识别方法，所述方法包括以下步骤：
[0008]采集人体姿态运动时的三维骨骼数据并进行预处理，结合姿态运动时产生的动能与势能，构建姿态伪能量模型，以解码姿态运动时各关节动态能量的演化与情绪之间的关
系；
[0009]对姿态伪能量模型进行多维特征提取，结合不同特征之间的互补性，表征所提出的姿态伪能量模型与情绪之间的映射关系；
[0010]采用最大相关最小冗余对多维特征进行特征选择，以获取低维度且更具可分性的融合特征矩阵；
[0011]将融合特征矩阵作为输入，对SVM分类器进行模型训练，以获取基于人体姿态的自动情绪预测模型，实现自动情绪识别。
[0012]其中，所述结合姿态运动时产生的动能与势能，构建姿态伪能量模型具体为：
[0013]将关节的位移曲线与角度曲线相结合，在第f和第f
‑
1帧处进行差分运算，并假设f＝0帧时的速度为0，将其结果定义为伪动能曲线，以表示每个关节的动能信息随时间的变化，计算公式如下：
[0014][0015]式中，表示第i个关节点在第f帧时，位移曲线与角度曲线结合后的表达式，表示向量空间；其中，i∈[1,N]且f∈[1,F]，N为人体关节总数，F为姿态运动序列的总帧数，是第N个关节点在第F帧时的位置信息，P
if
为第i个关节点在第f帧时，位移曲线与角度曲线结合后的表达式；
[0016]将每个关节的位移曲线与角度曲线相结合，计算每帧的姿态位置与中性姿态之间的有限差分，用于表示每个关节相对于中性姿态P
neutral
的位移H随时间的变化，定义为伪势能曲线：
[0017][0018]其中，P
neutral,N
表示中性姿态中第N个关节的位置信息，经过运算，分别得到了代表姿态运动时的动能和势能曲线，将曲线合并定义为伪能量模型。
[0019]进一步地，所述中性姿态为：
[0020]定义双臂的肩关节和腕关节组成的两个向量，双腿的髋关节和踝关节组成的两个向量，以及脊椎基部关节和肩部中心关节组成的一个向量；
[0021]从每一帧的三维姿态数据中计算出上述5个向量与水平面法线的夹角之和，选择出夹角和最小的5帧姿态进行平均求和，获取最终的中性姿态。
[0022]其中，所述多维特征包括：提取模型的统计学特征、复杂度特征、频域特征。
[0023]第二方面、一种基于运动姿态伪能量模型的自动情绪识别装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
[0024]本专利技术提供的技术方案的有益效果是：
[0025]1、针对现有方法，在基于姿态运动的情绪识别建模方面存在的缺陷和问题，本专利技术通过将姿态运动中产生的动能与势能相结合，创新性地提出了伪能量模型以解码情绪与
连续姿态序列间的映射关系；
[0026]2、随后在伪能量模型上进行了统计学特征、复杂度特征、频域特征的提取，并结合MRMR特征选择算法提取出鉴别性更强、维度较低的融合特征矩阵，最后结合支持向量机分类器构建了有效的情绪识别模型，显著地提高了情绪识别的准确性和简便性；
[0027]3、该项专利技术可有效地提高情绪分类的准确性和简便性，并获得可观的社会效益和经济效益。
附图说明
[0028]图1为基于运动姿态伪能量模型的自动情绪识别方法的流程图；
[0029]图2为Kinect V2生成的包含25个关节的人体骨骼示意图；
[0030]图3为提取中性姿态的示意图；
[0031]图4为人体实时姿态(实线表示)与其相对应的中性姿态(虚线表示)的示意图；
[0032]图5为基于运动姿态伪能量模型的自动情绪识别装置的结构示意图。
具体实施方式
[0033]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0034]实施例1
[0035]本专利技术实施例提出了一种基于运动姿态伪能量模型的自动情绪识别方法，参见图1，其技术流程是：首先采集人体不同情绪下的姿态运动三维数据，对其进行预处理操作；然后构建伪能量模型来表示不同情绪下姿态动作的时域动态能量演化过程；最后对上述伪能量模型进行统计学特征、复杂度特征、频域特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于运动姿态伪能量模型的自动情绪识别方法，其特征在于，所述方法包括以下步骤：采集人体姿态运动时的三维骨骼数据并进行预处理，结合姿态运动时产生的动能与势能，构建姿态伪能量模型，以解码姿态运动时各关节动态能量的演化与情绪之间的关系；对姿态伪能量模型进行多维特征提取，结合不同特征之间的互补性，表征所提出的姿态伪能量模型与情绪之间的映射关系；采用最大相关最小冗余对多维特征进行特征选择，以获取低维度且更具可分性的融合特征矩阵；将融合特征矩阵作为输入，对SVM分类器进行模型训练，以获取基于人体姿态的自动情绪预测模型，实现自动情绪识别。2.根据权利要求1所述的一种基于运动姿态伪能量模型的自动情绪识别方法，其特征在于，所述结合姿态运动时产生的动能与势能，构建姿态伪能量模型具体为：将关节的位移曲线与角度曲线相结合，在第f和第f
‑
1帧处进行差分运算，并假设f＝0帧时的速度为0，将其结果定义为伪动能曲线，以表示每个关节的动能信息随时间的变化，计算公式如下：式中，表示第i个关节点在第f帧时，位移曲线与角度曲线结合后的表达式，表示向量空间；其中，i∈[1，N]且f∈[1，F]，N为人体关节总数，F为姿态运动序列的总帧数，是第N个关节点在第F帧时的位置信息，P
if
为第i个关节点在第f帧时，位移曲...

【专利技术属性】
技术研发人员：刘爽，王韬，明东，何峰，柯余峰，
申请(专利权)人：天津大学，
类型：发明
国别省市：