人体非程式化运动的情感识别方法技术

人体非程式化运动的情感识别方法，属于计算机模式识别领域，解决现有同类情感识别方法存在的学习速度较慢、识别率偏低的问题。本发明专利技术包括建立隐马尔可夫模型步骤和情感识别步骤；建立隐马尔可夫模型步骤又包括训练数据采集子步骤、运动分割子步骤、特征提取子步骤、训练子步骤，建立多种动作类型各种情感的隐马尔可夫模型；情感识别步骤包括数据采集子步骤、运动分割子步骤、特征提取子步骤、识别子步骤，通过所构建的隐马尔可夫模型对待识别人体运动序列进行情感识别和动作类型识别。本发明专利技术能更好地展现运动的内在的规律，不仅可以识别情感，还可以识别运动类型，具有较高的识别率，具有较强的实用性和较广泛的用途。

【技术实现步骤摘要】

本专利技术属于计算机模式识别领域，具体涉及一种人体非程式化运动 的情感识别方法，根据人体各关节点的三维运动数据，提取运动特征， 识别运动序列蕴含的情感状态。
技术介绍
1997年MIT媒体实验室的Picard提出"情感计算"，受到学术界的 日益关注和企业界的迅速反应。如何自动识别和理解人的情感，引起了 包括心理学、计算机科学、语言学和相关学科大量研究者的关注。心理 学家研究认为，在人与人的交互中，单词语义所包含的信息量占所传递 总信息量的7%，语调占38%，而人脸的表情占了总信息量的55%，因此目 前基于人脸表情和声音语调来识别情感的研究比较广泛。而之后的研究 者认为，结合脸部和身体运动一起识别情感比仅依靠脸部来识别情感准 确率要提高35%，特别是在某些无法看到面部或者没有声音的场合，肢体 运动特征很有可能起到良好的识别作用，因此基于人体运动特征的情感 识别逐步引起研究者的重视。目前基于人体运动特征的情感识别的研究主要有两种方向。 一是基 于程式化运动的情感识别，所谓程式化运动指的是在某种情感状态下表 现出来的固定的动作或者姿态，例如握紧拳头表示处于愤怒的情感状态; 二是基于非程式化运动的情感识别，所谓非程式化动作指的是无论何种 情感状态下，运动的外在表现相同，例如走路、敲门等动作，但是运动 的内含不同，例如不同的情感状态下，运动的速度和动作的幅度等是不 一样的。程式化运动只有在特定的情况下才会发生，因此在现实生活中比较难捕获，而非程式化的动作属于日常的、常规的动作，在日常的工 作、学习和生活环境中很容易捕获，因此基于非程式化运动的情感识别 具有更广泛的意义。从非程式化人体运动来识别人的情感还处于探索阶段。格拉斯哥大 学的Pollick等通过观察者对演员的表演，采集敲门和喝酒的手臂运动视频，识别其中蕴含的10种情感，并通过计算距离矩阵，利用多维尺度 分析进行投影，结果与情感维相符。虽然不是一个自动识别系统，但却 证明了通过非程式化人体运动，.可以识别人的情感。Pollick等还建立了 走路、敲门、举手、扔东西等动作的运动数据库，采集了30个演员，四 种情感的全身各关节点的三维数据，可用于身份、性别、情感等识别， 见Ma Y.L.， Paterson H. and Pollick F. E. " A motion-capture library for the study of identity, gender, and emotion perception from biological motion" Behavior Research Methods 38(1) pp 134-141. (2006)。剑桥大学的 Bernhardt等基于此运动数据库，针对敲门动作，基于运动能量进行分割， 提取手腕关节和肘部关节的运动信息作为特征，利用支持向量机进行分 类，实现了通过非程式化运动自动识别人的情感，见Bernhardt, D. and Robinson, P. "Detecting affect from non-stylised body motions." in Affective Computing and Intelligent Interaction. Lisbon, Portugal, pp.59-70. (2007)。 Bernhardt等虽然实现了基于非程式化运动的情感识别，然而采用支持向 量机进行建模，学习速度比较慢，由于没有很好利用时序序列的变化规 律，识别率偏低。
技术实现思路
本专利技术提出一种，解决现有同类 情感识别方法存在的学习速度较慢、识别率偏低的问题。本专利技术的一种，包括以下步骤 第一步.建立隐马尔可夫模型步骤；以训练样本集合作为观察序列，建立每一种动作类型、每一种情感所对应的隐马尔可夫模型；包括以下子步骤训练数据采集子步骤建立包括若干动作类型、每种动作类型又包 括若干情感类型的训练样本集；运动分割子步骤根据人体运动序列的能量曲线图，将训练数据集 中每一个运动序列分割为一序列动作原语，每个动作原语由若干连续的 帧组成；特征提取子步骤对运动序列中每一个动作原语，根据运动序列的 腕关节、肘关节、踝关节和膝关节的三维运动数据，提取运动特征，得 到各个动作原语所对应的特征向量，将运动序列中的所有动作原语对应 的特征向量组合成一个特征向量序列，并标记动作类型和情感类型；提 取训练数据集中的所有运动序列的特征向量序列，标记动作类型和情感 类型，得到训练样本集合；训练子步骤对训练样本集合，利用Baum-Welch算法进行隐马尔可 夫模型训练，保存获得的隐马尔可夫模型参数；所述的隐马尔可夫模型采用连续隐马尔可夫模型，模型参数包括转 移概率矩阵A、初始状态分布"，以及观察序列所对应的高斯混合模型 的系数C、均值向量u和协方差矩阵2;一种动作类型的一种情感训练一个隐马尔可夫模型，共建立NmXNe 个隐马尔可夫模型，这些模型表示为{入r, r=l...NmXNe };第二步.情感识别步骤对待识别人体运动序列进行识别，包括以 下子步骤数据采集子步骤利用三维运动捕捉系统来捕捉待测的人体的运动 序列，每个运动序列由人体各关节点的三维运动数据序列来表示，所述人体各关节点包括头、脖子、骨盆中心和左右肩关节、肘关节、腕关节、 髋关节、膝关节、踝关节共15个关节点；运动分割子步骤根据人体运动序列的能量曲线图，将待识别人体 运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成；特征提取子步骤对待识别人体运动序列中每一个动作原语，根据 运动序列的人体腕关节、肘关节、踝关节和膝关节的三维运动数据，提 取运动特征，得到各个动作原语所对应的特征向量；识别子步骤通过所构建的隐马尔可夫模型对待识别人体运动序列 进行情感识别和动作类型识别将各个动作原语所对应的特征向量作为观察序列X，输入前向算法 或者后向算法，计算NmXNe个隐马尔可夫模型中每一个隐马尔可夫模型 产生观察序列的似然概率P(X/入》，取其中似然概率最大的隐马尔可夫模 型h，表示为隐马尔可夫模型h所对应的情感状态和动作类型即为待识别的运动 序列所蕴含的情感状态和动作种类。所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤中，所述训练数据采集子步骤包括以下具体过程2-1.确定动作类型和情感类型动作类型为1 10种，包括走路、敲 门、举手、扔东西中的一种或多种；情感类型T为2 6种，包括高兴、 悲伤、无情感、愤怒中的两种以上;各种动作类型的每种情感类型包括2 6个运动序列；2-2.利用三维运动捕捉系统拍摄记录人体运动序列利用20 40个 演员进行表演，男女演员各占一半，演员表演时穿上设备配套服装，并 在人体各关节点上贴上标记点，所述人体各关节点包括头、脖子、骨盆中心和左右肩关节、肘关节、腕关节、髋关节、膝关节、踝关节共15个 关节点；每个运动序列由人体各关节点的三维运动数据序列来表示，利用三 维运动捕捉系统拍摄记录每个演员的每种动作类型的每种情感类型。所述的情感识别方法，其特征在于，所述建立隐马尔可夫模型步骤 和识别步骤中的运动分割子步骤包括如下过程3-1.计算每一帧的运动能量首先计算每一帧中上肢左右肘关节、 左右肩关节和下肢左右膝关节和左右髋本文档来自技高网...

【技术保护点】
一种人体非程式化运动的情感识别方法，包括以下步骤：　第一步．建立隐马尔可夫模型步骤；以训练样本集合作为观察序列，建立每一种动作类型、每一种情感所对应的隐马尔可夫模型；包括以下子步骤：　训练数据采集子步骤：建立包括若干动作类型、每 种动作类型又包括若干情感类型的训练样本集；　运动分割子步骤：根据人体运动序列的能量曲线图，将训练数据集中每一个运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成；　特征提取子步骤：对运动序列中每一个动作原语，根据运动序 列的腕关节、肘关节、踝关节和膝关节的三维运动数据，提取运动特征，得到各个动作原语所对应的特征向量，将运动序列中的所有动作原语对应的特征向量组合成一个特征向量序列，并标记动作类型和情感类型；提取训练数据集中的所有运动序列的特征向量序列，标记动作类型和情感类型，得到训练样本集合；　训练子步骤：对训练样本集合，利用Ｂａｕｍ－Ｗｅｌｃｈ算法进行隐马尔可夫模型训练，保存获得的隐马尔可夫模型参数；　所述的隐马尔可夫模型采用连续隐马尔可夫模型，模型参数包括转移概率矩阵Ａ、初始状 态分布π，以及观察序列所对应的高斯混合模型的系数Ｃ、均值向量μ和协方差矩阵∑；　一种动作类型的一种情感训练一个隐马尔可夫模型，共建立Ｎ↓［ｍ］×Ｎ↓［ｅ］个隐马尔可夫模型，这些模型表示为｛λ↓［ｒ］，ｒ＝１．．．Ｎ↓［ｍ］×Ｎ↓［ｅ］ ｝；　第二步．情感识别步骤：对待识别人体运动序列进行识别，包括以下子步骤：　数据采集子步骤：利用三维运动捕捉系统来捕捉待测的人体的运动序列，每个运动序列由人体各关节点的三维运动数据序列来表示，所述人体各关节点包括头、脖子、骨盆中 心和左右肩关节、肘关节、腕关节、髋关节、膝关节、踝关节共１５个关节点；　运动分割子步骤：根据人体运动序列的能量曲线图，将待识别人体运动序列分割为一序列动作原语，每个动作原语由若干连续的帧组成；　特征提取子步骤：对待识别人体运动序 列中每一个动作原语，根据运动序列的人体腕关节、肘关节、踝关节和膝关节的三维运动数据，提取运动特征，得到各个动作原语所对应的特征向量；　识别子步骤：通过所构建的隐马尔可夫模型对待识别人体运动序列进行情感识别和动作类型识别：　将各个 动作原语所对应的特征向量作为观察序列Ｘ，输入前向算法或者后向算法，计算Ｎ↓［ｍ］×Ｎ↓［ｅ］个隐马尔可夫模型中每一个隐马尔可夫...

【技术特征摘要】

【专利技术属性】
技术研发人员：王天江，刘芳，李新仕，龚立宇，陈刚，陈幸，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：83[中国|武汉]