一种头部动作识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种头部动作识别方法、装置、设备及存储介质，所述方法包括：获取视频流，提取所述视频流中的关键点信息，其中，所述视频流包含多个视频帧；基于所述关键点信息确定关键点在所述视频流中各视频帧中构成的至少一个头部姿态角的姿态角信息；基于各视频帧中所述姿态角信息识别头部动作，得到头部动作识别结果。本发明专利技术实施例提供的方法通过仅提取关键点，通过各视频帧中关键点位置关系的差异识别头部动作，实现了在保证识别准确率的同时，降低了信号采集的要求，提高了头部动作识别的通用性。识别的通用性。识别的通用性。

【技术实现步骤摘要】
一种头部动作识别方法、装置、设备及存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种头部动作识别方法、装置、设备及存储介质。

技术介绍

[0002]互联网开启了数字化的时代,利用机器学习和深度学习的方法提取大量数据信息中的高层知识进行学习以完成人机交互成为一大研究热点。头部姿态和动作(posture and gesture)作为形体交流(bodily communication)的重要组成部分,对理解用户的态度和意图具有不可替代的重要作用。头部姿态和动作的识别与理解在多模态人机接口和人际交互下的动作和行为理解等方面具有广泛的应用前景。
[0003]目前头部动作识别通常采用深度学习实现。头部动作识别实际上是时空序列数据的分类问题。确定动作表示后，可以设计相应的识别算法，对不同动作进行分类。主要的识别方法包括隐马尔可夫模型(HMM)，人工神经网络(NN)。隐马尔可夫模型(HMM)是最常用的时空序列分析模型，可以对各种特征建模来描述动作序列，包括姿态参数，头部运动方向，肤色区域的二阶矩特征等。
[0004]在实现本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种头部动作识别方法，其特征在于，包括：获取视频流，提取所述视频流各视频帧中的关键点信息；针对每个所述视频帧，基于所述视频帧中的关键点信息确定关键点在所述视频帧中构成的至少一个头部姿态角的姿态角信息；基于各视频帧中所述姿态角信息的差异识别头部动作，得到头部动作识别结果。2.根据权利要求1所述的方法，其特征在于，所述关键点包括左眼特征点、右眼特征点、鼻部特征点、左嘴角特征点、右嘴角特征点，所述基于所述视频帧中的关键点信息确定关键点在所述视频帧中构成的至少一个头部姿态角的姿态角信息，包括：确定左眼特征点、右眼特征点和鼻部特征点构成的以鼻部特征点为角顶点的第一角度，和左嘴角特征点、右嘴角特征点和鼻部特征点构成的以鼻部特征点为角顶点的第二角度，将所述第一角度和所述第二角度之间的角度差作为第一角度差；确定左眼特征点、左嘴角特征点、鼻部特征点构成的以鼻部特征点为角顶点的第三角度，和右眼特征点、右嘴角特征点、鼻部特征点构成的以鼻部特征点为角顶点的第四角度，将所述第三角度和所述第四角度之间的角度差作为第二角度差；确定左眼特征点和右眼特征点连线与水平线的夹角作为第五角度；将所述第一角度差的角度信息、所述第二角度差的角度信息和所述第五角度的角度信息作为所述头部姿态角的姿态角信息。3.根据权利要求2所述的方法，其特征在于，所述基于各视频帧中所述姿态角信息的差异识别头部动作，得到头部动作识别结果，包括：将所述视频流根据时间划分为连续的起始视频区间、间隔视频区间和末尾视频区间，所述起始视频区间、所述间隔视频区间和所述末尾视频区间分别包括连续的多个视频帧；确定起始视频区间的起始区间头部姿态角、间隔视频区间的间隔区间头部姿态角和末尾视频区间的末尾区间头部姿态角，其中，所述起始区间头部姿态角包含起始第一角度差、起始第二角度差和起始第五角度，所述间隔区间头部姿态角包含间隔第一角度差、间隔第二角度差和间隔第五角度，所述末尾区间头部姿态角包含末尾第一角度差、末尾第二角度差和末尾第五角度；基于所述起始区间头部姿态角、所述间隔区间头部姿态角和所述末区间尾头部姿态角识别头部动作，得到头部动作识别结果。4.根据权利要求3所述的方法，其特征在于，所述确定起始视频区间的起始区间头部姿态角、间隔视频区间的间隔区间头部姿态角和末尾视频区间的末尾区间头部姿态角，包括：将所述起始视频区间内各视频帧的头部姿态角的中位数作为所述起始区间头部姿态角；将所述间隔视频区间内各视频帧的头部姿态角的中位数作为所述间隔区间头部姿态角；将所述末尾视频区间内各视频帧的头部...

【专利技术属性】
技术研发人员：蔚栋，安山，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：