基于人体姿态估计的交互方法、装置和系统制造方法及图纸

本申请提供一种基于人体姿态估计的交互方法、装置和系统。本申请提供的基于人体姿态估计的交互方法，包括：对获取到的视频图像进行人体姿态估计，得到每帧图像中的各个人体目标和人体目标的人体关键点；对人体目标进行跟踪，得到人体目标的运动轨迹；将所述人体目标的运动轨迹输入到动作识别神经网络中，由所述动作识别神经网络对所述人体目标的运动轨迹进行识别；依据所述动作识别神经网络的输出结果做出交互回应动作。本申请提供的基于人体姿态估计的交互方法、装置和系统，可提供一种用户体验较高的交互方法。

Interactive methods, devices and systems based on human posture estimation

【技术实现步骤摘要】
基于人体姿态估计的交互方法、装置和系统
本申请涉及计算机技术，尤其涉及一种人体姿态估计的交互方法、装置和系统。
技术介绍
随着计算机技术的飞速发展，各类电子设备应运而生。如何提供一种用户体验度高的人机交互方法成为目前关注的重点。人体姿态估计，可从图像中检测出人体各部位位置、方向以及尺度信息。近年来，随着机器学习算法和硬件计算能力的不断提升，人体姿态估计可以实现实时的在线评估。目前，基于人体姿态估计，提出了一种交互方法，以代替传统的鼠标交互、键盘交互，为某些应用提供更为自然的交互方式，以提高用户体验。相关的交互方法，常采用模板匹配法识别人体的动作行为，进而在识别出人体的动作行为时，对识别出的动作行为进行响应。这样，只能基于预设的模板进行动作行为的识别，识别准确率低，交互体验较低。
技术实现思路
有鉴于此，本申请提供一种基于人体姿态估计的交互方法、装置和系统，以提供一种交互体验较高的交互方法。本申请第一方面提供一种基于人体姿态估计的交互方法，所述方法包括：对获取到的视频图像进行人体姿态估计，得到每本文档来自技高网...

【技术保护点】
1.一种基于人体姿态估计的交互方法，其特征在于，所述方法包括：/n对获取到的视频图像进行人体姿态估计，得到每帧图像中的各个人体目标和所述人体目标的人体关键点；/n对所述人体目标进行跟踪，得到所述人体目标的运动轨迹；其中，所述人体目标的运动轨迹包括所述人体目标的各个人体关键点的移动轨迹；/n将所述人体目标的运动轨迹输入到动作识别神经网络中，由所述动作识别神经网络对所述人体目标的运动轨迹进行识别；/n依据所述动作识别神经网络的输出结果做出交互回应动作。/n

【技术特征摘要】
1.一种基于人体姿态估计的交互方法，其特征在于，所述方法包括：
对获取到的视频图像进行人体姿态估计，得到每帧图像中的各个人体目标和所述人体目标的人体关键点；
对所述人体目标进行跟踪，得到所述人体目标的运动轨迹；其中，所述人体目标的运动轨迹包括所述人体目标的各个人体关键点的移动轨迹；
将所述人体目标的运动轨迹输入到动作识别神经网络中，由所述动作识别神经网络对所述人体目标的运动轨迹进行识别；
依据所述动作识别神经网络的输出结果做出交互回应动作。


2.根据权利要求1所述的方法，其特征在于，所述动作识别神经网络的输出结果包括所述人体目标的动作行为属于各动作类别的概率，以及当前帧图像为所述人体目标的动作开始帧的概率和当前帧图像为所述人体目标的动作结束帧的概率。


3.根据权利要求2所述的方法，其特征在于，所述依据所述动作识别神经网络的输出结果做出交互回应动作，包括：
比较所有的人体目标的动作行为属于各动作类别的概率，将最大概率对应的第一人体目标确定为待响应的人体目标，并将最大概率对应的第一动作类别确定为待响应的动作类别；
当所述第一动作类别表征人体目标的动作行为为持续性动作时，在当前帧图像为所述第一人体目标的动作开始帧的概率大于第一预设阈值时，作出与所述第一动作类别对应的第一交互回应动作，并在当前帧图像为所述第一人体目标的动作结束帧的概率大于第二预设阈值时，停止作出所述第一交互回应动作；
当所述第一动作类别表征人体目标的动作行为为短暂性动作时，在当前帧图像为所述第一人体目标的动作开始帧的概率大于所述第一预设阈值之后，等待当前帧图像为所述第一人体目标的动作结束帧的概率大于所述第二预设阈值时，作出所述第一交互回应动作。


4.根据权利要求1所述的方法，其特征在于，所述对所述人体目标进行跟踪，得到所述人体目标的运动轨迹，包括：
依据每帧图像中的人体目标的人体关键点和预设的人体骨骼确定规则，确定每帧图像中的人体目标的人体骨骼，并将每帧图像中的人体目标、该人体目标的人体关键点以及该人体目标的人体骨骼作为人体骨架存储；
将当前帧中的人体目标的人体骨架与已存储的人体骨架进行匹配，确定与当前帧的人体骨架匹配的目标人体骨架；
根据当前帧中的人体目标的人体骨架和所述目标人体骨架，得到该人体目标的运动轨迹。


5.根据权利要求4所述的方法，其特征在于，所述将当前帧的人体骨架与已存储的人体骨架进行匹配，确定与当前帧的人体骨架匹配的目标人体骨架，包括：
按照预设的公式计算当前帧的人体骨架和已存储的人体骨架的相似度；
依据当前帧的人体骨架与各个预存的人体骨架的相似度，采用Munkres算法，确定与当前帧的人体骨架匹配的目标人体骨架。


6.根据权利要求2所述的方法，其特征在于，所述动作识别神经网络通过以下方法训练得到：
构建神经网络；所述神经网络的输入为人体目标的运动轨迹，输出为该人体目标的动作行为属于各动作类别的概率，以及当前帧图像为该人体目标的动作开始帧的概率和当前帧图像为该人体目标的动作结束帧的概率；
获取训练样本集；每个训练样本包括人体目标的运动轨迹、该人体目标的运动轨迹对应的动作行为所属的动作类别、以及该人体目标的运动轨迹对应的各帧视频图像为动作开始帧的概率和该人体目标的运动轨迹对应的各帧视频图像为动作结束帧的概率；
利用所述训练样本集训练所述神经网络，得到所述动作识别神经网络。


7.根据权利要求1所述的方法，其特征在于，所述视频图像通过单目摄像机采集获得。


8.一种基于人体姿态估计的交互装置，其特征在于，所述装置包括：人体姿态估计模块、跟踪模块、动作识别模块和处理模块，其中，
所述人体姿态估计模块，用于对获取到的视频图像进行人体姿态估计，得到每帧图像中的各个人体目标和所述人体目标的人体关键点；
所述跟踪模块，用于对所述人体目标进行跟踪，得到所述人...

【专利技术属性】
技术研发人员：马良，钟巧勇，谢迪，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33