应用于人机协作中的基于分割人体模型的动作识别方法技术

本发明专利技术涉及一种应用于人机协作中的基于分割人体模型的动作识别方法，使用微软Kinect V2传感器采集人体骨骼信息，得到关节节点坐标；经预处理后将骨骼节点序列从四维映射至三维，存储为点云序列的形式；将人体模型分割为上肢、下肢和躯干三部分，分别提取特征向量和关节点相对位置的布尔值特征矩阵，利用布尔值特征矩阵分别提取关键帧，利用特征向量及动态时间规整算法(DTW算法)分别进行模板匹配；最后将三部分的识别结果组合起来，得到对人体整体动作的分类。本发明专利技术不仅能达到识别人体整体动作的目的，还能得到对人体上肢、躯干和下肢的动作描述，可以更加详细和精确的识别人体动作与行为，以帮助人机协作下的机器人进行后续的任务规划。

【技术实现步骤摘要】
应用于人机协作中的基于分割人体模型的动作识别方法
本专利技术属于人机交互领域，涉及一种应用于人机协作中的基于分割人体模型的动作识别方法。
技术介绍
随着机器人技术的发展，机器人的应用场景越来越广，与其他领域产生了越来越多的交叉和融合，同时就产生了许多需要人与机器人进行协同作业的场景。机器人与人进行协同作业既能解放人的劳动力，在某些时候也可以帮助人规避高风险的操作任务。人机协作是未来智能机器人未来的发展方向之一。人机协作强调了人的主导作用，应当使机器人在保证安全的前提下尽可能准确的理解人的意图，并根据自身的工作状态和人的工作状态及意图进行下一步任务。因此，在人机协作场景中，需要对人体信息进行检测和识别，以帮助机器人进行下一步任务规划。这些信息包括人体动作信息、位置信息、手势信息、语音信息等等。其中，人体动作信息直接包含了人的工作状态，是人机协作中必须获取的信息之一。但是，人体动作具有复杂度高、信息量大、不同用户的同种动作可能有差异、不同种动作之间可能具有重复姿势、可能具有无意义动作等等特点，这导致人体动作的识别难度较大，是一个涉及计算机视觉、模式识别、人工智能等多个领域的交叉课题。按照本文档来自技高网...

【技术保护点】
1.一种应用于人机协作中的基于分割人体模型的动作识别方法，其特征在于步骤如下：步骤1、对待识别动作序列和动作模板进行预处理：1、将实时分割完成的Kinect V2传感器的动作序列数据采用点云文件格式存储，存储过程为：关节数据共有N帧，用一个25*N的点云C来存储关节数据，将第k帧中的第i关节点视为三维空间中的一个点

【技术特征摘要】
1.一种应用于人机协作中的基于分割人体模型的动作识别方法，其特征在于步骤如下：步骤1、对待识别动作序列和动作模板进行预处理：1、将实时分割完成的KinectV2传感器的动作序列数据采用点云文件格式存储，存储过程为：关节数据共有N帧，用一个25*N的点云C来存储关节数据，将第k帧中的第i关节点视为三维空间中的一个点该点在点云中表示为C[25*k+i]，该点在第k+1帧中对应的点在点云中表示为C[25*(k+1)+i]，其中l＝0.3m为定义的帧间距离；2、提取点云文件格式存储的动作序列数据，进行坐标转换：缩放、旋转和平移平移过程为：采用HipCenter作为参考点，将其他关节点的坐标减去参考点的坐标作为平移后的关节点的坐标；缩放过程为：选取平移后的两组特定关节的坐标，ShoulderLeft、ElbowLeft和ShoulderRight、ElbowRight，并使用多帧关节数据计算其平均欧拉距离dactual，针对两个关节间距，定义标准距离dstandard，计算得缩放因子：在每帧中，将其他关节点的(x,y,z)坐标均乘以缩放因子；旋转过程为：平移前关节坐标为(x,y,z)，平移后关节坐标为(x',y',z')，有：x'＝xcosθ+zsinθy'＝yz'＝-xsinθ+zcosθ其中：角度θ为每帧中的HipLeft和HipRight两关节连线绕原点旋转至与Kinect摄像机坐标系的X轴平行需要转过的角度；步骤2、对人体模型进行分割和特征提取：将人体模型分割为上肢、躯干和下肢，其中：上肢包含：ElbowRight为B点，WristRight为C点，ElbowLeft为E点，WristLeft为F点；躯干包含：HipCenter为O点，Spine为G点，ShoulderCenter为S点，Head为H点，ShoulderRight为A点，ShoulderLeft为D点，HipLeft为P点，HipRight为Q点；下肢包含：KneeRight为K点，AnkleRight为N点，KneeLeft为L点，AnkleLeft为M点；对三...

【专利技术属性】
技术研发人员：黄攀峰，张博文，刘正雄，董刚奇，孟中杰，张夷斋，张帆，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西,61