基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法技术

本发明专利技术公开了一种基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法。kinect相机朝向操作者采样拍摄，获得手部投影平面数据；对手部投影平面数据进行滑动平均平滑处理，建立速度向量，处理速度向量获得手部运动描述子；建立手部运动区域，按采样拍摄的时序遍历所有帧的手部三维位置，将每帧的手部三维位置所在的网格赋值，再计算所有被赋值网格的质心位置；建立质心指向向量，处理质心指向向量得到手部轨迹形状描述子；综合两个夹角余弦值处理获得运动描述子、轨迹形状描述子与标准描述子的共同相似度，取共同相似度最大为结果。本发明专利技术能准确识别获得人手势的类型，对手势轨迹的平移、缩放、旋转、轨迹的时序不敏感，灵活性高，节省时间和精力。

Hand gesture trajectory recognition method based on hand velocity and trajectory distribution for tracking random robots

【技术实现步骤摘要】
基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
本专利技术涉及姿态识别领域，具体涉及一种基于手部速度与轨迹分布直方图的跟随机器人手势轨迹识别方法。
技术介绍
跟随机器人在日常生活中有广泛的应用背景，可协助旅客运送行李，或购物时帮助特定顾客。但是，仅具有追踪功能的跟随机器人无法在实际工作环境中胜任。追踪对象的确定，切换；追踪任务的结束；追踪过程中接收追踪对象的指令等都要求跟随机器人具有人机交互的功能。遥控交互的方式受限于一定物理器材，使用起来不方便；语音交互由于跟随机器人工作环境嘈杂，追踪人与跟随机器人又有一定距离，外部噪声的干扰太大，也无法应用；而手势作为一种自然的人机交互方式，因其具有不依赖外部媒介，表意直观，可远距离传递信息的特点，适合用作跟随机器人的人机交互方式。但是，不同人甚至同一个人在不同时间做同一手势，轨迹都有较大的不同，这种不确定性要求跟随机器人的手势交互技术可以对手势轨迹作出区分。近年来，有众多学者对手势轨迹识别都有所研究，Beh等人提出用轨迹相邻两点角度变化是否超过阈值对手势轨迹分段，使用基于Von-Mise分布的HMM分类器对轨迹建模，对字母数字手势轨迹数据集最佳识别率达到97.11％。JingrenTang等人提出结构化的动态时间规划方法，首先利用角度阈值分割连续轨迹，使用滑动窗提取分割点处的位置和速度特征，使用SVM分类器检测速度降低以验证分割的正确性，再用加权的动态时间规划方法识别轨迹。Mahmoud等计算手势轨迹的前后点之间角度并离散，建立姿态和非姿态轨迹的HMM模型，在连续轨迹上做滑动窗匹配，如果某姿态的概率与非姿态概率之差负为正则有意义姿态轨迹起始点检出，差值正变负代表姿态结束点检出，最后识别开始点和结束点之间的轨迹含义。以上手势分类的方法需要针对单一动作建立包含大量数据的训练集，先期工作量大；对手势完成的时间序列敏感，导致必须按照设定好的顺序完成手势才能与机器人交互，缺乏灵活性；且计算消耗大，不利于快速性，对硬件有较高的要求。
技术实现思路
针对以上问题，为了解决
技术介绍
中存在的问题，本专利技术提出一种基于手部速度及轨迹分布的跟随机器人手势轨迹识别方法。本专利技术利用kinect采样手部运动轨迹并平滑；统计轨迹的速度方向和幅值信息，形成手部运动速度描述符；统计轨迹点相对轨迹重心分布的方向和幅值信息，形成手部轨迹形状描述子；手势的标准描述通过轨迹形状的表达式或者示范模板轨迹的方法给定；计算速度和形状描述符与标准速度与形状描述符的余弦相似度，加权后得到综合相似度，作为手势类型的判别依据。如图1所示，本专利技术所采用的技术方案是包括以下步骤：步骤1：kinect相机朝向操作者采样拍摄获得骨骼关节的三维位置信息，根据骨骼关节的三维位置信息以及操作者和kinect相机的相对位置建立投影平面，kinect相机朝向操作者拍摄获得人手部的手部三维位置，从操作者进行开始标志手势到进行结束标志手势之间的过程中，记录手部三维位置的运动数据，将手部三维位置的运动数据投影到投影平面，获得手部投影平面数据；本专利技术在跟随机器人上安装有kinect相机和上位机，底部安装由四个轮子，通过kinect相机拍摄操作者的手势连续图像发送到上位机中进行处理判断，识别获得手势轨迹。所述的手部三维位置为人手部中心点的三维位置。步骤2：对手部投影平面数据进行滑动平均平滑处理，相邻的两个手部三维位置用一个从上一帧手部三维位置出发指向下一帧手部三维位置的向量连接，该向量作为速度向量，对速度向量的角度按邻域方法分为n类，对速度向量的幅值按照大小分为m类，将每个速度向量表示如下：(q,j),q≤n,j≤m(1)其中，q表示速度向量的角度按邻域的方法分类的类型结果，j表示速度向量的幅值按大小分类的类型结果；所述步骤2中，对速度向量的角度按邻域方法分类是指：将速度向量的起点平移到投影平面的坐标原点，将投影平面上0到360度之间的速度向量的所有角度区间等分成n个区域，速度向量终点落在第q个区域，则速度向量的角度按邻域方法的分类结果为q。所述步骤2中，对速度向量的幅值按照大小分类是指：将速度向量的幅值分成m个区间，速度向量幅值落在第j个区间，则速度向量的幅值按照大小的分类结果为j。步骤3：处理各个速度向量的角度和幅值类别得到手部运动向量，将手部运动向量中各分量做循环移位，获得手部运动描述子；通过循环移位使最大分量位于向量首位，使手部运动描述子具有旋转不变性。步骤4：手部投影平面数据中在手部周围建立手部运动区域，将手部运动区域网格化，按采样拍摄的时序遍历所有帧的手部三维位置，将每帧的手部三维位置所在的网格赋值，再计算所有被赋值网格的质心位置；步骤5：对从质心位置出发指向每个被赋值网格的位置作向量作为质心指向向量，然后按照步骤2中的相同方式作角度和幅值分类，分类方法与步骤2中中对速度向量分类的方法相同，即对质心指向向量的角度按邻域方法分为多类，对质心指向向量的幅值按照大小分为多类；接着，处理各个质心指向向量的角度和幅值类别得到手部形状向量，将手部形状向量中各分量做循环移位得到手部轨迹形状描述子；使最大分量位于向量的首位。步骤6：计算手部运动描述子和标准手部运动描述子的夹角余弦值，计算手部轨迹形状描述子和标准手部轨迹形状描述子的夹角余弦值，综合两个夹角余弦值处理获得运动描述子、轨迹形状描述子与标准描述子的共同相似度，取共同相似度最大的标准手势作为手势识别的结果。所述标准手部运动描述子和标准手部轨迹形状描述子均为标准描述子，标准描述子获得的方法如下：通过kinect采集数据获得标准的模板手势，而后通过上述步骤处理获得标准手部运动描述子和标准手部轨迹形状描述子。所述的步骤2中，对投影后的手部三维位置的运动数据进行滑动平均平滑处理，具体采用以下公式进行处理为：Pi'＝Pi，i＝0,N，其中，Pi表示第i个手部三维位置，Pi＝(xi,yi)，xi,yi分别表示第i个手部三维位置在投影平面上的横纵坐标；Pi'表示滑动平均平滑处理后的第i个手部三维位置，Pi'＝(xi',yi')，xi',yi'分别表示滑动平均平滑处理后的第i个手部三维位置在投影平面上的横纵坐标，i≤N，N表示采样拍摄的手部三维位置的总数。所述步骤3中，处理各个速度向量的角度和幅值类别得到手部运动向量，是指：将角度分类结果相同的速度向量的幅值分类结果相加，加和结果作为手部运动向量的第i个序数分量，i与角度分类结果相同。所述步骤4的网格赋值具体是针对每一帧的手部三维位置作为当前帧进行处理：4.1、对当前帧的手部三维位置与进行检查，如果两帧的手部三维位置不在同一网格内，且前一帧的手部三维位置不在当前帧的手部三维位置所在网格的八邻域网格内，作一条连线段连接两帧的手部三维位置，将连线段经过的网格赋值，具体为：4.1.1、计算两帧的手部三维位置之间连线段在投影平面上的斜率，获得连线段的坐标公式y＝kx+b，并且将前一帧手部三维位置所在网格和当前帧手部三维位置所在网格均进行赋值；4.1.2、首先从前一帧手部三维位置所在网格列出发，取向靠近当前帧手部三维位置所在网格方向相邻的一列网格作为第一网格列，从前一帧手部三维位置所在网格行开始向靠近当前帧手部三维位置所在网格方向将第一网格列中的H个网格进行赋本文档来自技高网...

【技术保护点】
1.一种基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法，其特征在于，包括以下步骤：步骤1：kinect相机朝向操作者采样拍摄获得骨骼关节的三维位置信息，根据骨骼关节的三维位置信息以及操作者和kinect相机的相对位置建立投影平面，kinect相机朝向操作者拍摄获得人手部的手部三维位置，从操作者进行开始标志手势到进行结束标志手势之间的过程中，记录手部三维位置的运动数据，将手部三维位置的运动数据投影到投影平面，获得手部投影平面数据；步骤2：对手部投影平面数据进行滑动平均平滑处理，相邻的两个手部三维位置用一个从上一帧手部三维位置出发指向下一帧手部三维位置的向量连接，该向量作为速度向量，对速度向量的角度按邻域方法分为n类，对速度向量的幅值按照大小分为m类，将每个速度向量表示如下：(q,j),q≤n,j≤m       (1)其中，q表示速度向量的角度按邻域的方法分类的类型结果，j表示速度向量的幅值按大小分类的类型结果；步骤3：处理各个速度向量的角度和幅值类别得到手部运动向量，将手部运动向量中各分量做循环移位，获得手部运动描述子；步骤4：手部投影平面数据中在手部周围建立手部运动区域，将手部运动区域网格化，按采样拍摄的时序遍历所有帧的手部三维位置，将每帧的手部三维位置所在的网格赋值，再计算所有被赋值网格的质心位置；步骤5：对从质心位置出发指向每个被赋值网格的位置作向量作为质心指向向量，然后按照步骤2中的相同方式作角度和幅值分类；接着，处理各个质心指向向量的角度和幅值类别得到手部形状向量，将手部形状向量中各分量做循环移位得到手部轨迹形状描述子；步骤6：计算手部运动描述子和标准手部运动描述子的夹角余弦值，计算手部轨迹形状描述子和标准手部轨迹形状描述子的夹角余弦值，综合两个夹角余弦值处理获得运动描述子、轨迹形状描述子与标准描述子的共同相似度，取共同相似度最大的标准手势作为手势识别的结果。...

【技术特征摘要】
1.一种基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法，其特征在于，包括以下步骤：步骤1：kinect相机朝向操作者采样拍摄获得骨骼关节的三维位置信息，根据骨骼关节的三维位置信息以及操作者和kinect相机的相对位置建立投影平面，kinect相机朝向操作者拍摄获得人手部的手部三维位置，从操作者进行开始标志手势到进行结束标志手势之间的过程中，记录手部三维位置的运动数据，将手部三维位置的运动数据投影到投影平面，获得手部投影平面数据；步骤2：对手部投影平面数据进行滑动平均平滑处理，相邻的两个手部三维位置用一个从上一帧手部三维位置出发指向下一帧手部三维位置的向量连接，该向量作为速度向量，对速度向量的角度按邻域方法分为n类，对速度向量的幅值按照大小分为m类，将每个速度向量表示如下：(q,j),q≤n,j≤m(1)其中，q表示速度向量的角度按邻域的方法分类的类型结果，j表示速度向量的幅值按大小分类的类型结果；步骤3：处理各个速度向量的角度和幅值类别得到手部运动向量，将手部运动向量中各分量做循环移位，获得手部运动描述子；步骤4：手部投影平面数据中在手部周围建立手部运动区域，将手部运动区域网格化，按采样拍摄的时序遍历所有帧的手部三维位置，将每帧的手部三维位置所在的网格赋值，再计算所有被赋值网格的质心位置；步骤5：对从质心位置出发指向每个被赋值网格的位置作向量作为质心指向向量，然后按照步骤2中的相同方式作角度和幅值分类；接着，处理各个质心指向向量的角度和幅值类别得到手部形状向量，将手部形状向量中各分量做循环移位得到手部轨迹形状描述子；步骤6：计算手部运动描述子和标准手部运动描述子的夹角余弦值，计算手部轨迹形状描述子和标准手部轨迹形状描述子的夹角余弦值，综合两个夹角余弦值处理获得运动描述子、轨迹形状描述子与标准描述子的共同相似度，取共同相似度最大的标准手势作为手势识别的结果。2.根据权利要求1所述的一种基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法，其特征在于：所述的步骤2中，对投影后的手部三维位置的运动数据进行滑动平均平滑处理，具体采用以下公式进行处理为：Pi'＝Pi，i＝0,N，其中，Pi表示第i个手部三维位置，Pi＝(xi,yi)，xi,yi分别表示第i个手部三维位置在投影平面上的横纵坐标；Pi'表示滑动平均平滑处理后的第i个手部三维位置，Pi'＝(xi',yi')，xi',yi'分别表示滑动平均平滑处理后的第i个手部三维位置在投影平面上的横纵坐标，i≤N，N表示采样拍摄的手部三维位置的总数。3.根据权利要求1所述的一种基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法，其特征在于：所述步骤3中，处理各个速度向量的角度和幅值类别得到手部运动向量，是指：将角度分类结果相同的速度向量的幅值分类结果相加，加...

【专利技术属性】
技术研发人员：赵昕玥，高淦，何再兴，张博伦，张树有，谭建荣，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33