一种基于深度图的实时低复杂度手指运动轨迹形状识别算法制造技术

本发明专利技术公开了一种基于深度图实时低复杂度手指运动轨迹形状识别算法，该方法包括如下步骤：(1)根据深度图切割获得指尖像素点，找出深度图中指尖对应的像素点集；(2)计算深度图像素统计参数得到指尖位置和图像质量，根据指尖所在位置像素点对应3D点云的形状参数，得到指尖坐标和指尖深度图的质量指标；(3)对连续多帧指尖轨迹形状进行判别，基于连续多帧得到的指尖位置和质量指标，对指尖轨迹坐标进行计算，判别出轨迹形状。该基于深度图实时低复杂度手指运动轨迹形状识别算法通过多帧深度图中的指尖像素的统计特性计算，降低噪声和干扰带来的轨迹误差，并提高识别准确率。

A real time low complexity finger movement trajectory shape recognition algorithm based on depth map

The invention discloses a real-time low-complexity shape recognition algorithm for finger motion trajectory based on depth map. The method comprises the following steps: (1) obtaining fingertip pixels according to depth map cutting, finding out the corresponding pixel set of fingertips in depth map; (2) calculating the depth image pixel statistical parameters to obtain fingertip position and image quality, root According to the shape parameters of 3D point cloud corresponding to the pixels of fingertip position, the quality index of fingertip coordinates and fingertip depth map can be obtained; (3) Discriminate the shape of fingertip trajectory in successive multi-frame, calculate the fingertip trajectory coordinates based on the position and quality index of fingertip obtained from successive multi-frame, and distinguish the trajectory shape. The real-time low-complexity finger motion trajectory shape recognition algorithm based on depth map can reduce the trajectory error caused by noise and interference and improve the recognition accuracy by calculating the statistical characteristics of finger pixels in multi-frame depth map.

【技术实现步骤摘要】
一种基于深度图的实时低复杂度手指运动轨迹形状识别算法
本专利技术涉及3D深度相机的信号处理
，具体为一种基于深度图实时低复杂度手指运动轨迹形状识别算法。
技术介绍
手指动作识别是基于人体动作的人机交互技术的重要手段，传统的基于RGB相机的方法由于其无法直接得到3D距离信息，需要大量的运算才能够获取手指位置信息，计算复杂度高、效率低且错误率高。随着3D深度相机的技术成熟和普及，利用3D深度相机提供的深度图，能够克服传统RGB相机在手指运动轨迹检测方面遇到的困难，直接利用手指在空间3D的运动轨迹，精确计算轨迹的3D曲线参数，并通过识别不同的曲线类型，为基于手指运动轨迹的人机交互技术提供支撑。由于3D深度相机得到的深度图中除了反映手指形状和位置信息的像素点之外，还有不少噪声和干扰像素点。为了可靠稳定的得到手指轨迹信息，需要进行像素点的处理，通过多帧深度图中的指尖像素的统计特性计算，降低噪声和干扰带来的轨迹误差，并提高识别准确率。
技术实现思路
本专利技术的目的在于提供一种基于深度图实时低复杂度手指运动轨迹形状识别算法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于深度图实时低复杂度手指运动轨迹形状识别算法，该方法包括如下步骤：(1)根据深度图切割获得指尖像素点，找出深度图中指尖对应的像素点集；(2)计算深度图像素统计参数得到指尖位置和图像质量，根据指尖所在位置像素点对应3D点云的形状参数，得到指尖坐标和指尖深度图的质量指标；(3)对连续多帧指尖轨迹形状进行判别，基于连续多帧得到的指尖位置和质量指标，对指尖轨迹坐标进行计算，判别出轨迹形状。优选的，所述的基于深度图实时低复杂度手指运动轨迹形状识别算法，所述的步骤(1)根据深度图切割获得指尖像素点算法，由近到远切割深度图，并根据空间距离对像素点聚类，从深度图中找到得到和指尖物理尺寸相符合的指尖像素点集。优选的，所述的基于深度图实时低复杂度手指运动轨迹形状识别算法，所述的步骤(2)计算深度图像素统计参数得到指尖位置和图像质量算法，计算指尖所在位置像素点对应3D点云的均值、方差，并以此计算得到指尖的3D坐标和深度图中指尖图像的质量指标。优选的，所述的基于深度图实时低复杂度手指运动轨迹形状识别算法，所述的步骤(3)基于连续多帧得到的指尖位置和质量指标，计算指尖轨迹坐标的特征数据，并在此基础上比对特定的轨迹线条的特征，判别出垂直和水平、圆圈、静止这几种轨迹形状。与现有技术相比，本专利技术的有益效果是：该基于深度图实时低复杂度手指运动轨迹形状识别算法通过多帧深度图中的指尖像素的统计特性计算，降低噪声和干扰带来的轨迹误差，并提高识别准确率。附图说明图1为本专利技术框图。图2为本专利技术识别指尖圆周运动轨迹的例子图。图3为本专利技术识别指尖垂直直线运动轨迹的例子图。图4为本专利技术识别指尖水平直线运动轨迹的例子。图5为本专利技术识别指尖静止的例子图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-图5，本专利技术提供一种技术方案：实施例1：一种基于深度图实时低复杂度手指运动轨迹形状识别算法，该方法包括如下步骤：(1)根据深度图切割获得指尖像素点，找出深度图中指尖对应的像素点集；(2)计算深度图像素统计参数得到指尖位置和图像质量，根据指尖所在位置像素点对应3D点云的形状参数，得到指尖坐标和指尖深度图的质量指标；(3)对连续多帧指尖轨迹形状进行判别，基于连续多帧得到的指尖位置和质量指标，对指尖轨迹坐标进行计算，判别出轨迹形状。实施例2：根据实施例1所述的基于深度图实时低复杂度手指运动轨迹形状识别算法，所述的步骤(1)根据深度图切割获得指尖像素点算法，由近到远切割深度图，并根据空间距离对像素点聚类，从深度图中找到得到和指尖物理尺寸相符合的指尖像素点集。实施例3：根据实施例1或2所述的基于深度图实时低复杂度手指运动轨迹形状识别算法，所述的步骤(2)计算深度图像素统计参数得到指尖位置和图像质量算法，计算指尖所在位置像素点对应3D点云的均值、方差，并以此计算得到指尖的3D坐标和深度图中指尖图像的质量指标。实施例4：根据实施例1或2或3所述的基于深度图实时低复杂度手指运动轨迹形状识别算法，所述的步骤(3)基于连续多帧得到的指尖位置和质量指标，计算指尖轨迹坐标的特征数据，并在此基础上比对特定的轨迹线条的特征，判别出垂直和水平、圆圈、静止这几种轨迹形状。实施例5：根据实施例1或2或3所述的基于深度图实时低复杂度手指运动轨迹形状识别算法，本专利技术是通过图1给出的总体算法架构实现的。算法包括几个处理步骤：1)根据深度图切割获得指尖像素点(图1中标号1)——找出深度图中指尖对应的像素点集；2)计算深度图像素统计参数得到指尖位置和图像质量(图1中标号2)——根据指尖所在位置像素点对应3D点云的坐标均值和方差，得到指尖坐标和指尖深度图的质量指标；3)对连续多帧指尖轨迹进行形状判别(图1中标号3)——基于连续多帧得到的指尖位置和质量指标，对指尖轨迹坐标进行计算，根据轨迹坐标特征判别出特定的轨迹形状。这3个步骤的每一步都是后续步骤的支撑，是保证识别准确率和效率的关键。对图1中各个算法步骤的具体实现原理如下给出。步骤1.根据深度图切割获得指尖像素点(图1中标号1)对于输入深度图，找出距离最近的像素点，记录该像素的深度D。然后依次找出深度图中距离小于Lk＝D+k*1cm的像素，其中k依次取值为0，1，2，…，直到Lk大于深度图中的最远距离像素的距离值。对于每个k，对深度图中距离小于Lk＝D+k*1cm的像素根据其对应的点云的3D距离进行聚类，将像素点分为多个集合。对于每个像素集合内任意两个像素点，在该集合内存在一个像素序列，以这两个像素点为序列首尾，序列内相邻两个像素对应的点云的空间距离小于1mm。对于每一个k的取值，根据上述聚类方法对距离小于Lk＝D+k*1cm的像素聚类，然后计算每个像素集合内的像素数量，只要任意一个像素集合的像素数量超过特定门限C，则将其标注为指尖对应的像素点集，并且进入下一步的处理(图中标号3)，而不再根据k的后续取值计算了。这里的门限C是根据成年人手指指尖的平均物理尺寸对应的深度图上的像素数量决定的。步骤2.计算深度图像素统计参数得到指尖位置和图像质量(图1中标号2)对于步骤1得到深度图中的指尖像素集合，计算像素对应的点云的3D物理坐标，记为{(xn，yn，zn)}，n＝1，2，3，…，N，其中N是指尖像素集合中像素数量。根据上述物理坐标计算下面以下统计量：1)均值：x＝(n＝1Nxn)/N，y＝(n＝1Nyn)/N，z＝(n＝1Nzn)/N2)方差：x2＝n＝1N(xn-x)2/N，y2＝n＝1N(yn-y)2/N，z2＝n＝1N(zn-z)2/N根据上述方差统计量计算质量指标：Q＝max(1/x2，1/y2，1/z2)质量指标越大，表明深度图中指尖像素图像质量越好。计算出来的均值作为检测出来的指尖中心位置(fx，fy，fz)，其中：fx＝本文档来自技高网...

【技术保护点】
1.一种基于深度图实时低复杂度手指运动轨迹形状识别算法，其特征是：该方法包括如下步骤：(1)根据深度图切割获得指尖像素点，找出深度图中指尖对应的像素点集；(2)计算深度图像素统计参数得到指尖位置和图像质量，根据指尖所在位置像素点对应3D点云的形状参数，得到指尖坐标和指尖深度图的质量指标；(3)对连续多帧指尖轨迹形状进行判别，基于连续多帧得到的指尖位置和质量指标，对指尖轨迹坐标进行计算，判别出轨迹形状。

【技术特征摘要】
1.一种基于深度图实时低复杂度手指运动轨迹形状识别算法，其特征是：该方法包括如下步骤：(1)根据深度图切割获得指尖像素点，找出深度图中指尖对应的像素点集；(2)计算深度图像素统计参数得到指尖位置和图像质量，根据指尖所在位置像素点对应3D点云的形状参数，得到指尖坐标和指尖深度图的质量指标；(3)对连续多帧指尖轨迹形状进行判别，基于连续多帧得到的指尖位置和质量指标，对指尖轨迹坐标进行计算，判别出轨迹形状。2.根据权利要求1所述的基于深度图实时低复杂度手指运动轨迹形状识别算法，其特征是：所述的步骤(1)根据深度图切割获得指尖像素点算法，由近到远切割深度图，并根据空间距...

【专利技术属性】
技术研发人员：应忍冬，邹耀，刘佩林，葛昊，
申请(专利权)人：上海数迹智能科技有限公司，
类型：发明
国别省市：上海,31