基于Kinect的拆卸工具运动轨迹识别方法技术

本发明专利技术涉及基于Kinect的拆卸工具运动轨迹识别方法，首先采用Kinect传感器获取拆卸人员前臂及拆卸工具深度图像，通过图像细化获得拆卸工具顶端位置并提取轨迹特征，对基于欧式距离和随机抽样一致性的样本轨迹进行预处理，然后利用隐马尔科夫模型（HMM）训练轨迹样本并实现轨迹的识别。本发明专利技术不仅能对拆卸工具进行轨迹提取，还能对提取的运动轨迹进行识别。

Identification method of moving track of disassembly tool based on Kinect

The present invention relates to a disassembling tool trajectory recognition method based on Kinect, firstly using Kinect sensor to obtain the demolition crews forearm and disassembly tool depth image, obtain the top position and extract the disassembly tool trajectory characteristics through image thinning, preprocessing the Euclidean distance and random sampling consistency based on sample trajectory, and then use the hidden Markov model (HMM) and realize track trajectory recognition training samples. The invention not only can extract the trajectory of the disassembling tool, but also can recognize the extracted moving track.

【技术实现步骤摘要】
基于Kinect的拆卸工具运动轨迹识别方法
：本专利技术涉及一种拆卸工具运动轨迹识别方法，尤其涉及一种基于Kinect的拆卸工具运动轨迹识别方法。
技术介绍
：在废旧产品的自动化拆卸中，如何获取人工拆卸的相关信息并进行学习，能大幅度提高拆卸过程的自动化程度。Kinect设备是微软于2010年正式推出，可以获取深度图像和RGB彩色图像数据，同时进行实时的全身骨骼跟踪，并可以进行人体动作姿态识别。目前大部分运动跟踪设备需要穿戴，通过标记来识别，微软开发的Kinect不做任何标定可以直接获取人体姿态动作，满足了便捷性。Kinect在人体手势识别方面已经有了研究，但在利用拆卸工具的情况下，对拆卸工具的轨迹识别还未见有相关研究。
技术实现思路
：专利技术目的：为了克服现有的手势识别技术中多采用肤色空间进行手势分割、建模，容易受到光照等因素影响的问题，本专利技术提出了基于Kinect的拆卸工具运动轨迹识别方法，使用Kinect设备能够提供人体深度图像信息，能够在较暗条件下提供人体骨骼图像。技术方案：本专利技术是通过以下技术方案来实现的：基于Kinect的拆卸工具运动轨迹识别方法，其特征在于：首先采用Kinect传感器获取拆卸人员前臂及拆卸工具深度图像，并对图像进行二值化、细化处理获得拆卸工具顶端位置，提取拆卸工具轨迹，然后对样本轨迹利用欧式距离和随机抽样一致性进行预处理，对预处理后的样本轨迹进行量化编码，最后构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。采用Kinect传感器对手持拆卸工具进行轨迹提取并识别的具体步骤为：(1)轨迹提取及预处理，具体步骤如下：1)获取拆卸工具的深度图像：利用Kinect获取视场范围内手持拆卸工具的深度图像；2)图像细化：用图像分析方法，得到图像中目标的精细骨架特征；利用图像细化得到前臂及拆卸工具的曲线图；3)提取拆卸工具顶端三维坐标：对于细化后的图像，依次获取曲线上各像素点的坐标；利用Kinect对人体关节的跟踪，提取出肘关节点的坐标，计算肘关节点的坐标与曲线上其它点坐标的欧式距离，将计算出最大的欧式距离值所对应的点设为拆卸工具顶点；4)获取拆卸工具轨迹：人拿拆卸工具进行运动，在运动的整个过程中，利用Kinect提取一系列深度图像，对每一幅深度图像进行步骤2)～步骤3)的操作，获得拆卸工具顶端的位置，提取轨迹特征；5)轨迹预处理及量化编码：利用欧式距离和随机抽样一致性对样本进行预处理，然后对轨迹进行角度量化编码，将角度值转化为1到16的码值；(2)轨迹识别：构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。优点及效果：(1)整个识别过程中的设备，包括Kinect传感器和笔记本电脑，成本低。(2)利用Kinect可以对拆卸工具运动轨迹进行提取，通过对轨迹样本进行预处理可以提高隐马尔科夫模型的轨迹识别率。附图说明：图1为21个人体关节点图。图2为右前臂及拆卸工具图。图3为细化规则图。图4为细化示意图。图5为轨迹模型图。图6为干扰点剔除示意图。图7为方向矢量图。图8为夹角量化编码图。具体实施方式：本专利技术涉及一种基于Kinect的拆卸工具运动轨迹识别方法，是一种简单、方便的拆卸工具运动轨迹识别方法。首先采用Kinect传感器获取拆卸人员前臂及拆卸工具深度图像，并对图像进行二值化、细化处理获得拆卸工具顶端位置，提取拆卸工具轨迹，然后对样本轨迹利用欧式距离和随机抽样一致性进行预处理，对预处理后的样本轨迹进行量化编码，最后构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。采用Kinect传感器对手持拆卸工具进行轨迹提取并识别的具体步骤为：(1)轨迹提取及预处理，具体步骤如下：1)获取拆卸工具的深度图像：利用Kinect获取视场范围内手持拆卸工具的深度图像；2)图像细化：用图像分析方法，得到图像中目标的精细骨架特征；利用图像细化得到前臂及拆卸工具的曲线图；3)提取拆卸工具顶端三维坐标：对于细化后的图像，依次获取曲线上各像素点的坐标；利用Kinect对人体关节的跟踪，提取出肘关节点的坐标，计算肘关节点的坐标与曲线上其它点坐标的欧式距离，将计算出最大的欧式距离值所对应的点设为拆卸工具顶点；4)获取拆卸工具轨迹：人拿拆卸工具进行运动，在运动的整个过程中，利用Kinect提取一系列深度图像，对每一幅深度图像进行步骤2)～步骤3)的操作，获得拆卸工具顶端的位置，提取轨迹特征；5)轨迹预处理及量化编码：由于样本数据里存在干扰点，利用欧式距离和随机抽样一致性对样本进行预处理，然后对轨迹进行角度量化编码，将角度值转化为1到16的码值；(2)轨迹识别：构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。下面结合附图和实施例对本专利技术做进一步的说明：上述基于Kinect的拆卸工具运动轨迹识别方法，具体步骤如下：(1)轨迹提取及预处理，具体步骤如下：1)获取工具的深度图像：深度图像包含与场景物体表面距离有关信息的一种图像。与彩色图像相比，深度图像能反映物体表面的三维特征，且不受光照等外在因素的影响。利用Kinect获得的深度图像可以对人体主要部位进行识别，本文主要研究手持拆卸工具轨迹，可以对手持拆卸工具进行识别。加入工具的关节点作为第21个关节点，如图1所示。由于是手持拆卸工具，为了获取更多的图像信息方便图像处理，利用Kinect提取前臂及拆卸工具的整个深度图像如图2所示。2)图像细化：由于获取的前臂及拆卸工具深度图像特征不精细，这给拆卸工具顶端坐标获取带来很大难度，因此引入图像分析方法，得到一个精细的骨架特征，这就是图像细化。图像细化是针对二值图像的细化，对于640x480的二值图像，1代表待细化的像素点区域，0代表背景。对边界点P及其八邻域点P0，P1，…，P6，P7，如图3所示。对于边界点P，判断P0到P7所对应的像素值，计算八个邻域点的权值S，对S值查表1的编号，若编号对应的值为1，则可以判断P为可删除点。表1索引表式中：Pk表示第k个邻域点的像素值；k表示第几个邻域点。通过上述方法对人体前臂及拆卸工具的二值图像进行细化，如图4所示。4)人拿拆卸工具进行运动(以圆为例)，在运动的整个过程中，利用Kinect提取一系列深度图像，对每一幅深度图像进行2)～3)的操作，获得拆卸工具顶端的位置，提取轨迹特征，图5所示的是一个近似圆形的工具轨迹。5)轨迹预处理及量化编码：样本数据里存在干扰点，所以提出利用欧式距离和随机抽样一致性对样本进行预处理。对于获取的轨迹特征点的数据集合Q,计算其重心点P(x0,y0)。轨迹特征点集合可表示为：Q＝{Qi|Qi＝(xi,yi),i∈[1,n]}式中：Qi表示(xi,yi)处的位置坐标；n表示特征点数目。重心点坐标可表示为：式中：xi表示点的横坐标；yi表示点的纵坐标。计算每个样本里点到重心P(x0,y0)的欧式距离d，若d∈(T1,T2)，则将d＞T所对应的点剔除；若对式(1)样本，利用随机抽样一致性算法拟合成一条直线L，提取集合Q中每一点到直线L的距离d'，将d‘＞T本文档来自技高网...

【技术保护点】
基于Kinect的拆卸工具运动轨迹识别方法，其特征在于：首先采用Kinect传感器获取拆卸人员前臂及拆卸工具深度图像，并对图像进行二值化、细化处理获得拆卸工具顶端位置，提取拆卸工具轨迹，然后对样本轨迹利用欧式距离和随机抽样一致性进行预处理，对预处理后的样本轨迹进行量化编码，最后构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。

【技术特征摘要】
1.基于Kinect的拆卸工具运动轨迹识别方法，其特征在于：首先采用Kinect传感器获取拆卸人员前臂及拆卸工具深度图像，并对图像进行二值化、细化处理获得拆卸工具顶端位置，提取拆卸工具轨迹，然后对样本轨迹利用欧式距离和随机抽样一致性进行预处理，对预处理后的样本轨迹进行量化编码，最后构建隐马尔科夫(HMM)模型，将编码值输入到HMM模型中进行训练，优化选取模型参数，实现拆卸工具轨迹识别。2.根据权利要求1所述的基于Kinect的拆卸工具运动轨迹识别方法，其特征在于：采用Kinect传感器对手持拆卸工具进行轨迹提取并识别，具体步骤为：(1)轨迹提取及预处理，具体步骤如下：1)获取拆卸工具的深度图像：利用Kinect获取视场范围内手持拆卸工具的深度图像；2)图像细化：用图像分析方法，得到图像中目标的精细骨架特...

【专利技术属性】
技术研发人员：张志佳，钟玲，魏信，王婷婷，
申请(专利权)人：沈阳工业大学，
类型：发明
国别省市：辽宁,21