本发明专利技术公开一种基于三维模型的手势跟踪计算方法，包括建立手的三维数据模型；输入图像序列，其中图像序列的第一帧图像为无自遮挡和外部遮挡的并且按照预设颜色值进行分割；通过图像的轮廓像素点和三维顶点之间的对应关系，计算仿射变换矩阵；根据仿射变换矩阵得到三维顶点的类别信息，根据三维顶点的类别信息得到仿射变换后的结果，得到三维手的模型；设置三维手的模型骨架节点和手指自由度，对每一个骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。本发明专利技术采用全局优化的算法，无需精确的三维初始模型，对输入的多视点、低分辨率的图像或视频序列跟踪效果较好。本发明专利技术还公开了一种基于三维模型的手势跟踪计算装置。
【技术实现步骤摘要】
本专利技术涉及图像处理
，特别涉及一种基于三维模型的手势跟踪计算方法和装置。
技术介绍
手势识别跟踪技术一直是人机交互的一个重要课题，研究手势识别跟踪技术的主要目的就是把手势这种自然又直观的交流方式引入到人机接口中，实现更符合人类行为习惯的接口，从而得到所需的交互信息。近年来随着科学技术的发展，手势识别跟踪技术已经取得了很多的研究成果。传统的手势识别跟踪技术可以分为二大类:1)利用手的皮肤颜色，在二维图像域进行模板匹配等处理手段进行跟踪；2)使用三维模型，将其投影到二维图像域，利用诸如轮廓、阴影等硬性约束进行跟踪。这两类方法存在的问题包括:(I)需要比较精确的三维初始模型。这点需要大量的时间成本和经济成本，很不容易实现，；(2)采用局部优化算法，在小范围内进行优化。容易陷入局部极值，无法从整体上得到非常准确的效果；(3)随着手势的增加，误识率也会大幅上升，而且手势也不能移动过快。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷之一。为此，本专利技术的第一个目的在于提供一种基于三维模型的手势跟踪计算方法，该方法改进了模拟退火粒子滤波算法，采用全局优化的算法，无需精确的三维初始模型，对输入的多视点、低分辨率的图像或视频序列显示出了较好的跟踪效果。本专利技术的第二个目的在于提供一种基于三维模型的手势跟踪计算装置。为达到上述目的，本专利技术第一方面的实施例提出了一种基于三维模型的手势跟踪计算方法，包括如下步骤:建立手的三维数据模型，其中，所述三维数据模型包括三维顶点；输入图像序列，其中，所述图像序列的第一帧图像为无自遮挡和外部遮挡的，并且所述第一帧图像按照预设颜色值进行分割；通过所述图像的轮廓像素点和所述三维顶点之间的对应关系，计算仿射变换矩阵；根据所述仿射变换矩阵得到所述三维顶点的类别信息，以及根据所述三维顶点的类别信息得到仿射变换后的结果，得到三维手的模型；设置所述三维手的模型骨架节点和手指自由度，对每一个所述骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。根据本专利技术实施例的基于三维模型的手势跟踪计算方法采用全局优化的算法，无需精确的三维初始模型就能够对输入的多视点、低分辨率的图像或视频序列进行精确的跟踪，不做任何的鲁棒的分割，只需要减去背景，即可在噪声点较多的情况下显示较好的跟踪效果。其中，跟踪的结果可以用三维模型的骨架节点的运动参数描述，也可以直接生成变形的三维手的模型。在本专利技术的一个实施例中，根据所述仿射变换矩阵得到所述三维顶点的类别信息，包括如下步骤:将所述三维顶点投影到二维平面中，判断所述三维顶点投影所在的位置；以及判断所述三维顶点的颜色信息，得到所述三维顶点的类别信息。在本专利技术的一个实施例中，将所述三维顶点的类别信息乘以所述仿射变换矩阵，得到所述仿射变换后的结果。在本专利技术的一个实施例中，所述的基于三维模型的手势跟踪计算方法，其特征在于，计算三维-二维的投影系数；将所述仿射变换后的结果反投影到三维空间得到初始三维手模型；对初始三维手模型进行迭代以得到三维手模型。在本专利技术的一个实施例中，所述对初始三维手模型迭代的次数为3次或4次。在本专利技术的一个实施例中，所述设置所述三维手的模型骨架节点和手指自由度包括:采用6个全局的旋转和平移的自由度且每个手指指定4个自由度。在本专利技术的一个实施例中，所述通过粒子滤波算法得到手势轮廓匹配图，包括如下步骤:选择粒子，其中，所述粒子为所述骨架节点的数值；根据所述粒子计算变形后的三维模型；将所述变形后的三维模型投影到二维图像中，计算轮廓匹配误差；根据所述轮廓匹配误差计算所述粒子的权值；根据所述粒子的权值，获得新的粒子直至计算结果满足预定阈值。在本专利技术的一个实施例中，采用如下公式计算所述粒子的权值，w=e_0E，其中，β =(l+t)°_7为迭代次数引起的放缩因子，t为迭代次数。本专利技术第二方面的实施例提出了一种基于三维模型的手势跟踪计算装置，包括初始化模块，用于建立手的三维数据模型，其中，所述三维数据模型包括三维顶点；输入模块，用于输入图像序列，其中，所述图像序列的第一帧图像是无自遮挡和外部遮挡的，并且所述第一帧图像按照系统内指定的颜色进行分割；仿射变换矩阵生成模块，所述仿射矩阵生成模块分别和所述初始化模块以及所述输入模块相连，用于通过所述图像的轮廓像素点和所述三维顶点之间的对应关系，计算仿射变换矩阵；三维手模型生成模块，所述三维手模型生成模块和所述仿射变换矩阵生成模块相连，用于根据所述仿射变换矩阵得到所述三维顶点的类别信息，根据所述三维顶点的类别信息得到仿射变换后的结果，以及根据所述仿射变换后的结果得到三维手的模型；轮廓匹配图生成模块，所述轮廓匹配图生成模块和所述三维手模型生成模块相连，用于设置所述三维手的模型骨架节点和手指自由度，对每一个所述骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。根据本专利技术实施例的基于三维模型的手势跟踪计算方法采用全局优化的装置，无需精确的三维初始模型就能够对输入的多视点、低分辨率的图像或视频序列进行精确的跟踪，不做任何的鲁棒的分割，只需要减去背景，即可在噪声点较多的情况下显示较好的跟踪效果。其中，跟踪的结果可以用三维模型的骨架节点的运动参数描述，也可以直接生成变形的三维手的模型。在本专利技术的一个实施例中，所述三维手模型生成模块将所述三维顶点投影到二维平面中，判断所述三维顶点投影所在的位置，以及判断所述三维顶点的颜色信息以得到所述三维顶点的类别信息。在本专利技术的一个实施例中，所述三维手模型生成模块将所述三维顶点的类别信息乘以所述仿射变换矩阵，得到所述仿射变换后的结果。在本专利技术的一个实施例中，所述三维手模型生成模块计算三维-二维的投影系数，将所述仿射变换后的结果反投影到三维空间得到初始三维手模型，以及对初始三维手模型进行迭代以得到所述三维手模型。在本专利技术的一个实施例中，所述对初始三维手模型迭代的次数为3或4次。在本专利技术的一个实施例中，所述轮廓匹配图生成模块设置所述三维手的模型骨架节点和手指自由度包括:采用6个全局的旋转和平移的自由度，每个手指指定4个自由度。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:图1为根据本专利技术实施例的基于三维模型的手势跟踪计算方法的流程框图；图2a为三维手的模型图；图2b为三维手的模型分割结果图；图3a为用户输入的第一帧图像；图3b为对用户输入的第一帧图像分割结果图；图4a为模拟退火粒子滤波算法计算出的轮廓匹配图示例I ;图4a为模拟退火粒子滤波算法计算出的轮廓匹配图示例2 ；图5a为无需任何后处理的减背景图像分割图示例I ;图5b为无需任何后处理的减背景图像分割图示例2 ;以及图6为根据本专利技术实施例的基于三维模型的手势跟踪计算装置的结构图。具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含本文档来自技高网...
【技术保护点】
一种基于三维模型的手势跟踪计算方法，其特征在于，包括如下步骤：建立手的三维数据模型，其中，所述三维数据模型包括三维顶点；输入图像序列，其中，所述图像序列的第一帧图像为无自遮挡和外部遮挡的，并且所述第一帧图像按照预设颜色值进行分割；通过所述图像的轮廓像素点和所述三维顶点之间的对应关系，计算仿射变换矩阵；根据所述仿射变换矩阵得到所述三维顶点的类别信息，以及根据所述三维顶点的类别信息得到仿射变换后的结果，得到三维手的模型；设置所述三维手的模型骨架节点和手指自由度，对每一个所述骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。
【技术特征摘要】
1.一种基于三维模型的手势跟踪计算方法，其特征在于，包括如下步骤: 建立手的三维数据模型，其中，所述三维数据模型包括三维顶点； 输入图像序列，其中，所述图像序列的第一帧图像为无自遮挡和外部遮挡的，并且所述第一帧图像按照预设颜色值进行分割； 通过所述图像的轮廓像素点和所述三维顶点之间的对应关系，计算仿射变换矩阵；根据所述仿射变换矩阵得到所述三维顶点的类别信息，以及根据所述三维顶点的类别信息得到仿射变换后的结果，得到三维手的模型； 设置所述三维手的模型骨架节点和手指自由度，对每一个所述骨架节点添加相应的粒子约束，通过粒子滤波算法获得手势轮廓匹配图。2.如权利要求1所述的基于三维模型的手势跟踪计算方法，其特征在于，根据所述仿射变换矩阵得到所述三维顶点的类别信息，包括如下步骤: 将所述三维顶点投影到二维平面中，判断所述三维顶点投影所在的位置； 判断所述三维顶点的颜色信息，得到所述三维顶点的类别信息。3.如权利要求1所述的基于三维模型的手势跟踪计算方法，其特征在于，将所述三维顶点的类别信息乘以所述仿射变换矩阵，得到所述仿射变换后的结果。4.如权利要求1所述的基于三维模型的手势跟踪计算方法，其特征在于， 计算三维-二维的投影系数； 将所述仿射变换后的结果反投影到三维空间得到初始三维手模型； 对初始三维手模型进行迭代以得到三维手模型。5.如权利要求4所述的基于三维模型的手势跟踪计算方法，其特征在于，所述对初始三维手模型迭代的次数为3次或4次。6.如权利要求1所述的基于三维模型的手势跟踪计算方法，其特征在于，所述设置所述三维手的模型骨架节点和手指自由度包括: 采用6个全局的旋转和平移的自由度且每个手指指定4个自由度。7.如权利要求1所述的基于三维模型的手势跟踪计算方法，其特征在于，所述通过粒子滤波算法得到手势轮廓匹配图，包括如下步骤: 选择粒子，其中，所述粒子为所述骨架节点的数值； 根据所述粒子计算变形后的三维模型； 将所述变形后的三维模型投影到二维图像中，计算轮廓匹配误差； 根据所述轮廓匹配误差计算所述粒子的权值； 根据所述粒子的权值，获得新的粒子直至计算结果满足预定阈值。8.如权利要求7所述的基于三维模型的手势跟踪计算方法，其特征在于...
【专利技术属性】
技术研发人员：戴琼海，王雁刚，索津莉，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。