基于三维空间映射的指尖运动跟踪方法技术

本发明专利技术提供一种基于三维空间映射的指尖运动跟踪方法。针对手势跟踪和指尖交互的准确性要求，以及三维指尖点在二维图像中的投影存在运动估计误差的问题，本发明专利技术充分利用计算机技术，引入滤波算法，采集指尖在视频帧中的二维位置信息；根据手指尖运动生理特征，通过坐标转换获得指尖的三维位置信息，进行高精度的指尖三维运动估计；进一步的结合指尖运动规律拟合出复合运动模型、实现指尖运动的稳定跟踪。本发明专利技术可以精准反映指尖的位置信息，实现了稳定、准确的指尖运动跟踪。

Fingertip motion tracking method based on three-dimensional space mapping

【技术实现步骤摘要】
基于三维空间映射的指尖运动跟踪方法
本专利技术涉及计算机视觉和运动目标跟踪领域，具体涉及一种基于三维空间映射的指尖运动跟踪方法。
技术介绍
人机交互和目标跟踪是目前研究的热点和难点，而指尖跟踪作为人机交互任务的基础，已成为人机交互领域中至关重要的研究问题。Hololens是一款增强现实头显设备，是集增强现实场景展现、人机交互于一身的可穿戴智能眼镜设备，该设备可获取包含指尖的视频数据。视频目标跟踪是计算机视觉中的一项重要任务，是指对视频序列中的目标状态进行持续推断的过程，其任务在于通过在视频的每一帧中定位目标，以生成目标的运动轨迹，并在每一时刻提供完整的目标区域。视频跟踪技术在军事和民用方面都有着十分广泛的应用。传统目标跟踪方法通过数据关联完成观测数据与目标间的分配，再通过滤波技术完成目标状态估计。常用的目标跟踪方法包括：卡尔曼滤波算法、核相关滤波算法、最近邻法、联合概率数据关联(JPDA)、多假设跟踪等。卡尔曼滤波(KalmanFilter)算法是基于递推线性最小方差估计，它的主要原理是采用信号和噪声的状态空间模型，将最小均方误差作为最佳估计准则，再利用前一时刻的预测值和当前时刻的观本文档来自技高网...

【技术保护点】
1.一种基于三维空间映射的指尖运动跟踪方法，其特征在于，该方法包括以下步骤：①采集指尖视频，得到指尖在二维图像中的像素坐标；②对采集到的指尖二维像素坐标进行坐标系转换，得到指尖对应的三维坐标；③建立系统运动模型；④采用步骤②得到的指尖三维坐标作为初始化滤波器的位置参数，初始化滤波器；⑤通过当前时刻状态值与指尖的运动模型推算出下一时刻的预测位置；⑥计算新一帧图像中的指尖三维位置，作为观测位置，再通过预测位置和观测位置对指尖运动进行估计，得到校正位置；⑦更新卡尔曼滤波器，重复步骤②至步骤⑥，连续稳定地跟踪指尖运动。

【技术特征摘要】
1.一种基于三维空间映射的指尖运动跟踪方法，其特征在于，该方法包括以下步骤：①采集指尖视频，得到指尖在二维图像中的像素坐标；②对采集到的指尖二维像素坐标进行坐标系转换，得到指尖对应的三维坐标；③建立系统运动模型；④采用步骤②得到的指尖三维坐标作为初始化滤波器的位置参数，初始化滤波器；⑤通过当前时刻状态值与指尖的运动模型推算出下一时刻的预测位置；⑥计算新一帧图像中的指尖三维位置，作为观测位置，再通过预测位置和观测位置对指尖运动进行估计，得到校正位置；⑦更新卡尔曼滤波器，重复步骤②至步骤⑥，连续稳定地跟踪指尖运动。2.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于：所述步骤①包括以下具体步骤：第一步：实验者穿戴上视频采集设备Hololens，并移动指尖；第二步：通过Hololens采集包含指尖运动的视频；第三步：计算视频帧中指尖点的二维像素坐标(uk,vk)，其中k为时刻。3.根据权利要求1所述的基于三维空间映射的指尖运动跟踪方法，其特征在于，所述步骤②包括以下具体步骤：第一步：设定实验者在做指尖运动时，手臂的初始状态为向人体朝向正前方伸直，指尖运动的全过程保持手臂伸直状态；第二步：根据人体手臂运动规律，推断出指尖在三维球面上运动；第三步：图像像素坐标系转换到图像物理坐标系，得到指尖物理坐标(xk,yk)；具体转换方法为：A、设定指尖点的像素坐标为(uk,vk)；B、依据式(1)的坐标转换规则进行转换得到物理坐标为(xk,yk)：第四步：根据摄像机纵向视场角α和横向视场角β，以及图像长度a和宽度b，得到指尖点的三维坐标，具体方法为：Ⅰ、设定实验者手臂长度为R；Ⅱ、通过式(2)表达的指尖点和相机的角度θ关系，得到指尖点的三维坐标为4.根据权利要求1所述...

【专利技术属性】
技术研发人员：钱波，苏慧民，马剑勋，刘泽，
申请(专利权)人：国网江苏省电力有限公司常州供电分公司，国网江苏省电力有限公司，国家电网有限公司，
类型：发明
国别省市：江苏,32