【技术实现步骤摘要】
手势追踪方法及装置
本专利技术涉及手势识别
，具体地，涉及一种手势追踪方法及装置。
技术介绍
目前，在VR/AR/MR领域，手势识别的方法多种多样，通常采用基于计算机视觉追踪识别技术或基于惯性传感器的动作捕捉技术来解决手势识别问题，但是，基于计算机视觉追踪识别技术和基于惯性传感器的动作捕捉技术都存在一些问题。基于计算机视觉追踪识别技术对手的姿态、位置和手指关节姿态进行识别和还原，一般是通过环境架设的追踪相机，或者VR头戴显示设备上设置追踪相机，通过图像识别技术实时追踪手在相机下的位置、旋转信息和手指关节姿态信息。在实际使用中，用户的一些复杂手势比如双手交叉、双手叠交等，会在相机捕捉的图像上产生较少的识别信息，从而导致手势识别结果和用户的实际手势产生较大的误差；或者用户使用的场景背景较为复杂时，用户的手在图像上的分割检测容易出现错误检测，导致用户的手势识别精度不稳定等。利用惯性传感器进行手部动作捕捉，操作简单，便携性高，不受外界光干扰，不受手的复杂手势影响，手势识别捕捉精度高，数据采样率高。但是对于手部关...
【技术保护点】
1.一种手势追踪方法，其特征在于，包括：/n将可穿戴手环戴至手腕处，所述可穿戴手环的表面设置有光学图案标记点，且所述可穿戴手环中内置有惯性导航传感器；/n实时捕捉所述光学图案标记点在空间中的运动状态，获取光学追踪图像，并通过所述惯性导航传感器获取所述可穿戴手环的惯性导航数据；/n根据所述光学追踪图像和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息，以所述4DoF信息表示手部在三维空间x轴、y轴、z轴三个方向的位置移动信息和手部绕z轴方向的旋转信息；/n通过所述4DoF信息进行手部其他22DoF信息的计算，从而获取手部的位置和姿态信息。/n
【技术特征摘要】
1.一种手势追踪方法，其特征在于，包括：
将可穿戴手环戴至手腕处，所述可穿戴手环的表面设置有光学图案标记点，且所述可穿戴手环中内置有惯性导航传感器；
实时捕捉所述光学图案标记点在空间中的运动状态，获取光学追踪图像，并通过所述惯性导航传感器获取所述可穿戴手环的惯性导航数据；
根据所述光学追踪图像和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息，以所述4DoF信息表示手部在三维空间x轴、y轴、z轴三个方向的位置移动信息和手部绕z轴方向的旋转信息；
通过所述4DoF信息进行手部其他22DoF信息的计算，从而获取手部的位置和姿态信息。
2.根据权利要求1所述的手势追踪方法，其特征在于，根据所述运动状态和所述惯性导航数据，通过计算机视觉技术获取可穿戴手环的4DoF信息的步骤包括：
对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测；
根据检测出的特征点和所述惯性导航数据预测所述可穿戴手环在下一帧光学追踪图像上的位置坐标，将检测出的特征点信息和下一帧的预测信息构建形成特征点跟踪队列；
实时获取光学追踪图像的图像数据，并根据所述图像数据获取所述特征点跟踪队列中每一个可穿戴手环对应的特征点在当前帧的光学追踪图像上的预测位置；
根据所述预测位置和对应的惯性导航数据获取可穿戴手环的4DoF信息。
3.根据权利要求2所述的手势追踪方法，其特征在于，对所述可穿戴手环上的光学图案标记点在光学追踪图像上的特征点进行检测的步骤包括：
建立特征匹配数据库，所述特征匹配数据库包括所述可穿戴手环上的每个光学图案标记点及其对应的特征向量；
实时获取光学追踪图像，检测所述光学追踪图像的特征点，并提取与所述特征点对应的特征向量；
将所述光学追踪图像的特征点与所述特征匹配数据库中的特征点进行匹配，得到特征匹配度最大且对应空间位置连续的预设个数个特征点。
4.根据权利要求3所述的手势追踪方法，其特征在于，利用FAST检测算法，并根据可穿戴手环上的光学图案标记点的分布，检测所述光学追踪图像的特征点；利用区域提取法对检测出的每个特征点进行特征向量的提取。
5.根据权利要求3所述的手势追踪方法，其特征在于，将所述光学追踪图像的特征点与所述特征匹配数据库中的特征点进行匹配的步骤包括：
将可穿戴手环中内置的惯性导航传感器的坐标系与追踪相机的坐标系标定对齐；
通过惯性导航数据获取所述可穿戴手环上的每一个光学图案标记点相对于追踪相机的旋转角度，得到光学追踪图像上相邻两个特征点的物理位置关系；
根据所述物理位置关系对光学追踪图像上的特征点进行空间排序；
按照空间顺序，以预设个数为一组，进行滑动窗口遍历计算，与所述特征匹配数据库中的特征点对应的空间顺序，进行特征点匹配。
6.根据权利要求2所述的手势追踪方...
【专利技术属性】
技术研发人员：吴涛，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。