基于单目的三维手势追踪方法技术

本发明专利技术提供一种基于单目的三维手势追踪方法，包括：训练手部检测模型与骨骼点识别模型，根据上一帧图像中手部的检测个数启动手部检测模型和跟踪模块，通过骨骼点识别模型对Trackhand中的当前帧的感兴趣区域进行骨骼点识别，并对识别出的骨骼点进行平滑滤波处理；统计每一帧图像中头部关于位置、姿态的数据，并将头部的数据实时存入所述跟踪模块的队列Trackhead中，结合Trackhead中头部的数据确定平滑滤波处理后的骨骼点的三维骨骼坐标，对三维骨骼坐标进行渲染处理以完成手势追踪，以一个单目相机代替两个红外双目相机，减少成本，即使安装两个单目相机亦比一个红外双目相机的成本低，降低整体能耗和散热，减轻头戴整体质量，增加头戴舒适性。

【技术实现步骤摘要】
基于单目的三维手势追踪方法
本专利技术涉及计算机视觉领域，更为具体地，涉及一种基于单目的三维手势追踪方法。
技术介绍
为了增强VR/AR/MR虚实结合的沉浸感，使VR/AR/MR有个更好的体验，人机交互模块必不可少，特别是手的3D姿态在VR/AR/MR场景中的高精度实时还原是非常影响用户在VR/AR/MR场景中的体验沉浸感。目前在VR/AR/MR领域，在主流的头戴一体机上，需要再额外增加手势识别追踪器，传统方法为额外再单独添加2个红外双目相机，或者深度相机来实现手指追踪，但是在VR/AR/MR领域，会存在以下问题：1.增加了额外的成本；2.增加了额外的功耗，现在主流的头戴都是一体机形式，即通过电池自主供电，所以整个系统的功耗非常影响用户交互的时间长短；3.在增加功耗的同时，散热也会成为一个很大的挑战；4.结构设计，增加了结构设计的复杂度和ID的挑战，违背头戴一体机体积小巧，配戴轻便，用户长时间佩戴不觉得有不适感的发展目标；5.目前比较成熟和流行的深度相机FOV一般比较小在90°左右，而头戴所需的FOV一般在110°左右，即传统方法中采用深度相机极易使手的一些运动轨迹追踪不到。因此，亟需一种节约成本、降低功耗、减少散热、增加可视区域，且能够降低头戴重量，提高头戴舒适性的基于单目的三维手势追踪方法。
技术实现思路
鉴于上述问题，本专利技术的目的是提供一种基于单目的三维手势追踪方法，以解决现有方法中红外双目相机成本高、功耗大、散热高，增加整个头戴结构设计的复杂度，增大头戴体积，用户长时间佩戴会产生不适感，并且可视视角较小，极易使手的运动轨迹追踪不全。本专利技术提供的一种基于单目的三维手势追踪方法，其特征在于，包括：训练手部检测模型与骨骼点识别模型，以使所述手部检测模型自动锁定图像的手部区域作为感兴趣区域，并使所述骨骼点识别模型自动识别所述感兴趣区域中的骨骼点；根据上一帧图像中手部的检测个数启动所述手部检测模型和跟踪模块，以获取当前帧的感兴趣区域，并将所述当前帧的数据信息保存至所述跟踪模块的跟踪队列Trackhand中；所述当前帧的数据信息至少包括所述当前帧的感兴趣区域；通过所述骨骼点识别模型对所述Trackhand中的所述当前帧的感兴趣区域进行骨骼点识别，并根据所述Trackhand中的历史数据对识别出的骨骼点进行平滑滤波处理；将每一帧图像中头部关于位置、姿态的数据实时存入所述跟踪模块的队列Trackhead中，结合所述Trackhead中头部的数据确定所述平滑滤波处理后的骨骼点的三维骨骼坐标，以完成手势追踪。优选地，在训练手部检测模型与骨骼点识别模型的过程中，采用头部追踪摄像头采集至少100个用户的手部图像数据作为动作行为案例；将所述动作行为案例输入所述手部检测模型与所述骨骼点识别模型进行模型训练。优选地，在根据上一帧图像中手部的检测个数启动所述手部检测模型和跟踪模块的过程中，若检测个数为0或1，则启动所述手部检测模型和跟踪模块；若检测个数为2，则仅启动跟踪模块。优选地，在对所述Trackhand中的当前帧的感兴趣区域进行骨骼点识别的过程中，所述感兴趣区域包括手在图像中的位置坐标和手对应的区域大小；所述骨骼点为21个。优选地，在获取当前帧的感兴趣区域的过程中，还包括：基于光流追踪算法根据所述当前帧的感兴趣区域估计下一帧的感兴趣区域，以为下一帧进行骨骼点识别提供参照。优选地，在结合所述Trackhead中头的的数据确定平滑滤波处理后的骨骼点的三维骨骼坐标的过程中，读取所述Trackhead中头的数据，获取当前帧相对上一帧头的转移矩阵T和旋转矩阵R；根据预设的追踪相机的标定参数、所述转移矩阵T以及旋转矩阵R，确定所述骨骼点的三维坐标。优选地，所述预设的追踪相机的标定参数其中，fx，fy表示所述追踪相机的像素焦距，cx,cy表示所述追踪相机光轴在图像坐标的位置。优选地，在根据预设的追踪相机的标定参数、所述转移矩阵T以及旋转矩阵R，确定所述骨骼点的三维坐标的过程中，选择所述骨骼点中的任意一个骨骼点进行三维坐标计算；依次计算每一个骨骼点直至结束计算两只手的所有骨骼点。优选地，在选择所述骨骼点中的任意一个骨骼点进行三维坐标计算的过程中，选择所述骨骼点中的点P，获取所述点P的坐标信息，令点P的上一帧三维坐标为二维图像坐标为已知二维图像坐标为假设预设点P在当前帧的三维坐标为：由点P的坐标信息可得且P2＝R*P1+T；则+T；其中，所述K-1为所述标定参数的逆矩阵。获取所述点P在当前帧的三维骨骼坐标完成二维骨骼坐标至三维骨骼坐标的转换。优选地，在结合所述Trackhead中头部的数据确定平滑滤波处理后的骨骼点的三维骨骼坐标，以完成手势追踪的过程中，将平滑滤波后的骨骼点与头部的追踪数据进行融合，并将融合后的数据由相机坐标系移至VR虚拟现实头戴的坐标系上形成三维手势信息；将所述三维手势信息传输至游戏引擎，经过渲染再实时回传至VR虚拟头戴做显示处理，完成手势追踪。从上面的技术方案可知，本专利技术提供的一种基于单目的三维手势追踪方法，通过训练手部检测模型和骨骼点识别模型以获取单目相机拍摄的手部图像中的感兴趣区域，根据上一帧图像的感兴趣区域估计下一帧图像感兴趣区域，再对感兴趣区域进行骨骼点识别，同时获取头部运动数据，结合头部数据对单目相机捕捉到的二维图像数据进行三维计算，从而确定各个骨骼点的三维坐标，完成二维至三维的转换，如此，以一个普通单目相机即可实现手部区域三维立体坐标的展示，以一个单目相机代替两个红外双目相机减少相机成本，即使安装两个单目相机亦比一个红外双目相机的成本低，降低整体能耗和散热，并且单目相机安装至头戴上，减少结构设计、减轻头戴的整体质量，增加头戴的舒适性，即使用户长时间佩戴也不会感到不适，此外单目相机FOV较大，能够更加全面的捕捉到手部运动踪迹。附图说明通过参考以下结合附图的说明书内容，并且随着对本专利技术的更全面理解，本专利技术的其它目的及结果将更加明白及易于理解。在附图中：图1为根据本专利技术实施例的基于单目的三维手势追踪方法示意图；图2为根据本专利技术实施例的基于单目的三维手势追踪方法中手部骨骼点的示意图。具体实施方式目前在VR/AR/MR领域，需在主流的头戴一体机上额外增加手势识别追踪器，即添加2个红外双目相机或者深度相机作为手势识别追踪器，存在以下问题：1.增加了额外的成本；2.增加了额外的功耗，现在主流的头戴都是一体机形式，即通过电池自主供电，所以整个系统的功耗非常影响用户交互的时间长短；3.在增加功耗的同时，散热也会成为一个很大的挑战；4.结构设计，增加了结构设计的复杂度和ID的挑战，违背头戴一体机体积小巧，配戴轻便，用户长时间佩戴不觉得有不适感的发展目标；5.目前比较成熟和流行的深度相机FOV一般比较小在90°左右，而头戴所需的本文档来自技高网...

【技术保护点】
1.一种基于单目的三维手势追踪方法，其特征在于，包括：/n训练手部检测模型与骨骼点识别模型，以使所述手部检测模型自动锁定图像的手部区域作为感兴趣区域，并使所述骨骼点识别模型自动识别所述感兴趣区域中的骨骼点；/n根据上一帧图像中手部的检测个数启动所述手部检测模型和跟踪模块，获取当前帧的感兴趣区域，并将所述当前帧的数据信息保存至所述跟踪模块的跟踪队列Trackhand中；所述当前帧的数据信息至少包括所述当前帧的感兴趣区域；/n通过所述骨骼点识别模型对所述Trackhand中的所述当前帧的感兴趣区域进行骨骼点识别，并根据所述Trackhand中的历史数据对识别出的骨骼点进行平滑滤波处理；/n将每一帧图像中头部关于位置、姿态的数据实时存入所述跟踪模块的队列Trackhead中，结合所述Trackhead中头部的数据确定所述平滑滤波处理后的骨骼点的三维骨骼坐标，以完成手势追踪。/n

【技术特征摘要】
1.一种基于单目的三维手势追踪方法，其特征在于，包括：
训练手部检测模型与骨骼点识别模型，以使所述手部检测模型自动锁定图像的手部区域作为感兴趣区域，并使所述骨骼点识别模型自动识别所述感兴趣区域中的骨骼点；
根据上一帧图像中手部的检测个数启动所述手部检测模型和跟踪模块，获取当前帧的感兴趣区域，并将所述当前帧的数据信息保存至所述跟踪模块的跟踪队列Trackhand中；所述当前帧的数据信息至少包括所述当前帧的感兴趣区域；
通过所述骨骼点识别模型对所述Trackhand中的所述当前帧的感兴趣区域进行骨骼点识别，并根据所述Trackhand中的历史数据对识别出的骨骼点进行平滑滤波处理；
将每一帧图像中头部关于位置、姿态的数据实时存入所述跟踪模块的队列Trackhead中，结合所述Trackhead中头部的数据确定所述平滑滤波处理后的骨骼点的三维骨骼坐标，以完成手势追踪。


2.如权利要求1所述的基于单目的三维手势追踪方法，其特征在于，在训练手部检测模型与骨骼点识别模型的过程中，
采用头部追踪摄像头采集至少100个用户的手部图像数据作为动作行为案例；
将所述动作行为案例输入所述手部检测模型与所述骨骼点识别模型进行模型训练。


3.如权利要求1所述的基于单目的三维手势追踪方法，其特征在于，在根据上一帧图像中手部的检测个数启动所述手部检测模型和跟踪模块的过程中，
若检测个数为0或1，则启动所述手部检测模型和跟踪模块；
若检测个数为2，则仅启动跟踪模块。


4.如权利要求1所述的基于单目的三维手势追踪方法，其特征在于，在对所述Trackhand中的当前帧的感兴趣区域进行骨骼点识别的过程中，
所述感兴趣区域包括手在图像中的位置坐标和手对应的区域大小；
所述骨骼点为21个。


5.如权利要求1所述的基于单目的三维手势追踪方法，其特征在于，在获取当前帧的感兴趣区域的过程中，还包括：
基于光流追踪算法根据所述当前帧的感兴趣区域估计下一帧的感兴趣区域，以为下...

【专利技术属性】
技术研发人员：吴涛，周锋宜，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37