手势识别数据采集系统、方法技术方案

本发明专利技术提供一种手势识别数据采集系统，包括封闭空间、红外追踪摄像头、在表面设置有红外标记点M1的手套，以及在表面设置有红外标记点M2的VR虚拟现实头戴，在VR虚拟现实头戴上设置有手势识别追踪摄像头；红外追踪摄像头与VR虚拟现实头戴连接服务器客户端；服务器客户端包括空间定位模块、拟合模块和移位模块，定位模块用于确定红外标记点M1的质心与红外标记点M2的质心之间的位置关系

Gesture recognition data acquisition system and method

【技术实现步骤摘要】
手势识别数据采集系统、方法
本专利技术涉及计算机视觉领域，更为具体地，涉及一种手势识别数据采集系统、方法。
技术介绍
为了增强VR/AR/MR虚实结合的沉浸感，使VR/AR/MR有个更好的体验，人机交互模块必不可少，特别是手的3D姿态在VR/AR/MR场景中的高精度实时还原是非常影响用户在VR/AR/MR场景中的体验沉浸感。手势识别在VR/AR/MR领域非常关键，特别在VR/AR/MR场景体验中的轻交互占据着比较重要的作用，所以对裸手追踪的精度，延时和环境的兼容稳定性要求比较高，目前在VR/AR/MR领域的手势识别中，VR/AR/MR设备厂商逐渐在考虑复用头戴一体机端设置的环境捕捉摄像头对用户的手部信息进行追踪识别，目前手部追踪的主流方案大都会采用基于AI的算法架构，需要采集大量的图像训练数据，对每一张图像数据进行标注，然后进行卷积神经网络的训练学习，通过多次训练和大数据集，最终会获取一个高精度，高稳定性的手势识别卷积神经网络模型。在采集大量图像数据，对每一张图像数据进行标注时，每一张图像数据上的手对应的每一个骨骼点的数据标注位置的精度很是关键，目前传统方法为采用人工标注，半监督学习的方式解决数据标注问题。即先通过人工标注小部分数据，然后基于这些数据进行网络模型训练，通过训练的模型进行其他数据的识别标注，然后进行人工监督检查，对模型识别出的标注点的错误的位置信息进行人工修正，然后再继续进行网络模型训练，依次重复上面的过程，最终希望获取一个高精度的网络模型。通过上面的方法，数据标注精度对人依赖比较大，特别是一些手势动作对应的一些标注点位置在摄像头视角下遮挡时，此时就需要人工估计这些遮挡的标注点在图像上的位置信息，这样数据标注精度很难得到保证，导致网络模型的训练精度低。因此，亟需一种不需人工标注、提高数据标注的精度，且提高数据标注效率的一种手势识别数据采集系统、方法。
技术实现思路
鉴于上述问题，本专利技术的目的是提供一种手势识别数据采集系统，以解决现有方法先通过人工标注小部分数据，再基于这些数据进行网络模型训练，通过训练的模型进行其他数据的识别标注，然后进行人工监督检查，对模型识别出的标注点的错误的位置信息进行人工修正，进而再继续进行网络模型训练，依次重复上面的过程，最终获取一个高精度的网络模型，该方法的数据标注精度对人依赖比较大，特别是一些手势动作对应的一些标注点位置在摄像头视角下遮挡时，此时就需要人工估计这些遮挡的标注点在图像上的位置信息，这样数据标注精度很难得到保证，导致网络模型的训练精度低。本专利技术提供的一种手势识别数据采集系统，其特征在于，包括封闭空间、红外追踪摄像头、在表面设置有红外标记点M1的手套，以及在表面设置有红外标记点M2的VR虚拟现实头戴，其中，所述红外标记点M1设置在与手部骨骼点对应的位置上；所述红外追踪摄像头与所述VR虚拟现实头戴连接服务器客户端；所述红外追踪摄像头设置在所述封闭空间的墙面上，用于扫描所述红外标记点M1、M2以获取所述手套在所述封闭空间内的位置坐标与所述VR虚拟现实头戴在所述封闭空间内的位置坐标并将所述位置坐标与所述位置坐标传输至所述服务器客户端；在所述VR虚拟现实头戴上设置有至少两个手势识别追踪摄像头；所述VR虚拟现实头戴用于通过所述手势识别追踪摄像头拍摄所述手套以获取所述手套相对于所述手势识别追踪摄像头的坐标数据并将所述坐标数据传输至所述服务器客户端；所述服务器客户端包括空间定位模块、拟合模块和移位模块；其中，所述定位模块用于根据所述位置坐标与所述位置坐标确定所述红外标记点M1的质心与所述红外标记点M2的质心之间的位置关系所述拟合模块用于以所述手势识别追踪摄像头为原点坐标，将所述坐标数据与所述位置关系进行曲线拟合估计以获取所述红外标记点M2的质心相对所述原点坐标的旋转矩阵和平移向量；所述移位模块用于根据所述旋转矩阵和平移向量将所述红外标记点M1平移旋转至以所述手势识别追踪摄像头为原点坐标的坐标系上，以使所述手部骨骼点标定在所述手势识别追踪摄像头拍摄的手势照片上。优选地，所述红外追踪摄像头的数量为40-50个。优选地，所述红外追踪摄像头采用视角范围至少为55°*45°，帧率至少为180Hz、曝光方式为GlobalShutter，图像分辨率为1080P的高精度红外追踪摄像头。优选地，所述曲线拟合估计基于最小二乘估计算法。优选地，所述红外追踪摄像头通过交换机与所述服务器客户端连接；所述交换机用于将所述红外追踪摄像头采集的数据实时传输至所述服务器客户端。优选地，所述手势追踪摄像头采用视角范围至少为130*100°，帧率至少为60Hz，曝光方式为GlobalShutter，图像分辨率为VGA的摄像头。优选地，所述红外标记点M1的质心为所有红外标记点M1组成的几何图形的质心；所述红外标记点M2的质心为所有红外标记点M2组成的几何图形的质心。所述位置坐标所述位置坐标与所述位置关系为相对于所述封闭空间的位置，所处坐标系为以红外追踪摄像头为坐标原点的坐标系。本专利技术还提供的一种手势识别数据采集方法，包括：通过红外追踪摄像头扫描手套上的红外标记点M1、VR虚拟现实头戴上的红外标记点M2以获取所述手套在封闭空间内的位置坐标与所述VR虚拟现实头戴在封闭空间内的位置坐标所述红外标记点M1与手部骨骼点的位置相对应；根据所述位置坐标与所述位置坐标确定所述红外标记点M1的质心与所述红外标记点M2的质心之间的位置关系通过所述VR虚拟现实头戴上的手势识别追踪摄像头拍摄所述手套以获取所述手套相对于所述手势识别追踪摄像头的坐标数据并以所述手势识别追踪摄像头为原点坐标，将所述坐标数据与所述位置关系进行曲线拟合估计，以获取所述红外标记点M2的质心相对所述原点坐标的旋转矩阵和平移向量；根据所述旋转矩阵和平移向量将所述红外标记点M1平移旋转至以所述手势识别追踪摄像头为原点坐标的坐标系上，以使所述手部骨骼点标定在所述手势识别追踪摄像头拍摄的手势照片上。优选地，在通过所述VR虚拟现实头戴上的手势识别追踪摄像头拍摄所述手套以获取所述手套相对于所述手势识别追踪摄像头的坐标数据的过程中，所述VR虚拟现实头戴上的手势识别追踪摄像头拍摄到所述手套上至少20个红外标记点M1。从上面的技术方案可知，本专利技术提供的一种手势识别数据采集系统、方法，通过在封闭空间内的五个面上设置红外追踪摄像头，再在手套和VR虚拟现实头戴上设置红外标记点M1和M2，通过红外追踪摄像头扫描所述红外标记点M1、M2以获取所述手套在封闭空间内的位置坐标与所述VR虚拟现实头戴在封闭空间内的位置坐标并根据所述位置坐标与所述位置坐标确定所述红外标记点M1的质心与所述红外标记点M2的质心之间的位置关系再通过VR虚拟现实头戴上的手势识别追踪摄像头拍摄所述手套以获取所述手套相对于该手势识别追踪摄像头121的坐标数据并将坐标数据与位置关系进行曲线拟合估计以获取红外标记点M2的质心相对原点本文档来自技高网...

【技术保护点】
1.一种手势识别数据采集系统，其特征在于，包括封闭空间、红外追踪摄像头、在表面设置有红外标记点M1的手套，以及在表面设置有红外标记点M2的VR虚拟现实头戴，其中，/n所述红外标记点M1设置在与手部骨骼点对应的位置上；/n所述红外追踪摄像头与所述VR虚拟现实头戴连接服务器客户端；/n所述红外追踪摄像头设置在所述封闭空间的墙面上，用于扫描所述红外标记点M1、M2以获取所述手套在所述封闭空间内的位置坐标

【技术特征摘要】
20200512 CN 20201039709121.一种手势识别数据采集系统，其特征在于，包括封闭空间、红外追踪摄像头、在表面设置有红外标记点M1的手套，以及在表面设置有红外标记点M2的VR虚拟现实头戴，其中，
所述红外标记点M1设置在与手部骨骼点对应的位置上；
所述红外追踪摄像头与所述VR虚拟现实头戴连接服务器客户端；
所述红外追踪摄像头设置在所述封闭空间的墙面上，用于扫描所述红外标记点M1、M2以获取所述手套在所述封闭空间内的位置坐标与所述VR虚拟现实头戴在所述封闭空间内的位置坐标并将所述位置坐标与所述位置坐标传输至所述服务器客户端；
在所述VR虚拟现实头戴上设置有至少两个手势识别追踪摄像头；所述VR虚拟现实头戴用于通过所述手势识别追踪摄像头拍摄所述手套以获取所述手套相对于所述手势识别追踪摄像头的坐标数据并将所述坐标数据传输至所述服务器客户端；
所述服务器客户端包括空间定位模块、拟合模块和移位模块；其中，
所述定位模块用于根据所述位置坐标与所述位置坐标确定所述红外标记点M1的质心与所述红外标记点M2的质心之间的位置关系
所述拟合模块用于以所述手势识别追踪摄像头为原点坐标，将所述坐标数据与所述位置关系进行曲线拟合估计以获取所述红外标记点M2的质心相对所述原点坐标的旋转矩阵和平移向量；
所述移位模块用于根据所述旋转矩阵和平移向量将所述红外标记点M1平移旋转至以所述手势识别追踪摄像头为原点坐标的坐标系上，以使所述手部骨骼点标定在所述手势识别追踪摄像头拍摄的手势照片上。


2.如权利要求1所述的手势识别数据采集系统，其特征在于，
所述红外追踪摄像头的数量为40-50个。


3.如权利要求1所述的手势识别数据采集系统，其特征在于，
所述红外追踪摄像头采用视角范围至少为55°*45°，帧率至少为180Hz、曝光方式为GlobalShutter，图像分辨率为1080P的高精度红外追踪摄像头。


4.如权利要求1所述的手势识别数据采集系统，其特征在于，
所述曲线拟合估计基于最小二乘估计算法。


5.如权利要求1所述的手势识别数...

【专利技术属性】
技术研发人员：吴涛，周锋宜，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37