基于标记点的三维手势的识别方法、装置及设备制造方法及图纸

本发明专利技术公开了一种基于标记点的三维手势的识别方法、装置、设备及存储介质，该方法包括：获取每一摄像头在当前时刻采集到的图像；对于每一图像，确定图像中手套上所布设的每一标记点的标识以及对应的二维坐标位置；根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置；将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至设定空间的坐标系下的初始三维坐标位置；根据每一图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定手套上布设的每一标记点在设定空间的坐标系下的目标三维坐标位置。

【技术实现步骤摘要】
基于标记点的三维手势的识别方法、装置及设备
本专利技术涉及图像处理
，更具体地，涉及一种基于标记点的三维手势的识别方法、一种基于标记点的三维手势的识别装置、一种服务器以及一种计算机可读存储介质。
技术介绍
为了增强头戴设备(例如虚拟现实VR(VirtualReality)设备、增强现实AR设备(AugmentedReality)、混合现实MR(MixedReality)设备)的虚实结合的沉浸感，以使头戴设备提供更好的用户体验，实现人机交互是非常关键的。而在实现人机交互时，对使用头戴设备的用户的三维手势的识别成为重要的技术手段之一。目前，对使用头戴设备的用户的三维手势的识别的方式通常为：用户佩戴手套，手套上对应人手的关节点处设置一组追踪定位传感器(例如IMU9轴传感器，或3轴电磁传感器)；每一组追踪定位传感器确定对应关节点的姿态信息；由每一关节点的姿态信息形成用户的三维手势。但是，现有的对使用头戴设备的用户的三维手势的识别的方式存在如下问题：问题一、用户佩戴的手套上需要布置多个追踪定位传感器，且用户佩戴的手套上布置的多个追踪定位传感器在出厂前需要做校准，这导致手套生产成本提高；问题二、用户佩戴的手套上所设置的多个追踪定位传感器在运行过程中散出大量热量，以及手套上所设置的多个追踪定位传感器导致手套的灵活性降低，这降低了用户的使用体验。
技术实现思路
本专利技术的一个目的是提供一种用于基于标记点的三维手势的识别的新技术方案。根据本专利技术的第一方面，提供了一种基于标记点的三维手势的识别方法，应用于手势识别系统中的服务器，所述系统中还包括设置在设定空间中的至少两个摄像头、至少一双布设有对应于人手关节的标记点的手套，包括：获取每一所述摄像头在当前时刻采集到的图像；对于每一图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置；根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置；将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置；根据每一所述图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定所述手套上布设的每一标记点在所述设定空间的坐标系下的目标三维坐标位置。可选的，所述对于每一所述图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置，包括：对于每一所述图像，利用手套检测模型确定所述图像中手套图像所在的区域；利用标记点识别模型，从所述区域中识别出所述手套上布设的每一标记点的标识，以及确定对应的二维坐标位置。可选的，所述将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置，包括：获取对应摄像头相对于所述设定空间的坐标系原点的位姿；获取每一标记点相对于对应摄像头的深度；根据所述位姿、每一标记点相对于对应摄像头的深度，将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置。可选的，在所述对于每一所述图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置，之后，还包括：对于每一所述图像中的每一标记点，利用对应标记点在第一预设的历史时刻的二维坐标位置，对对应标记点的二维坐标位置进行平滑滤波处理，以更新对应标记点的二维坐标位置。可选的，所述方法还包括：对于所述手套上布设的每一标记点，利用对应标记点在第二预设的历史时刻的目标三维坐标位置，对对应标记点的目标三维坐标位置进行平滑滤波处理，以更新对应标记点的目标三维坐标位置。可选的，所述方法还包括：获取第一训练样本集，所述第一训练样本集包括多组第一训练样本，一组所述第一训练样本中包括包含所述手套的手套图像的第一样本图像、以及所述第一样本图像中所述手套图像的区域信息；将所述第一样本图像作为目标区域检测模型的输入，对应手套图像的区域信息作为监督，对所述目标区域检测模型进行训练，得到所述手套检测模型；获取第二训练样本集，所述第二训练样本集包括多组第二训练样本，一组所述第二训练样本中包括作为第二样本图像的所述手套的手套图像、以及所述第二样本图像中包含的标记点的标识；将所述第二样本图像作为手部关键点识别模型的输入，对应标记点的标识作为监督，对所述手部关键点模型进行训练，得到所述标记点识别模型。可选的，所述标记点为被动式发光的红外标记点，所述摄像头为红外摄像头，且所述红外摄像头配置有红外光源。根据本专利技术的第二方面，提供了一种基于标记点的三维手势的识别装置，包括：获取模块，用于获取每一所述摄像头在当前时刻采集到的图像；第一确定模块，用于对于每一图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置；第二确定模块，用于根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置；转换模块，用于将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置；第三确定模块，用于根据每一所述图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定所述手套上布设的每一标记点在所述设定空间的坐标系下的目标三维坐标位置。根据本专利技术的第三方面，提供了一种服务器，包括如第二方面所述的装置；或者，包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，以执行如第一方面中任一项所述的方法。根据本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的方法。在本申请实施例中，可以得到用户双手佩戴的手套上每一标记点的三维坐标位置，每一标记点的三维坐标位置可对用户双手的三维手势进行描述。即本申请实施例提供的基于标记点的三维手势的识别方法，可以实现三维手势的识别。同时，在本申请实施例中，一方面无需在手套上设置追踪定位传感器，另一方面无需对手套进行校准等操作，这样可降低手套的成本。另外，手套上的标记点仅散发少量热量甚至不散发热量，且体积很小，这样可以提高用户的使用体验。通过以下参照附图对本专利技术的示例性实施例的详细描述，本专利技术的其它特征及其优点将会变得清楚。附图说明被结合在说明书中并构成说明书的一部分的附图示出了本专利技术的实施例，并且连同其说明一起用于解释本专利技术的原理。图1是本申请实施例提供的一种手套的示意图；图2是本申请实施例提供的一种手势识别系统的示意图；图3是根据本申请实施例提供的一种实现基于标记点的三维手势的识别方法的服务器的硬件配置的框图；图4是本申请实施例提供的一种基于标记点的三维手势的识别方法的流程示意图；图5是本申请实施例提供的一种基本文档来自技高网...

【技术保护点】
1.一种基于标记点的三维手势的识别方法，其特征在于，应用于手势识别系统中的服务器，所述系统中还包括设置在设定空间中的至少两个摄像头、至少一双布设有对应于人手关节的标记点的手套，包括：/n获取每一所述摄像头在当前时刻采集到的图像；/n对于每一图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置；/n根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置；/n将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置；/n根据每一所述图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定所述手套上布设的每一标记点在所述设定空间的坐标系下的目标三维坐标位置。/n

【技术特征摘要】
1.一种基于标记点的三维手势的识别方法，其特征在于，应用于手势识别系统中的服务器，所述系统中还包括设置在设定空间中的至少两个摄像头、至少一双布设有对应于人手关节的标记点的手套，包括：
获取每一所述摄像头在当前时刻采集到的图像；
对于每一图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置；
根据每一标记点的二维坐标位置、对应摄像头的标定参数，确定每一标记点在对应摄像头坐标系下的三维坐标位置；
将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置；
根据每一所述图像中每一标记点的初始三维坐标位置、对应标记点的标识，确定所述手套上布设的每一标记点在所述设定空间的坐标系下的目标三维坐标位置。


2.根据权利要求1所述的方法，其特征在于，所述对于每一所述图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置，包括：
对于每一所述图像，利用手套检测模型确定所述图像中手套图像所在的区域；
利用标记点识别模型，从所述区域中识别出所述手套上布设的每一标记点的标识，以及确定对应的二维坐标位置。


3.根据权利要求1所述的方法，其特征在于，所述将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置，包括：
获取对应摄像头相对于所述设定空间的坐标系原点的位姿；
获取每一标记点相对于对应摄像头的深度；
根据所述位姿、每一标记点相对于对应摄像头的深度，将每一标记点在对应摄像头坐标系中的三维坐标位置，转换至所述设定空间的坐标系下的初始三维坐标位置。


4.根据权利要求1所述的方法，其特征在于，在所述对于每一所述图像，确定所述图像中所述手套上所布设的每一标记点的标识以及对应的二维坐标位置，之后，还包括：
对于每一所述图像中的每一标记点，利用对应标记点在第一预设的历史时刻的二维坐标位置，对对应标记点的二维坐标位置进行平滑滤波处理，以更新对应标记点的二维坐标位置。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于所述手套上布设的每一标记点，利用对应标记点在第二预设的历史时刻的目标三维坐标位置，对对应标记点的...

【专利技术属性】
技术研发人员：吴涛，
申请(专利权)人：青岛小鸟看看科技有限公司，
类型：发明
国别省市：山东;37