一种用于手持控制设备追踪定位的方法、设备与系统技术方案

本申请的目的是提供一种用于手持控制设备追踪定位的方法、设备与系统。与现有技术相比，本申请通过在手持控制设备上设置有至少一个LED矩阵，且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，然后，由摄像设备对每一次亮度变化进行拍摄并将所拍摄的多张连续图像发送至处理设备，以由处理设备确定所述手持控制设备的位置与姿态。从而，本申请所述的手持控制设备追踪定位方式，对手部运动的跟踪精度更高，且跟踪延迟很低，使得用户更加具有沉浸感；并且由于摄像设备的固定位置较为灵活，因此拍摄自由，易于解决拍摄干扰；同时，由于LED矩阵大部分时间处于熄灭状态，因此节省了手持控制设备的功耗，增加了手持控制设备续航时间。

A method, device and system for tracking and positioning of handheld control equipment

【技术实现步骤摘要】
一种用于手持控制设备追踪定位的方法、设备与系统
本申请涉及计算机
，尤其涉及一种实现手持控制设备追踪定位的技术。
技术介绍
虚拟现实(VR，VirtualReality)技术通过将画面以3D的形式进行展现，能够帮助人们在屏幕上获得更加真实的视觉效果。随着虚拟现实技术的发展，当前虚拟现实技术的一种应用是通过VR一体机等设备，使用户体验在大范围的虚拟场景中的交互体验。例如，通过建立具有不同主题内容的VR体验馆，以及捕捉用户在VR体验馆中的位移与动作，并将该位移与动作映射至虚拟现实场景中的特定逻辑上，以实现用户对虚拟现实场景下的主题互动。因此，这种虚拟应用的核心技术之一就是如何对用户进行追踪定位。
技术实现思路
本申请的目的是提供一种用于手持控制设备追踪定位的方法、设备与系统。根据本申请的一个实施例，提供了一种手持控制设备追踪定位的方法，其中，该方法包括以下步骤：手持控制设备与摄像设备之间建立无线连接，其中，所述手持控制设备上设置有至少一个LED矩阵；所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，并由所述摄像设备对每一次亮度变化进行拍摄，以生成多张连续图像；所述摄像设备将所述多张连续图像发送至处理设备，所述处理设备基于所述多张连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系；所述处理设备基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系；所述处理设备根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标；所述处理设备根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。可选地，所述手持控制设备上的LED矩阵排布方式需满足以下至少任一项：自然手持状态下，手部不会遮挡到所述LED矩阵中的至少部分LED灯；手部自然操作状态下，至少部分LED灯能够被摄像设备所拍摄。可选地，在所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设规则执行每一次亮度变化前，所述手持控制设备与所述摄像设备之间执行同步。可选地，所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化时的开启时间，大于等于所述摄像设备对每一次亮度变化进行拍摄的捕获图像时间。可选地，所述预设的亮度变化规则包括：所述LED矩阵上的每一个LED灯的连续多个图像上的亮度变化是唯一的，其中，所述多个图像的图像数量根据所述LED矩阵上LED灯的数量确定。可选地，该方法还包括：所述处理设备根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。可选地，所述摄像设备所在的位置包括以下任一项：所述摄像设备被固定在空间中的某一固定位置；所述摄像设备被包含于头显设备。可选地，该方法还包括：所述处理设备获取所述手持控制设备端的运动信息；所述处理设备基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹。根据本申请的另一个实施例，还提供了一种在处理设备端执行手持控制设备追踪定位的方法，其中，该方法包括以下步骤：获取摄像设备对手持控制设备所拍摄的多张连续图像，其中，所述手持控制设备上设置有至少一个LED矩阵且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述多张连续图像对应于所述手持控制设备的LED矩阵的每一次亮度变化；基于所述连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系；基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系；根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标；根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。可选地，所述方法还包括以下步骤：根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。可选地，所述方法还包括以下步骤：获取所述手持控制设备端的运动信息；基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹。根据本申请的另一个实施例，还提供了一种手持控制设备，其中，所述手持控制设备上设置有至少一个LED矩阵，且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述手持控制设备能够与摄像设备之间建立无线连接，并由所述摄像设备对每一次亮度变化进行拍摄。可选地，所述手持控制设备上的LED矩阵排布方式需满足以下至少任一项：自然手持状态下，手部不会遮挡到所述LED矩阵中的至少部分LED灯；手部自然操作状态下，至少部分LED灯能够被摄像设备所拍摄。可选地，所述LED矩阵同时设置于所述手持控制设备的正面、背面、侧面中的至少任意两面。可选地，位于所述手持控制设备正面的LED灯的排布、位于所述手持控制设备背面的LED灯的排布以及位于所述手持控制设备侧面的LED灯的排布中的至少任意两项排布不相同。可选地，在所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设规则执行每一次亮度变化前，所述手持控制设备与所述摄像设备之间执行同步。可选地，所述预设的亮度变化规则包括：所述LED矩阵上的每一个LED灯的连续多个图像上的亮度变化是唯一的，其中，所述多个图像的图像数量根据所述LED矩阵上LED灯的数量确定。可选地，所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化时的开启时间，大于等于摄像设备对每一次亮度变化进行拍摄的捕获图像时间。可选地，所述手持控制设备还包括采集装置，以采集所述手持控制设备的运动信息并将所述运动信息发送至处理设备。根据本申请的另一个实施例，还提供了一种处理设备，其中，所述处理设备包括：第一装置，用于获取摄像设备对手持控制设备所拍摄的多张连续图像，本文档来自技高网...

【技术保护点】
1.一种手持控制设备追踪定位的方法，其中，该方法包括以下步骤：/n手持控制设备与摄像设备之间建立无线连接，其中，所述手持控制设备上设置有至少一个LED矩阵；/n所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，并由所述摄像设备对每一次亮度变化进行拍摄，以生成多张连续图像；/n所述摄像设备将所述多张连续图像发送至处理设备，所述处理设备基于所述多张连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系；/n所述处理设备基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系；/n所述处理设备根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标；/n所述处理设备根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。/n...

【技术特征摘要】
1.一种手持控制设备追踪定位的方法，其中，该方法包括以下步骤：
手持控制设备与摄像设备之间建立无线连接，其中，所述手持控制设备上设置有至少一个LED矩阵；
所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，并由所述摄像设备对每一次亮度变化进行拍摄，以生成多张连续图像；
所述摄像设备将所述多张连续图像发送至处理设备，所述处理设备基于所述多张连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系；
所述处理设备基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系；
所述处理设备根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标；
所述处理设备根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。


2.根据权利要求1所述的方法，其中，在所述手持控制设备上所设置的LED矩阵中的每一个LED灯基于预设规则执行每一次亮度变化前，所述手持控制设备与所述摄像设备之间执行同步。


3.根据权利要求1或2所述的方法，其中，所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化时的开启时间，大于等于所述摄像设备对每一次亮度变化进行拍摄的捕获图像时间。


4.根据权利要求1至3中任一项所述的方法，其中，该方法还包括：
所述处理设备根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。


5.根据权利要求4所述的方法，其中，所述摄像设备所在的位置包括以下任一项：
所述摄像设备被固定在空间中的某一固定位置；
所述摄像设备被包含于头显设备。


6.根据权利要求1至5中任一项所述的方法，其中，该方法还包括：
所述处理设备获取所述手持控制设备端的运动信息；
所述处理设备基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹。


7.一种在处理设备端执行手持控制设备追踪定位的方法，其中，该方法包括以下步骤：
获取摄像设备对手持控制设备所拍摄的多张连续图像，其中，所述手持控制设备上设置有至少一个LED矩阵且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述多张连续图像对应于所述手持控制设备的LED矩阵的每一次亮度变化；
基于所述连续图像上所述LED矩阵的亮度变化，结合所述预设的亮度变化规则，确定所述多张连续图像中的所述LED矩阵中每一个LED灯与所述手持控制设备上每一个LED灯的对应关系；
基于所述对应关系，根据所述图像上每一个LED灯的位置信息以及手持控制设备上每一个LED灯的位置信息，确定所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系；
根据所述多张连续图像，结合每张图像上所对应的所述手持控制设备上每一个LED灯的三维空间坐标到图像二维坐标的映射关系，确定所述手持控制设备在摄像设备坐标系下的空间三维坐标；
根据所述摄像设备坐标系与世界坐标系之间的转移矩阵，将所述手持控制设备在摄像设备坐标系下的空间三维坐标转换为所述手持控制设备在世界坐标系下的坐标，以确定所述手持控制设备的位置与姿态。


8.根据权利要求7所述的方法，其中，所述方法还包括以下步骤：
根据所述摄像设备所在的位置，确定所述摄像设备坐标系与世界坐标系之间的转移矩阵。


9.根据权利要求7或8所述的方法，其中，所述方法还包括以下步骤：
获取所述手持控制设备端的运动信息；
基于所述运动信息以及所确定所述手持控制设备的位置与姿态，计算所述手持控制设备的运动轨迹。


10.一种手持控制设备，其中，所述手持控制设备上设置有至少一个LED矩阵，且所述LED矩阵中的每一个LED灯基于预设的亮度变化规则执行亮度变化，所述手持控制设备能够与摄像设备之间建立无线连接，并由所述摄像设备对每一次亮度变化进行拍摄。


11.根据权利要求10所述的手持控制设备，其中，所述手持控制设备上的LED矩阵排布方式需满足以下至少任一项：
自然手持状态下，手部不会遮挡到所述LED矩阵中的至少部分LED灯；
手部自然操作状态下，至少部分LED灯能够被摄像设备所拍摄。
<...

【专利技术属性】
技术研发人员：史杰，王西颖，史明，曹萌，叶祖霈，林鸿运，
申请(专利权)人：重庆爱奇艺智能科技有限公司，
类型：发明
国别省市：重庆;50