一种光学手指捕捉的标记定位方法技术

本发明专利技术公开了一种光学手指捕捉的标记定位方法，包括以下步骤：佩戴光学手指捕捉装置，并与动作捕捉相机连接；使光学手指捕捉装置的发光控制模块与动作捕捉相机的成像系统设置连接并同步；同步后，光学手指捕捉装置以设定的频率依次发光，动作捕捉相机的成像系统以设定的帧率成像，用来对当前正在发光的光学手指捕捉装置的亮斑进行捕捉成像；根据动作捕捉相机的成像系统捕捉到的成像图片，利用三维重建技术定位当前光学手指捕捉装置在三维空间中的位置。本发明专利技术的一种光学手指捕捉的标记定位方法，利用LED灯作为主动发光标记点，利用控制器对主动发光标记点的发光顺序进行控制，在时间域上进行复用，解决多个主动标记点靠近时成像混叠的问题。像混叠的问题。像混叠的问题。

【技术实现步骤摘要】
一种光学手指捕捉的标记定位方法


[0001]本专利技术涉及光学捕捉领域，尤其涉及一种光学手指捕捉的标记定位方法。

技术介绍

[0002]光学手指动作捕捉是基于光学的全身动作系统的重要组成部分，主要用来捕捉演员的手指部分的精细动作，是一种精度要求非常高的技术。在以光学定位为核心的手指动作捕捉系统中，标记点的定位是非常基础而又十分关键的技术之一。近年来，随着软硬件技术的发展，光学动作捕捉技术取得了长足的进步，并被广泛应用于影视拍摄、娱乐游戏、医疗健康和体育相关行业，极大的推动了相关行业的发展和进步。
[0003]标记点定位技术从使用的标记点设备来看主要可以分为被动标记点定位和主动标记点定位两大类。其中被动标记点定位技术使用涂有反光材料的小球作为定位标记点，该小球本身不发光，通过光学捕捉系统中的红外光发射灯板向场景中投射红外光，红外光照射到涂有反光材料的小球上时，会反射红外光，反射红外光在红外相机中成像形成亮斑，从而完成该被动标记点在单个相机中的定位。通过场景中的多个相机，利用三维重建技术计算出该被动标记点在三维空间坐标系中的位置。主动标记点定位方法使用LED灯作为定位标记点，与被动定位标记点不同的是，LED灯可以主动发射特定频段的红外光，进而无需动作捕捉系统中有红外发射灯板向场景中投射红外光。主动标记点发出的红外光可以在动作捕捉系统的相机中呈现亮斑，从而实现该主动标记点在图像中的定位。同样，利用多个相机的成像和三维重建技术，可以计算出该主动标记点在三维空间坐标系中的位置。
[0004]在手指动作捕捉场景中，一般在每根手指的指尖处贴一个被动标记点或主动标记点，用来定位手指尖在动作捕捉系统三维空间坐标系中的位置，得到位置之后再通过逆向动力学技术推导出手指各个关节的姿态。由此可见，标记点定位是基础而又关键的一步。由于人手的尺寸相对人体来说相对较小，标记点的位置相对来说也更密集，另外由于在手部动作捕捉中，多个手指尖有触碰的动作十分常见，比如“OK”，“捏”，“握拳”之类的动作。在这种情况下，不同指尖上的标记点的位置会十分接近。如前所述，动作捕捉系统中的红外相机是通过识别被动或主动标记点在相机中形成的亮斑来进行定位的，当两个或多个标记点距离很近的时候，它们形成的亮斑会相互接触，形成一个大的亮斑，从而导致红外相机看到的是一个而不是多个亮斑，从而无法区分各个不同的标记点形成的各自的亮斑，造成无法区分各个标记点在成像图像中的位置。这会给后续的标记点三维空间位置的计算带来极大困难，甚至导致灾难性的后果，从而致使整个手指动作捕捉的失败。

技术实现思路

[0005]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是现有的光学手指捕捉标记点无法准确定位的问题，尤其当两个或多个标记点相互靠近时，在相机成像中的标记点之间无法区分的问题。本专利技术提供的一种光学手指捕捉的标记定位方法，利用LED灯作为主动发光标记点，利用控制器对主动发光标记点的发光顺序进行控制，在时间域上进行复
用，巧妙地解决多个主动标记点靠近时成像混叠的问题，提高易用性和系统稳定性。
[0006]为实现上述目的，本专利技术提供了一种光学手指捕捉的标记定位方法，包括以下步骤：
[0007]佩戴光学手指捕捉装置，并与动作捕捉相机连接；
[0008]使光学手指捕捉装置的发光控制模块与动作捕捉相机的成像系统设置连接并同步；
[0009]同步后，光学手指捕捉装置以设定的频率依次发光，动作捕捉相机的成像系统以设定的帧率成像，用来对当前正在发光的光学手指捕捉装置的亮斑进行捕捉成像；
[0010]根据动作捕捉相机的成像系统捕捉到的成像图片，利用三维重建技术定位当前光学手指捕捉装置在三维空间中的位置。
[0011]进一步地，佩戴光学手指捕捉装置，具体包括将5个红外发光LED灯分别粘贴在一只手的5个手指尖处，同时使用绑带绑定在手指上，以便使用及固定；
[0012]然后将5个红外发光LED灯通过连接线与控制器连接，控制器粘贴在手背或手腕上，控制器为光学手指捕捉装置的发光控制模块。
[0013]进一步地，控制器与动作捕捉相机的成像系统通过网络同步。
[0014]进一步地，控制器包括2.4GHz WiFi模块，设置与同步盒完成通信，通过同步盒与相机成像系统进行网络同步，同步完成后，控制器上的同步状态指示灯呈常量状态。
[0015]进一步地，同步后，光学手指捕捉装置以设定的频率依次发光，动作捕捉相机的成像系统以设定的帧率成像，用来对当前正在发光的光学手指捕捉装置的亮斑进行捕捉成像，具体包括：
[0016]同步后，光学手指捕捉装置以设定的时间和顺序依次5个红外发光LED灯进行发光，发光保持设定时间后熄灭；动作捕捉相机以设定的帧率进行拍照，由于光学手指捕捉装置的发光控制模块与动作捕捉相机的成像系统已设定了同步，动作捕捉相机在红外发光LED灯发光的时间端内进行拍照，记录红外发光LED灯发光的亮斑成像图片。
[0017]进一步地，根据动作捕捉相机的成像系统捕捉到的成像图片，利用三维重建技术定位当前光学手指捕捉装置在三维空间中的位置，具体包括以下步骤：
[0018]获取动作捕捉相机的成像系统捕捉到的亮斑图像，亮斑图像呈发光的圆斑，通过边缘提取算法得到圆斑中心坐标；
[0019]根据多个相机下的圆斑中心坐标，基于相机成像模型和对极几何基本原理，使用SVD分解求得该亮斑所属LED发光标记点的三维空间位置坐标。
[0020]进一步地，成像系统包括两个红外相机，编号设置为为C1和C2，五个LED红外发光标记点，编号分别为L1，L2，L3，L4和L5，在t1时刻L1发光，相机C1和C2捕捉到L1的图像，图像呈现为发光的圆斑，通过边缘提取算法得到圆斑中心坐标，分别记为x1，x2，LED发光点真实的3D坐标为X，相机C1、C2的投影矩阵分别为P1、P2，记为
[0021]x1＝P1X
ꢀꢀ
(1)
[0022]x2＝P2X
ꢀꢀ
(2)
[0023]其中：x1,x2分别为LED发光点在相机C1、C2的图像上的坐标。
[0024]进一步地，使用SVD分解求得该亮斑所属LED发光标记点的三维空间位置坐标，具体包括：
[0025]综合式(1)和式(2)表示为：
[0026]x＝PX
ꢀꢀ
(3)
[0027]即：
[0028][0029]其中：(x，y，z)为齐次图像坐标，(X，Y，Z，1)表示齐次世界坐标。p1～p12为投影矩阵的各个元素值。
[0030]公式(3)可以转换成叉乘的形式：
[0031]x
×
PX＝0
ꢀꢀ
(5)
[0032]可写为以下形式：
[0033][0034]其中：
[0035]p1＝[p1 p2 p3 p4 ][0036]p2＝[p5 p6 p7 p8][0037]p3＝[p9 p10 p11 p12][0038本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种光学手指捕捉的标记定位方法，其特征在于，包括以下步骤：佩戴光学手指捕捉装置，并与动作捕捉相机连接；使所述光学手指捕捉装置的发光控制模块与所述动作捕捉相机的成像系统设置连接并同步；同步后，所述光学手指捕捉装置以设定的频率依次发光，所述动作捕捉相机的成像系统以设定的帧率成像，用来对当前正在发光的所述光学手指捕捉装置的亮斑进行捕捉成像；根据所述动作捕捉相机的成像系统捕捉到的成像图片，利用三维重建技术定位当前所述光学手指捕捉装置在三维空间中的位置。2.如权利要求1所述的一种光学手指捕捉的标记定位方法，其特征在于，佩戴光学手指捕捉装置，具体包括将5个红外发光LED灯分别粘贴在一只手的5个手指尖处，同时使用绑带绑定在手指上，以便使用及固定；然后将5个红外发光LED灯通过连接线与控制器连接，所述控制器粘贴在手背或手腕上，所述控制器为所述光学手指捕捉装置的发光控制模块。3.如权利要求2所述的一种光学手指捕捉的标记定位方法，其特征在于，所述控制器与所述动作捕捉相机的成像系统通过网络同步。4.如权利要求3所述的一种光学手指捕捉的标记定位方法，其特征在于，控制器包括2.4GHz WiFi模块，设置与同步盒完成通信，通过所述同步盒与相机成像系统进行网络同步，同步完成后，控制器上的同步状态指示灯呈常量状态。5.如权利要求2所述的一种光学手指捕捉的标记定位方法，其特征在于，同步后，所述光学手指捕捉装置以设定的频率依次发光，所述动作捕捉相机的成像系统以设定的帧率成像，用来对当前正在发光的所述光学手指捕捉装置的亮斑进行捕捉成像，具体包括：同步后，所述光学手指捕捉装置以设定的时间和顺序依次5个红外发光LED灯进行发光，发光保持设定时间后熄灭；所述动作捕捉相机以设定的帧率进行拍照，由于所述光学手指捕捉装置的发光控制模块与所述动作捕捉相机的成像系统已设定了同步，所述动作捕捉相机在红外发光LED灯发光的时间端内进行拍照，记录红外发光LED灯发光的亮斑成像图片。6.如权利要求5所述的一种光学手指捕...

【专利技术属性】
技术研发人员：张昭，张海威，张群，吕强，
申请(专利权)人：上海青瞳视觉科技有限公司，
类型：发明
国别省市：