面向多人增强现实交互的空间一致性保持方法技术

本发明专利技术提出一种面向多人增强现实交互的空间一致性保持方法。基于计算机视觉中的定向定位原理，利用Lighthouse基站得到分布在头显上的多个光传感器相对于每一个基站的方位角，利用头显的前置摄像头得到基站相对于头显的方位角，再结合头显多个光传感器以及前置摄像头之间已知的位置关系，计算得到每一个基站在头显前置摄像机的相机坐标系下的坐标。进一步地，使用三个基站确定虚拟场景的模型坐标系，则能够建立头显与模型坐标系之间的变换关系，从而保持多人增强现实交互的空间一致性，能够以较低的计算量实现多个头显的追踪，且无需进行多个基站的标定。

【技术实现步骤摘要】
面向多人增强现实交互的空间一致性保持方法
本专利技术属于计算机视觉领域，涉及空间一致性保持方法，尤其涉及一种面向多人增强现实交互的空间一致性保持方法。
技术介绍
近年来，计算机处理器能力的快速提升为虚拟现实(VirtualReality，VR)与增强现实领域(AugmentedReality，AR)的快速发展提供了有利条件，各大科技公司纷纷推出自己的头戴式VR或AR显示设备，如HTCVive，OculusRift，MicrosoftHoloLens等。多人增强现实交互是新型AR设备的主要用途之一，交互过程中应使所有用户观察到的增强现实场景是一致的，即保持空间一致性。具体地，需要精确实时地获取头戴式显示(简称头显)设备的位置和姿态(简称位姿)，以将虚拟场景正确地投影到每一个用户所佩戴的显示设备上。传统的头显设备的位姿跟踪方法是使用惯性传感器。惯性传感器只能准确测三维的转动和三维的加速度，当用于测量三维空间的位置时，累积误较大，无法满足定位的精度要求。引入计算机视觉方法能够有效提高位姿测量的精度，现有方案主要分为两种：一是“由外而内”(Outside-in)，如Oculus所采用的方案：以固定位置的摄像头追踪覆盖在头显设备上的红外点光源；二是“由内而外”(Inside-out)，如Vive所用的Lighthouse系统，该技术由HTC和Valve合作开发，其原理是利用不断旋转的激光面击中分布在头显上的光传感器(Photodiode)，传感器则根据击中的时间间隔计算出其相对于光传感器的方位角(激光旋转速度恒定)，进而确定其在空间中的位置，这一技术目前被国内创业公司Hypereal开源。这两种方式各有优劣：“由外而内”方案结构更简单，只需要在头显表面放置红外点光源就可以了，但是在实际使用中仍有诸多问题，追踪范围和距离都有较大限制。并且当需追踪的头显数量增加时，计算量也将急剧增加；“由内而外”方案本质上是一个分布式系统，每个传感器负责计算自己的方位，所以系统没有追踪个数的上限，缺点是电路复杂，且需要预先对发射激光的基站进行标定。
技术实现思路
本专利技术基于计算机视觉中的定向定位原理，提出一种面向多人增强现实交互的空间一致性保持方法。利用Lighthouse基站能够得到分布在头显上的多个光传感器相对于每一个基站的方位角，利用头显的前置摄像头则可得到基站相对于头显的方位角，再结合头显多个光传感器以及前置摄像头之间已知的位置关系，计算得到每一个基站在头显前置摄像机的相机坐标系下的坐标。进一步地，使用三个基站确定虚拟场景的模型坐标系，则能够建立头显与模型坐标系之间的变换关系，从而保持多人增强现实交互的空间一致性，能够以较低的计算量实现多个头显的追踪，且无需进行多个基站的标定。具体地，本专利技术采用的技术方案是：一种面向多人增强现实交互的空间一致性保持方法，其特征在于包括以下步骤：S1.利用Lighthouse基站对光传感器的定向功能，得到头显上所有光传感器相对于每一个基站的方位角；S2.利用头显的前置摄像头得到基站相对于头显的方位角；S3.在S1中得到的光传感器方位角与S2中得到的基站方位角基础上，结合头显多个光传感器以及前置摄像头之间已知的位置关系，计算得到每一个基站在头显前置摄像机的相机坐标系下的坐标；S4.在S3中得到的头显相对于基站的位姿关系基础上，使用三个基站确定虚拟场景的模型坐标系，建立头显与模型坐标系之间的位姿变换关系。优选地，所述步骤S1的具体方法包括：在Lighthouse基站上固定的LED灯发出频闪光信号后，分别发出水平和竖直的匀速扫描激光面，光传感器根据接收到LED频闪光信号与激光信号之间的时间差，确定其自身相对于基站的方位角。优选地，所述步骤S2的具体方法包括：在Lighthouse基站上固定的LED灯发出频闪光信号后，所发出的水平和竖直的匀速扫描激光面击中摄像头时，在图像平面的成像为一条直线。则两个方向的扫描激光面所对应直线的交点即为基站位置在图线平面的投影；记两条直线分别为lx与ly，二者的交点p即为基站位置Bi，i＝1,…,m在图像I中的投影。则基站位置Bi在摄像机C的相机坐标系中的坐标xi满足其中，～表示正比关系，为点p的图像坐标ui＝(u,v)T的齐次坐标表示，K为摄像机C的内参数矩阵。记则为射线在C的相机坐标系中的方向向量，且基站位置Bi相对于摄像机C的方位角可表示为基站位置Bi的坐标可表示为其中di为基站位置Bi与摄像机C之间的距离。优选地，所述步骤S3的具体方法包括：对于给定的头显，其多个光传感器以及前置摄像头之间的相对位置关系已知；Sj，Sk(j≠k)为任意两个不同的光传感器，它们在摄像机C的相机坐标系下的坐标已知；由Sj与Sk相对于基站Bi的方向角与得到射线与在附着于Bi的坐标系中的方向向量与可分别表示为则与间的夹角αj,k满足另外，在ΔBiSjSk中，有其中，上式中Bi与C之间的距离di是唯一的未知量，联立所有的1≤j<k≤n情况下的约束，求解得到最优的距离di，则光传感器Bi在相机坐标系下的坐标为优选地，所述步骤S4的具体方法包括：Lighthouse基站为3个，根据3个基站B1，B2，B3的空间位置确定虚拟场景的模型坐标系。优选地，所述确定虚拟场景的模型坐标系包括：以B1为原点，的方向为x轴方向，B1，B2，B3确定的空间平面为xOy平面。则模型坐标系的x轴方向在相机坐标系下的方向向量可表示为模型坐标系的z轴方向在相机坐标系下的方向向量为模型坐标系的y轴方向在相机坐标系下的方向向量为则模型坐标系与相机坐标系间的旋转矩阵可表示为模型坐标系与相机坐标系间的旋转矩阵间的平移向量可表示为则模型坐标系下的坐标xc与相机坐标系下的坐标xc间的位姿关系可表示为优选地，在3个Lighthouse基站依次进行激光扫面之后，设置时间间隔，用于使头显的前置摄像机识别3个基站的编号次序。优选地，根据所得方位角信息计算得到当前时刻头显与模型坐标系之间的位姿变换关系，用于保持多人增强现实交互的空间一致性。本专利技术所述方法基于计算机视觉中的定向定位原理，提出一种面向多人增强现实交互的空间一致性保持方法。利用Lighthouse基站能够得到分布在头显上的多个光传感器相对于每一个基站的方位角，利用头显的前置摄像头则可得到基站相对于头显的方位角，再结合头显多个光传感器以及前置摄像头之间已知的位置关系，计算得到每一个基站在头显前置摄像机的相机坐标系下的坐标。进一步地，使用三个基站确定虚拟场景的模型坐标系，则能够建立头显与模型坐标系之间的变换关系，从而保持多人增强现实交互的空间一致性，能够以较低的计算量实现多个头显的追踪，且无需进行多个基站的标定。附图说明：图1为本专利技术的总体流程图。图2为根据本专利技术实施方式的基于扫描激光面光传感器定向示意图。图3为根据本专利技术实施方式的基于头显前置摄像头成像的基站定向示意图。图4为根据本专利技术实施方式的基站扫面线成像示意图。图5为根据本专利技术实施方式的头基站定位示意图。图6为根据本专利技术实施方式的虚拟场景模型下头显位姿跟踪示意图。具体实施方式下面将结合附图和实例对本专利技术的具体实施方式作进一步的详细说明。本专利技术所述方法通过对被拍摄场景结构的面片化近似处理，提出一种基于空间三本文档来自技高网...

【技术保护点】
1.一种面向多人增强现实交互的空间一致性保持方法，其特征在于包括以下步骤：S1.利用Lighthouse基站对光传感器的定向功能，得到头显上所有光传感器相对于每一个基站的方位角；S2.利用头显的前置摄像头得到基站相对于头显的方位角；S3.在S1中得到的光传感器方位角与S2中得到的基站方位角基础上，结合头显多个光传感器以及前置摄像头之间已知的位置关系，计算得到每一个基站在头显前置摄像机的相机坐标系下的坐标；S4.在S3中得到的头显相对于基站的位姿关系基础上，使用三个基站确定虚拟场景的模型坐标系，建立头显与模型坐标系之间的位姿变换关系。

【技术特征摘要】
1.一种面向多人增强现实交互的空间一致性保持方法，其特征在于包括以下步骤：S1.利用Lighthouse基站对光传感器的定向功能，得到头显上所有光传感器相对于每一个基站的方位角；S2.利用头显的前置摄像头得到基站相对于头显的方位角；S3.在S1中得到的光传感器方位角与S2中得到的基站方位角基础上，结合头显多个光传感器以及前置摄像头之间已知的位置关系，计算得到每一个基站在头显前置摄像机的相机坐标系下的坐标；S4.在S3中得到的头显相对于基站的位姿关系基础上，使用三个基站确定虚拟场景的模型坐标系，建立头显与模型坐标系之间的位姿变换关系。2.根据权利要求1所述的面向多人增强现实交互的空间一致性保持方法，其特征在于：所述步骤S1的具体方法包括：在Lighthouse基站上固定的LED灯发出频闪光信号后，分别发出水平和竖直的匀速扫描激光面，光传感器根据接收到LED频闪光信号与激光信号之间的时间差，确定其自身相对于基站的方位角。3.根据权利要求1所述的面向多人增强现实交互的空间一致性保持方法，其特征在于：所述步骤S2的具体方法包括：在Lighthouse基站上固定的LED灯发出频闪光信号后，所发出的水平和竖直的匀速扫描激光面击中摄像头时，在图像平面的成像为一条直线；两个方向的扫描激光面所对应直线的交点即为基站位置在图线平面的投影；记两条直线分别为lx与ly，二者的交点p即为基站位置Bi，i＝1,…,m在图像I中的投影；基站位置Bi在摄像机C的相机坐标系中的坐标xi满足其中，～表示正比关系，为点p的图像坐标ui＝(u,v)T的齐次坐标表示，K为摄像机C的内参数矩阵。记则为射线在C的相机坐标系中的方向向量，且基站位置Bi相对于摄像机C的方位角可表示为基站位置Bi的坐标可表示为其中di为基站位置Bi与摄像机C之间的距离。4.根据权利要求1所述的面向多人增强现实交互的空间一致性保...

【专利技术属性】
技术研发人员：邓宝松，李靖，印二威，鹿迎，项德良，闫野，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京,11