一种面向虚拟现实交互的冗余视场全景影像构建方法技术

本发明专利技术提出一种面向虚拟现实交互的冗余视场全景影像构建方法。不同于现有方法先拼接后投影变换的技术路线，本发明专利技术所提方法并不显式地生成全景影像，而是通过对影像采集装置以及相应交互算法的设计，在多图像配准等初始化操作基础上，直接将投影变换后的原始影像呈现给用户，当用户视线方向变化或视场角增大以致视野范围超出当前原始影像时，平滑地将当前呈现的影像内容来源切换为相应方向的另一原始影像，避免了全景拼接过程中视觉异常现象的出现，改善了虚拟现实交互的用户体验。

A Method of Redundant Field of View Panoramic Image Construction for Virtual Reality Interaction

【技术实现步骤摘要】
一种面向虚拟现实交互的冗余视场全景影像构建方法
本专利技术属于计算机视觉领域，涉及全景影像构建方法，尤其涉及一种面向虚拟现实交互的冗余视场全景影像构建方法。
技术介绍
随着计算机视觉基础理论和处理器性能的不断进步，以虚拟现实(VirtualReality，VR)为代表的新型人机交互模式在近年得到了快速发展。全景影像支持大角度范围内视线方向的自由变换，能够给用户提供良好的沉浸式体验，因此广泛应用于各种虚拟现实系统，是实现虚拟现实交互的重要途径之一。全景影像的呈现效果成为影响虚拟现实交互体验的重要因素。现有的全景影像构建方法可分为折反射全景、鱼眼全景与拼接式全景三类。其中，折反射全景与鱼眼全景都难以完全覆盖360×180度的全立体角，并且存在局部虚焦和分辨率不均匀的问题。而拼接式全景兼具高分辨率和高成像质量的优点，通过合理的分镜头布局能够覆盖全立体角，逐渐成为目前主流的全景影像构建方法。拼接式全景成像首先采用拼接融合的方式将多路影像合成为一路更大视场角(Field-Of-View，FOV)、更高分辨率的全景影像，然后根据用户的视线方向和视场角大小，将全景影像的部分内容经投影变换后呈现给用户。在多路影像采集过程中，由于光学结构的限制，多路相机的光心并不能完全重合，导致图像重叠区域的物体形状和大小不一致，即存在结构偏差，进而造成拼接所得全景影像中存在模糊、扭曲、断裂等视觉异常现象。近年来，大量基于不同数学原理的局部自适应全景拼接方法被提出，以消除结构偏差对全景影像质量的影响。但由于拍摄过程中大量不可控因素的存在以及自然场景本身的复杂性，这一难题并未得到完善的解决。
技术实现思路
本专利技术的目的是通过以下技术方案实现的。本专利技术提出一种面向虚拟现实交互的冗余视场全景影像构建方法。不同于现有方法先拼接后投影变换的技术路线，所提方法并不显式地生成全景影像，而是通过对影像采集装置以及相应交互算法的设计，在多图像配准等初始化操作基础上，直接将投影变换后的原始影像呈现给用户，当用户视线方向变化或视场角增大以致视野范围超出当前原始影像时，平滑地将当前呈现的影像内容来源切换为相应方向的另一原始影像，避免了全景拼接过程中视觉异常现象的出现，改善了虚拟现实交互的用户体验。具体地，本专利技术采用的技术方案是：一种面向虚拟现实交互的冗余视场全景影像构建方法，包括以下步骤：S1.设计并搭建冗余视场的多路影像采集装置，确保在视场角不超过一定阈值的情况下，任意视线方向的整个视野范围都同时被至少两路原始影像覆盖；S2.在S1中搭建得到的多路影像采集装置的基础上，采用光束平差法配准得到多路原始影像、全景成像平面以及呈现给用户的观察图像平面之间的投影变换关系；S3.在S1中搭建得到的多路影像采集装置与S2中配准所得投影变换关系的基础上，基于视线方向与视场角的变化，建立用户视野中所呈现影像内容来源的平滑切换策略，以实现高质量的虚拟现实交互。进一步地，所述步骤S1的具体方法包括：为实现任意实现方向的冗余视场，相邻两路相机的重叠视场要大于常规情况下的人眼视场。本专利技术采用环形分布于水平圆周支架上的四路超广角鱼眼相机进行原始影像的采集。记单路鱼眼相机的水平方向视场角为θf，各路相机均匀地分布于圆周支架上，因此相邻两相机的光轴夹角为θr＝90°，则相邻两路相机水平方向的重叠视场角为θa＝θf-θr＝θf-90°。人眼在放松状态下左右扫一眼的横向视场角为120度，极限状态可接近180度。虚拟现实头显所呈现的画面要符合人体构造和行为习惯才能保证沉浸感的实现，因此，对于头戴式显示器，最佳视场角是120度。对于借助手机等移动设备显示屏的VR眼镜，由于设备体积的限制，沉浸感最好的视场角则通常在80到90度之间。若采用θf＝220°的超广角鱼眼相机进行原始影像采集，则重叠视场角θa＝130°，大于常规情况下人眼120度的水平视场角，能够满足一般情况下虚拟现实交互的需求。不同相机之间采用外触发的形式进行帧间同步，以确保各路影像之间的时间一致性。进一步地，所述步骤S2的具体方法包括：鱼眼镜头能够比普通镜头拍摄到更大试场的图像，但会造成图像中被拍摄物体的形变，原因在于鱼眼镜头的成像过程是非线性的，其映射函数(MappingFunction)不同于普通镜头，通常可写为：r＝fθ其中，θ为进入镜头的入射光线与光轴的夹角，f为相机的等效焦距，r为入射光线成像点与主点(光轴与图像平面的交点)的距离。记空间中一点P在相机Ci的相机坐标系中的坐标为xCi＝(xCi,yCi,zCi)T，将xCi映射到单位球面上得xni＝(xni,yni,zni)T＝xCi/|xCi|，则入射角θi＝arccos(zni)考虑畸变的影响，实际入射角可表示为θdi＝θi(1+ki1θi2+ki2θi4+ki3θi6+ki4θi8)其中，ki＝(ki1,ki2,ki3,ki4)为鱼眼透镜的径向畸变参数。进一步计算沿x轴与y轴方向的入射角上述变换过程可简化表示为其中，fi(·)是参数为k的可逆非线性函数。最终，根据映射函数，可得入射光线成像点的图像坐标为其中，为成像点的齐次图像坐标，Ki为相机Ci的内参数矩阵，具体形式为记点P在相机Ci与Cj的相机坐标系中的坐标分别为xCi与xCj，二者之间的变换关系可表示为xCj＝RijxCi+tij其中，Rij与tij分别为Ci相机坐标系到Cj相机坐标系的旋转矩阵与平移向量，属于多相机成像系统的外参数。通常情况下，被拍摄场景到相机的距离远大于相机之间的基线长度，即|xCj|≈|xCi|＞＞tij，因此，可近似地认为xCj＝RijxCi。通过特征提取与匹配，得到相机Ci与Cj同步采集所得图像中的匹配特征点{(xi,l,xj,l)l＝1,…,nij}。其中，nij为匹配特征点数量。则应有如下关系成立：上式可简化表示为xj,l＝Qij(xi,l；Ki,Kj,ki,kj,Rij)其中，Qij(·)表示根据相机Ci与Cj的内外参数确定的投影变换关系，将相机Ci中成像点坐标映射到相机Cj图像平面的投影函数。调用光束平差法(BundleAdjustment)，将所有成像参数(相机内外参数与畸变参数)作为一个整体进行估计，其代价函数为其中，m为相机数量。最小化代价函数E(·)可得相机内参数Ki，i＝1,…,m，畸变参数ki，i＝1,…,m与外参数Rij，i,j＝1,…,m。记Ri1＝(ri1x,ri1y,ri1z)，在C1的相机坐标系中，相机Ci的光轴方向(即Ci相机坐标系z轴方向)可由Ri1的第三列ri1z表示。设置用于生成全景影像的虚拟相机CP，则CP的y轴方向rPy取为其中，Z＝(r11z,r21z,…rm1z)。上式可通过奇异值分解求解，rPy的取值为ZT最小特征值对应的右奇异向量(leastsignificantrightsingularvector)。CP的x轴方向rPx取为rPx＝rPy×r11z＝rPy×(0,0,1)TCP的z轴方向rPx取为rPz＝rPx×rPy则CP到C1相机坐标系的旋转矩阵可表示为RP1＝(rPx,rPy,rPz)。进一步地，可计算CP到任意实体相机Ci的相机坐标系的旋转矩阵为RPi＝R1iRP1。则Ci相机坐标系下的空间点xCi在CP相机坐标系下的坐本文档来自技高网...

【技术保护点】
1.一种面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于包括以下步骤：搭建冗余视场的多路影像采集装置，使得在视场角不超过阈值的情况下，任意视线方向的整个视野范围都同时被至少两路原始影像覆盖；基于所述多路影像采集装置，采用光束平差法配准得到多路原始影像、全景成像平面以及呈现给用户的观察图像平面之间的投影变换关系；基于所述多路影像采集装置与所述配准所得投影变换关系，基于视线方向与视场角的变化，建立用户视野中所呈现影像内容来源的平滑切换策略，以实现虚拟现实交互。

【技术特征摘要】
1.一种面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于包括以下步骤：搭建冗余视场的多路影像采集装置，使得在视场角不超过阈值的情况下，任意视线方向的整个视野范围都同时被至少两路原始影像覆盖；基于所述多路影像采集装置，采用光束平差法配准得到多路原始影像、全景成像平面以及呈现给用户的观察图像平面之间的投影变换关系；基于所述多路影像采集装置与所述配准所得投影变换关系，基于视线方向与视场角的变化，建立用户视野中所呈现影像内容来源的平滑切换策略，以实现虚拟现实交互。2.根据权利要求1所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：所述搭建冗余视场的多路影像采集装置，使得在视场角不超过阈值的情况下，任意视线方向的整个视野范围都同时被至少两路原始影像覆盖，包括：采用环形分布于水平圆周支架上的四路超广角鱼眼相机进行原始影像的采集；不同相机之间采用外触发的形式进行帧间同步，确保各路影像之间的时间一致性。3.根据权利要求2所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：所述视场角为130度。4.根据权利要求2或3所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：所述采用光束平差法配准得到多路原始影像、全景成像平面以及呈现给用户的观察图像平面之间的投影变换关系，包括：调用光束平差法，将所有成像参数作为一个整体进行估计。5.根据权利要求4所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：所述成像参数包括相机内外参数与畸变参数。6.根据权利要求5所述的面向虚拟现实交互...

【专利技术属性】
技术研发人员：李靖，邓宝松，张周，郄志鹏，鹿迎，闫野，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：北京,11