基于光路采集的移动裸眼三维虚拟现实的方法和系统技术方案

本发明专利技术涉及本发明专利技术实施例提出一种基于光路采集的移动裸眼三维虚拟现实的方法和系统。其中，该方法可以包括：采集图像；根据采集到的图像获得两视点合成图索引图；根据加速度的位置信息和角速度的旋转信息，获得两视点图；基于图像的两视点合成图索引图，对两视点图渲染出合成图，得到三维虚拟现实显示图像。优选地，获得两视点图步骤具体可以包括：确定图像上子像素亮度影响权重，然后利用带有包围盒的最小二乘方法，确定两视点的合成图索引图；根据加速度的位置信息和角速度的旋转信息，调整所获取的图像的方位，获得两视点图。本发明专利技术实施例通过采用上述技术方案，解决了如何实现高质量的裸眼三维虚拟现实显示的技术问题。

【技术实现步骤摘要】
基于光路采集的移动裸眼三维虚拟现实的方法和系统
本专利技术涉及三维显示方法，尤其涉及一种基于光路采集的移动裸眼三维虚拟现实的方法和系统。
技术介绍
目前，虚拟现实在全球掀起了浪潮，而三维虚拟现实则是一个较新的发展方向。虚拟现实技术是集合了跟踪系统、触觉系统、图像生成与显示系统和可视化显示设备的一个综合成果，但在实用商业化的路中仍存在很多有待解决的问题。虚拟现实大多是通过穿戴式设备头盔来集成相关技术，但是头带大小无法调节、头盔过重、长时间佩戴时设备的透气、散热性差，这些因素都会使得观看者的舒适体验度下降；由于虚拟现实的设备需要与电脑相连，进行信号传输，其常常是连接一根很长的线缆作为通讯保障。在观看者移动的情况下，注意力一直在显示设备上而忽略了脚下的线缆就存在被绊倒的危险；相对而言，性能中等偏上的虚拟现实设备，其价格也普遍偏高。作为一款娱乐工具，目前其显示资源十分有限，但售价超出普通大众的承受能力。三维虚拟现实相对于传统的虚拟现实，更加贴近人类实际感知，能够直观的给观看者带来深度效果。在国内外众多三维显示技术中，全息技术是通过干涉和衍射的光学现象真实的记录并还原出真实物体图像的记录和还原技术，但目前的全息影像装置采用激光进行影像采集与显示，设备造价极其昂贵。集成成像三维显示技术在图像视点串扰、视点数目等多方面存在问题。裸眼体视三维显示具有可观的商业前景，目前已经走出实验室阶段的体视三维显示装置，大多结构复杂、笨重并且需要多种材料设备和自行设计的控制装置，并不适合应用在移动性较强的虚拟现实技术中。移动终端由于其便携性和普及性，在三维虚拟现实技术中占据了先天性的优势。微透镜阵列裸眼三维显示技术基于覆盖在二维平面屏幕上的微透镜阵列，其实现相对简单，并且其三维图像重建的质量足以用于许多消费电子设备。用于显示技术的现有渲染方法，例如飞利浦的模算术或光线反投影方法，需要依赖于设备测量的精确校正标定以产生高质量三维显示效果。有鉴于此，特提出本专利技术。
技术实现思路
为了解决现有技术中的上述问题，即为了解决如何实现高质量的裸眼三维虚拟现实显示的技术问题而提出一种基于光路采集的移动裸眼三维虚拟现实的方法。此外，还提供一种基于光路采集的移动裸眼三维虚拟现实的系统。为了实现上述目的，根据本专利技术的一个方面，提供以下技术方案：一种基于光路采集的移动裸眼三维虚拟现实的方法，该方法包括：采集图像；根据采集到的图像获得两视点合成图索引图；根据加速度的位置信息和角速度的旋转信息，获得两视点图；基于图像的两视点合成图索引图，对两视点图渲染出合成图，得到三维虚拟现实显示图像。进一步地，所述基于采集到的所述图像获得两视点合成图索引图具体包括：确定图像上子像素亮度影响权重；基于图像上子像素亮度影响权重，利用带有包围盒的最小二乘方法，确定两视点的合成图索引图。进一步地，确定图像上子像素亮度影响权重具体可以包括：根据下式确定图像上子像素亮度影响权重：其中，Imagec(t)(i,j,k)表示在第t个视点处采集到的图像上的子像素，t＝0、1，i＝1～H，j＝1～W；H表示图像的高度；W表示图像的宽度；r表示安全窗口半径；m、n表示以安全窗口中心为原点的窗口坐标；q＝1～3；Imagem(i+m,j+n,q)表示图像上的子像素；表示图像上子像素(i+m,j+n,q)点亮到最大亮度时对邻近像素(i,j,k)经过归一化后的亮度影响权重。进一步地，基于图像上子像素亮度影响权重，利用带有包围盒的最小二乘方法，确定两视点的合成图索引图，具体可以包括：基于图像上子像素亮度影响权重，利用带有包围盒的最小二乘方法，根据下式确定两视点的合成图索引图：其中，表示两视点对应子像素亮度影响权重的差异；I表示两视点的合成图索引图，且被限定于包围盒BI＝{I∈Z1×H:L≤I≤U}中，L＝0×I1×H且U＝255×I1×H，I1×H表示H维的全1列向量；表示两视点采集图像的差异；H表示图像的高度。进一步地，在确定图像上子像素亮度影响权重步骤之前还可以包括：对图像进行反畸变和兴趣区域提取操作处理。进一步地，根据加速度的位置信息和角速度的旋转信息，获得两视点图，具体可以包括：根据加速度的位置信息和角速度的旋转信息，调整所获取的图像的方位，获得两视点图。基于图像的两视点合成图索引图，对两视点图渲染出合成图，得到三维虚拟现实显示图像，具体包括：根据下式渲染出合成图，得到三维虚拟现实显示图像：Syn＝I0×view0+I1×view1其中，Syn表示三维虚拟现实显示图像；I0表示第0视点的合成图索引图；I1表示第1视点的合成图索引图；view0表示第0视点图；view1表示第1视点图。为了实现上述目的，根据本专利技术的另一个方面，提供以下技术方案：一种基于光路采集的移动裸眼三维虚拟现实的系统，该系统可以包括：图像获取单元，用于采集图像，并将图像发送至控制器；移动终端，包括屏幕，屏幕上设有微透镜阵列膜，用于将加速度的位置信息和角速度的旋转信息发送至控制器，并通过屏幕显示三维虚拟现实显示图像；控制器，分别与图像获取单元和移动终端通信连接；用于对图像进行处理，得到两视点合成图索引图，且根据加速度的位置信息和角速度的旋转信息，获得两视点图，并基于图像的两视点合成图索引图，对两视点图渲染出合成图，得到三维虚拟现实显示图像，以及将三维虚拟现实显示图像发送至移动终端。进一步地，移动终端还可以包括加速度计，用于获取加速度的位置信息；陀螺仪，用于获取角速度的旋转信息。进一步地图像获取单元为单目相机、单目摄像机、双目相机或双目摄像机。进一步地，移动终端为手机或个人数字助理。进一步地，控制器为计算机、笔记本电脑、服务器或工控机。本专利技术实施例提出一种基于光路采集的移动裸眼三维虚拟现实的方法和系统。其中，该方法可以包括：采集图像；基于采集到的图像获得两视点合成图索引图，根据加速度的位置信息和角速度的旋转信息，获得两视点图；基于图像的两视点合成图索引图，对两视点图渲染出合成图，得到三维虚拟现实显示图像。本专利技术实施例将三维显示技术与虚拟现实技术相结合，能够在微透镜阵列和移动终端屏幕的参数未知的情况下，呈现出高质量的三维显示效果。相比于传统虚拟现实设备减少了头盔的重量和舒适性欠佳的束缚感，同时增加了设备自身三维显示效果而非仅仅使用双目接收左右不同场景图片达到三维的效果。附图说明图1是根据本专利技术实施例的基于光路采集的移动裸眼三维虚拟现实的系统的结构示意图；图2是根据本专利技术另一实施例的基于光路采集的移动裸眼三维虚拟现实的系统的结构示意图；图3是根据本专利技术实施例的用户手持手机在三个不同观察点的手机裸眼三维虚拟现实显示效果示意图；图4是根据本专利技术实施例的基于光路采集的移动裸眼三维虚拟现实的方法的流程示意图。具体实施方式下面参照附图来描述本专利技术的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本专利技术的技术原理，并非旨在限制本专利技术的保护范围。下面以一示例性实施例来说明本专利技术实施例的应用平台。其中，可以利用两个基准线为60mm的图像获取单元模拟人的双眼，将其放在距离移动终端屏幕约300mm处。利用一个密封的实验箱，为图像获取单元的光路采集提供一个与外界光线隔绝的密闭环境，并在图像获取单元的后面设置风扇，以进行散热。优选本文档来自技高网...

【技术保护点】
一种基于光路采集的移动裸眼三维虚拟现实的方法，其特征在于，所述方法包括：采集图像；基于采集到的所述图像获得两视点合成图索引图；根据加速度的位置信息和角速度的旋转信息，获得两视点图；基于所述图像的所述两视点合成图索引图，对所述两视点图渲染出合成图，得到三维虚拟现实显示图像。

【技术特征摘要】
1.一种基于光路采集的移动裸眼三维虚拟现实的方法，其特征在于，所述方法包括：采集图像；基于采集到的所述图像获得两视点合成图索引图；根据加速度的位置信息和角速度的旋转信息，获得两视点图；基于所述图像的所述两视点合成图索引图，对所述两视点图渲染出合成图，得到三维虚拟现实显示图像。2.根据权利要求1所述的基于光路采集的移动裸眼三维虚拟现实的方法，其特征在于，所述基于采集到的所述图像获得两视点合成图索引图具体包括：确定所述图像上子像素亮度影响权重；基于所述图像上所述子像素亮度影响权重，利用带有包围盒的最小二乘方法，确定所述两视点的所述合成图索引图。3.根据权利要求2所述的基于光路采集的移动裸眼三维虚拟现实的方法，其特征在于，所述确定所述图像上子像素亮度影响权重具体包括：根据下式确定所述图像上所述子像素亮度影响权重：其中，所述Imagec(t)(i,j,k)表示在第t个视点处采集到的图像上的子像素，所述t＝0、1，所述i＝1～H，所述j＝1～W；所述H表示所述图像的高度；所述W表示所述图像的宽度；所述r表示安全窗口半径；所述m、n表示以所述安全窗口中心为原点的窗口坐标；所述q＝1～3；所述Imagem(i+m,j+n,q)表示所述图像上的子像素；所述表示所述图像上子像素(i+m,j+n,q)点亮到最大亮度时对邻近像素(i,j,k)经过归一化后的亮度影响权重。4.根据权利要求2所述的基于光路采集的移动裸眼三维虚拟现实的方法，其特征在于，所述基于所述图像上所述子像素亮度影响权重，利用带有包围盒的最小二乘方法，确定所述两视点的所述合成图索引图，具体包括：基于所述图像上子像素亮度影响权重，利用带有包围盒的最小二乘方法，根据下式确定所述两视点的所述合成图索引图：其中，所述表示所述两视点对应子像素亮度影响权重的差异；所述I表示所述两视点的所述合成图索引图，且被限定于包围盒BI＝{I∈Z1×H:L≤I≤U}中，L＝0×I1×H且U＝255×I1×H，所述I1×H表示H维的全1列向量；所述表示两视点采集图像的差异；所述H表示所述图像的高度。...

【专利技术属性】
技术研发人员：马魁，裴仁静，耿征，张梅，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11