一种裸眼3D虚拟现实展示系统及其展示方法技术方案

本发明专利技术公开了一种裸眼3D虚拟现实展示系统及其展示方法。本发明专利技术采用VR传感单元采集游戏者的运动信息，对三维渲染单元发布触发或操控指令，触发或控制三维渲染单元的三维虚拟场景，三维渲染单元渲染双目图像，发送至VR显示单元，使得游戏者产生沉浸式的虚拟现实体验；同时采用实际立体相机阵列，并结合绿幕抠像技术将游戏者本身放到数字化的虚拟场景里，最后将游戏者和虚拟场景以裸眼3D显示的方式呈现出来，让旁观者不用借助任何辅助设备，便能够以第三视角的方式来观察游戏者正在经历的场景；旁观者还可以人为的调整第三视角的观看位置和角度，从而根据自己的兴趣观看虚拟场景中发生的情况，也可以对整个虚拟场景进行全方位观察和分析。

【技术实现步骤摘要】

本专利技术涉及裸眼3D显示技术，具体涉及一种裸眼3D虚拟现实展示系统及其展示方法。
技术介绍
人类生活在一个立体的世界中，利用立体视觉机制来感知这个立体世界。为了表达这个世界，人们已提出并发展了很多方式，其中图像是最直观的表达方式。然而，目前大多数显示设备只能实现2D(二维)显示，可表达出场景的内容却忽略了深度信息，因此人们只能通过平时生活中所累积的经验以及2D图像中的阴影等信息去判断物体间的前后位置关系。在信息化、数字化的时代，随着社会的发展，2D显示逐渐不能满足人类的需求，3D显示已成为研究人员新的研究目标，并成为显示领域中新的发展趋势。随着人们对3D显示的研究不断深入，已提出各种技术实现了多种3D显示方式。其中，多视点光栅式裸眼3D显示器可让多名观看者在较大观看视角内同时观看到立体图像，且无需任何助视设备帮助便能感受到震撼的视觉体验，因而备受人们关注。虚拟现实(Virtual Reality，VR)是以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应自然环境的感受和体验。虚拟现实是人类在探索自然过程中创造形成的一种用于认识自然、模拟自然，进而更好地适应和利用自然的科学方法和技术。随着社会生产力和科学技术的不断发展，各行各业对VR技术的研究日益重视，VR技术也取得了巨大进展，并逐步成为一个新的科学
但是，虚拟现实技术目前仅供单人进行沉浸式体验，而在其旁边的观看者因为只能看到游戏者带着VR头盔在做各种各样的动作，而看不到VR显示屏上的内容，导致无法分享和理解游戏者正在经历的沉浸式感受。虽然旁观者可以通过监视器看到VR头盔中的单眼画面即第一视角画面，但是因为缺乏双目画面带来的沉浸式三维立体效果，并且旁观者只能被动地接受因游戏者头部快速移动所造成的图像快速变化，导致旁观者不仅不能分享到游戏者所经历的震撼，也会因为快速变换的图像而产生视觉疲劳。
技术实现思路
针对以上现有技术中存在的问题，本专利技术提出了一种裸眼3D虚拟现实展示系统及其展示方法。本专利技术的一个目的在于提出一种裸眼3D虚拟现实展示系统。本专利技术的裸眼3D虚拟现实展示系统包括：VR传感单元、多目相机定位采集单元、三维渲染单元、VR显示单元、裸眼3D合成显示单元和绿幕空间；其中，VR传感单元、多目相机定位采集单元、VR显示单元和游戏者均位于绿幕空间内；VR传感单元和多目相机定位采集单元分别连接至三维渲染单元；三维渲染单元分别连接至VR显示单元和裸眼3D合成显示单元；根据观看对象不同，裸眼3D虚拟现实展示系统分为游戏者部分和旁观者部分；在游戏者部分中，VR传感单元采集游戏者在绿幕空间中的运动信息，并将运动信息传输至三维渲染单元，触发或控制三维渲染单元中的三维虚拟场景，并控制三维渲染单元渲染游戏者视角所看到的三维虚拟场景的双目图像；双目图像传输至VR显示单元，将具有双目视差的双目图像输送给游戏者的左右眼，从而游戏者产生沉浸式的虚拟现实体验；在旁观者部分中，多目相机定位采集单元中的实际立体相机阵列拍摄位于绿幕空间的游戏者，采集不同角度的多张带有绿幕背景的游戏者图像，与实际立体相机阵列的姿态一起发送至三维渲染单元；三维渲染单元根据实际立体相机阵列的参数设置多目虚拟相机的参数，并根据实际立体相机阵列的姿态控制多目虚拟相机的姿态使得二者时刻保持同步，多目虚拟相机对由VR传感单元触发或控制的三维虚拟场景进行实时渲染，获得虚拟场景渲染图像，并将游戏者图像中的绿幕背景进行绿幕剔除，然后将绿幕抠像后的游戏者图像和虚拟场景渲染图像进行叠加，形成多张视差图像，传输至裸眼3D合成显示单元；裸眼3D合成显示单元将多张视差图进行视差图像合成，并进行裸眼3D显示；旁观者控制多目相机定位采集单元中实际立体相机阵列的姿态，通过裸眼3D合成显示单元的显示，实现第三视角的观察体验。绿幕空间是指由绿幕搭建的一个长方体的内部空间，长方体内的每一个面均由绿幕覆盖，长方体内能够布置下VR传感单元、游戏者和多目相机定位采集单元，长方体的侧面设置有人员进出口。VR传感单元进行游戏者与裸眼3D虚拟现实展示系统的人机交互，进行游戏者与虚拟场景之间的感知传递，包括真实感触/力觉感知、三维空间方位跟踪、交互行为等信息。其中，采用三维空间跟踪定位技术，通过跟踪定位器来捕捉的游戏者的运动信息，使游戏者具有可以自由移动的交互空间，增加游戏者交互操作的灵活性，运动信息包括游戏者的头部位置和角度，以及肢体信息。跟踪定位技术可分为有源跟踪定位技术和无源跟踪定位技术。其中，有源跟踪定位技术的跟踪定位器具有发射器和接收器，能够通过发射和接收信号之间的物理联系确定游戏者的运动信息。无源跟踪定位技术的跟踪定位器不具有主动信号源，仅通过接收器测量接收信号的变化，确定被跟踪对象的位置和姿态。跟踪定位技术采用激光定位技术、光学定位技术、红外主动式光学技术和可见光主动式光学技术中的一种。VR传感单元将采集到的游戏者的运动信息传输至三维渲染单元。多目相机定位采集单元包括实际立体相机阵列、空间定位追踪系统和数据采集单元，实际立体相机阵列连接至数据采集单元，数据采集单元采集实际立体相机阵列的数据，再将获得数据传输至三维渲染单元；空间定位追踪系统定位和追踪实际立体相机阵列在空间中的6个自由度，包括位置信息和方向信息。实际立体相机阵列包括多目实际相机，从不同角度拍摄位于绿幕空间中的游戏者，从而获取到不同视角的带有绿幕背景的游戏者图像。多目实际相机的硬件和软件参数均保持一致，硬件参数主要包括采集芯片(如CCD、CMOS)、相机电路和镜头的规格参数等，软件参数包括分辨率、曝光时间、白平衡、颜色校正、图像裁剪区域和Bayer(贝叶耳)转换类型等，这些参数均需保持一致，这样才能在裸眼3D合成显示单元上实现较好的合成效果。其中，多目实际相机以会聚式结构排布，各实际相机的光心位于同一水平线上，光轴位于同一平面内，并且相邻的实际相机的间距相等，各实际相机的光轴相交于位于实际立体相机阵列前的一点，称之为会聚点。若采用偶数个实际相机，则会聚点位于中间两个实际相机的光心连线的中垂线上；若采用奇数个相机，则会聚点位于中间的实际相机的光轴上。根据裸眼3D显示屏的规格尺寸以及双目融合能力，计算相邻实际相机的间距和会聚点的位置，保证拍摄到的游戏者在裸眼3D显示屏上的视差量是在人眼的融合范围之内，并且保证当虚拟相机的设置与实际立体相机阵列一致时，拍摄到的虚拟场景的视差量也同样在人眼的融合范围之内。为了降低整体系统的运行耗时，提高系统帧率，本专利技术中的数据采集单元采用多线程相机采集方案，即通过调用多核CPU来并行采集实际相机的数据，再将获得的数据送往三维渲染单元，从而在很大程度上提高了系统运行帧率。空间定位追踪系统定位和追踪实际立体相机阵列在空间中的6个自由度的姿态，包括位置信息和方向信息。空间定位追踪系统采用的跟踪定位技术实现方法也与VR传感单元中提到的跟踪定位技术一样，采用激光定位技术、光学定位技术、红外主动式光学技术和可见光主动式光学技术中的一种。通常，为了避免两套定位系统之间的信号干扰，提高各自定位的准确性和鲁棒性，常采用两套不本文档来自技高网...

【技术保护点】
一种裸眼3D虚拟现实展示系统，其特征在于，所述展示系统包括：VR传感单元、多目相机定位采集单元、三维渲染单元、VR显示单元、裸眼3D合成显示单元和绿幕空间；其中，所述VR传感单元、多目相机定位采集单元、VR显示单元和游戏者均位于绿幕空间内；VR传感单元和多目相机定位采集单元分别连接至三维渲染单元；所述三维渲染单元分别连接至VR显示单元和裸眼3D合成显示单元；根据观看对象不同，所述裸眼3D虚拟现实展示系统分为游戏者部分和旁观者部分；在游戏者部分中，VR传感单元采集游戏者在绿幕空间中的运动信息，并将运动信息传输至三维渲染单元，触发或控制三维渲染单元中的三维虚拟场景，并控制三维渲染单元获得游戏者视角所看到的三维虚拟场景的双目图像；双目图像传输至VR显示单元，将具有双目视差的双目图像输送给游戏者的左右眼，从而游戏者产生沉浸式的虚拟现实体验；在旁观者部分中，多目相机定位采集单元中的实际立体相机阵列拍摄位于绿幕空间的游戏者，采集不同角度的多张带有绿幕背景的游戏者图像，与实际立体相机阵列的姿态一起发送至三维渲染单元；三维渲染单元根据实际立体相机阵列的参数设置多目虚拟相机的参数，并根据实际立体相机阵列的姿态控制多目虚拟相机的姿态使得二者时刻保持同步，多目虚拟相机对由VR传感单元触发或控制的三维虚拟场景进行实时渲染，获得虚拟场景渲染图像，并将游戏者图像中的绿幕背景进行绿幕剔除，然后将绿幕抠像后的游戏者图像和虚拟场景渲染图像进行叠加，形成多张视差图像，传输至裸眼3D合成显示单元；裸眼3D合成显示单元将多张视差图进行视差图像合成，并进行裸眼3D显示；旁观者控制多目相机定位采集单元中实际立体相机阵列的姿态，通过裸眼3D合成显示单元的显示，实现第三视角的观察体验。...

【技术特征摘要】
1.一种裸眼3D虚拟现实展示系统，其特征在于，所述展示系统包括：VR传感单元、多目相机定位采集单元、三维渲染单元、VR显示单元、裸眼3D合成显示单元和绿幕空间；其中，所述VR传感单元、多目相机定位采集单元、VR显示单元和游戏者均位于绿幕空间内；VR传感单元和多目相机定位采集单元分别连接至三维渲染单元；所述三维渲染单元分别连接至VR显示单元和裸眼3D合成显示单元；根据观看对象不同，所述裸眼3D虚拟现实展示系统分为游戏者部分和旁观者部分；在游戏者部分中，VR传感单元采集游戏者在绿幕空间中的运动信息，并将运动信息传输至三维渲染单元，触发或控制三维渲染单元中的三维虚拟场景，并控制三维渲染单元获得游戏者视角所看到的三维虚拟场景的双目图像；双目图像传输至VR显示单元，将具有双目视差的双目图像输送给游戏者的左右眼，从而游戏者产生沉浸式的虚拟现实体验；在旁观者部分中，多目相机定位采集单元中的实际立体相机阵列拍摄位于绿幕空间的游戏者，采集不同角度的多张带有绿幕背景的游戏者图像，与实际立体相机阵列的姿态一起发送至三维渲染单元；三维渲染单元根据实际立体相机阵列的参数设置多目虚拟相机的参数，并根据实际立体相机阵列的姿态控制多目虚拟相机的姿态使得二者时刻保持同步，多目虚拟相机对由VR传感单元触发或控制的三维虚拟场景进行实时渲染，获得虚拟场景渲染图像，并将游戏者图像中的绿幕背景进行绿幕剔除，然后将绿幕抠像后的游戏者图像和虚拟场景渲染图像进行叠加，形成多张视差图像，传输至裸眼3D合成显示单元；裸眼3D合成显示单元将多张视差图进行视差图像合成，并进行裸眼3D显示；旁观者控制多目相机定位采集单元中实际立体相机阵列的姿态，通过裸眼3D合成显示单元的显示，实现第三视角的观察体验。2.如权利要求1所述的展示系统，其特征在于，所述绿幕空间是指由绿幕搭建的一个长方体的内部空间，长方体内的每一个面均由绿幕覆盖，长方体内能够布置下VR传感单元、游戏者和多目相机定位采集单元，所述长方体的侧面设置有人员进出口。3.如权利要求1所述的展示系统，其特征在于，所述VR传感单元采用三维空间跟踪定位技术，通过跟踪定位器来捕捉的游戏者的运动信息；跟踪定位技术分为有源跟踪定位技术和无源跟踪定位技术；其中，所述有源跟踪定位技术的跟踪定位器具有发射器和接收器，能够通过发射和接收信号之间的物理联系确定游戏者的运动信息；所述无源跟踪定位技术的跟踪定位器不具有主动信号源，仅通过接收器测量接收信号的变化，确定被跟踪对象的位置和姿态；跟踪定位技术采用激光定位技术、光学定位技术、红外主动式光学技术和可见光主动式光学技术中的一种。4.如权利要求1所述的展示系统，其特征在于，所述多目相机定位采集单元包括实际立体相机阵列、空间定位追踪系统和数据采集单元，实际立体相机阵列连接至数据采集单元，数据采集单元采集实际立体相机阵列的数据，再将获得数据传输至三维渲染单元；空间定位追踪系统定位和追踪实际立体相机阵列在空间中的6个自由度，包括位置信息和方向信息。5.如权利要求4所述的展示系统，其特征在于，所述实际立体相机阵列包括多目实际相机，多目实际相机以会聚式结构排布，各实际相机的光心位于同一水平线上，光轴位于同一平面内，并且相邻的实际相机的间距相等，各实际相机的光轴相交于位于立体相机阵列前的一点，称之为会聚点；...

【专利技术属性】
技术研发人员：赵亚亮，崔华坤，吴伟和，周鹏，何林，
申请(专利权)人：万象三维视觉科技北京有限公司，
类型：发明
国别省市：北京;11