一种裸眼3D增强现实互动展示系统技术方案

本实用新型专利技术公开了一种裸眼3D增强现实互动展示系统。本实用新型专利技术在光学采集单元采用多目相机构成立体相机阵列，拍摄得到实际场景的多角度的相机图像，互动单元根据观看者所处位置、姿势或动作，对三维渲染单元发布触发和操控指令，三维渲染单元存储三维虚拟物体和场景的渲染图像，并与相机图像一起传输至裸眼3D合成单元，进行图像叠加，得到相机图像与渲染图像的混合图像作为视差图像，输出至裸眼3D显示单元中进行三维显示；观看者就能从裸眼3D显示单元上看到自己及所处的实际场景的三维立体显示效果，并混合着虚拟物体与实际场景的叠加，大大增加了裸眼3D显示单元的趣味性，更容易吸引人们的注意力。

【技术实现步骤摘要】

本技术涉及裸眼3D显示技术，具体涉及一种裸眼3D增强现实互动展示系统。
技术介绍
人类生活在一个立体的世界中，利用立体视觉机制来感知这个立体世界。为了表达这个世界，人们已提出并发展了很多方式，其中图像是最直观的表达方式。然而，目前大多数显示设备只能实现2D(二维)显示，可表达出场景的内容却忽略了深度信息，因此人们只能通过平时生活中所累积的经验以及2D图像中的阴影等信息去判断物体间的前后位置关系。在信息化、数字化的时代，随着社会的发展，2D显示逐渐不能满足人类的需求，3D(三维)显示已成为显示研究人员的新研究目标，成为显示领域的新发展趋势。随着人们对3D显示的研究不断深入，已提出各种技术实现了多种3D显示方式。其中，多视点光栅式3D显示器可让多名观看者在较大观看视角内同时裸眼观看到立体图像，感受震撼的视觉体验，从而备受关注。相比于助视3D显示器，它摆脱了助视设备的限制；相比于其他裸视3D显示器，它具有结构简单、亮度高、数据量相对较小以及与现有的平板显示器兼容等优点。光栅3D显示根据所采用的光栅材料的不同分为狭缝光栅3D显示和柱透镜光栅3D显示，前者是基于狭缝光栅不透光部分对光线的遮挡作用来使得左右眼分别看到对应的左右视差图像，后者则是利用柱透镜的折射作用使得左右眼分别看到左右视差图像。随着计算机技术的发展，增强现实技术(AugmentedReality，简称为AR)能够将计算机生成的物体叠加到现实景物上，以便使它们一起出现在使用者的视场中。AR技术在军事、机械、游戏娱乐、医疗，教育和文化遗产复原等领域均具有更广阔的发展前景。但是，增强现实虽然实现了虚拟和现实的融合，但是其显示方式基本上还停留在2D显示或助视设备上。助视设备限制了人们随时随地观看3D显示的需求，并且尤其不适用于商场、机场等人流量密集的场所。
技术实现思路
为了解决以上现有技术中存在的问题，本技术提出了基于裸眼3D显示的增强现实互动展示系统，可以实现无需佩戴助视设备，便能看到三维的虚拟与现实的融合，并可以借助互动单元，使观看者能与裸眼3D显示单元中的虚拟物体进行交互，极大增加了显示设备的趣味性和吸引性。本技术的裸眼3D增强现实互动展示系统包括：光学采集单元、三维渲染单元、互动单元、裸眼3D合成单元和裸眼3D显示单元；其中，互动单元连接至三维渲染单元；光学采集单元和三维渲染单元共同连接至裸眼3D合成单元；裸眼3D合成单元连接至裸眼3D显示单元；互动单元获取观看者的动作姿态，并发送指令至三维渲染单元；三维渲染单元接收指令对三维虚拟物体或场景进行实时渲染，获得渲染图像；光学采集单元采集实际场景的不同视角的相机图像，并与三维渲染单元的渲染图像一起传到裸眼3D合成单元；裸眼3D合成单元将相机图像进行畸变校正，并与渲染图像进行叠加，得到视差图像，并按照裸眼3D显示单元的物理结构进行视差图像合成；裸眼3D合成单元将合成的视差图像输出至裸眼3D显示单元中进行三维显示。光学采集单元包括多目相机和数据采集单元。多目相机，构成立体相机阵列，从不同角度拍摄裸眼3D显示单元正前方的实际场景，从而获取到不同视角的相机图像。多目相机的硬件和软件参数均保持一致，硬件参数主要包括采集芯片(如CCD、CMOS)、相机电路和镜头的规格参数等，软件参数包括分辨率、曝光时间、白平衡、颜色校正、图像裁剪区域和贝叶耳Bayer转换类型等，这些参数均需保持一致，这样才能在裸眼3D显示单元上实现较好的合成效果。其中，相机采用立体相机，多目相机以会聚式结构排布，各相机的光心位于同一水平线上，光轴位于同一平面内，并且相邻的相机的间距相等，各相机的光轴相交于位于立体相机阵列前的一点，称之为会聚点。若采用偶数个相机，则会聚点位于中间两个相机的光心连线的中垂线上；若采用奇数个相机，则会聚点位于中间相机的光轴上。为了降低整体系统的运行耗时，提高系统帧率，本技术中的数据采集单元采用多线程相机采集方案，即通过调用多核CPU来并行采集相机数据，再将获得的数据送往图形处理器GPU进行加速合成，从而在很大程度上提高了系统运行帧率。三维渲染单元中，存储了三维虚拟物体或场景的渲染图像，渲染图像为带透明通道的渲染纹理，即纹理中无虚拟物体或场景的位置均为透明通道，这是为了接下来的与相机拍摄的相机图像进行叠加。当互动单元发出触发指令时，三维渲染单元触发特定三维物体或场景按照预设规则或者路径出现，得到渲染图像，以便与相机采集的图像进行叠加。互动单元是指人机交互系统，通过与三维渲染单元连接协同工作，给三维渲染单元提供触发和响应指令；包括红外投影仪、红外摄像头和分析处理器，分析处理器对红外投影仪的光源进行控制编码；红外投影仪主动投射近红外光谱，照射到观看者和实际场景中，光谱发生扭曲，形成随机的反射斑点；红外摄像头采集红外影像；分析处理器分析红外摄像头采集的红外影像，然后逐帧生成准确的场景深度影像，并计算出人物的骨骼节点信息；分析处理器通过信号传输线连接至三维渲染单元，根据观看者所处位置、姿势或动作，对三维渲染单元发布触发指令或操控指令发送至三维渲染单元响应。裸眼3D合成单元获取光学采集单元的相机图像，和三维渲染单元的实时的渲染图象，将相机图像与渲染图像进行叠加，遍历整幅图像，当渲染图像为透明通道时，则显示相机图像；当渲染图像为非透明通道时，则显示渲染图像；叠加后，得到混合图像用于裸眼3D显示的视差图像；然后将视差图像按照裸眼3D显示单元的物体特性进行视差图像合成，将合成的视差图像输出至裸眼3D显示单元。裸眼3D显示单元包括2D显示屏和光栅，裸眼3D显示单元将不同视差图像的光线在空间中进行分开，并使其在最佳观看距离处进行会聚，来实现不同视差图像的空间分离，当观看者的左右眼分别看到不同视差图像时，根据大脑的融合作用，便会在大脑中形成立体视觉。光栅为狭缝光栅或者为柱镜光栅。本技术的优点：本技术在光学采集单元采用多目相机构成立体相机阵列，拍摄得到实际场景的多角度的相机图像，互动单元根据观看者所处位置、姿势或动作，对三维渲染单元发布触发和操控指令，三维渲染单元存储三维虚拟物体和场景的渲染图像，并与相机图像一起传输至裸眼3D合成单元，进行图像叠加，得到相机图像与渲染图像的混合图像作为视差图像，输出至裸眼3D显示单元中进行三维显示；观看者就能从裸眼3D显示单元上看到自己及所处的实际场景的三维立体显示效果，不仅如此，还混合着三维虚拟物体与实际场景的叠加，大大增加了裸眼3D显示单元的趣味性，更容易吸引人们的注意力；本技术实现无需佩戴助视设备，便能看到三维的虚拟与现实的融合，并可以借助互动单元，使观看者能与裸眼3D显示单元中的展示的三维虚拟物体进行交互，极大增加了显示设备的趣味性和吸引性。附图说明图1为本技术的基于裸眼3D显示的增强现实互动展示系统的结构框图；图2为本技术的基于裸眼3D显示的增强现实互动展示系统的会聚式结构排布的多目相机的俯视图；图3为本技术的基于裸眼3D显示的增强现实互动展示系统的光学系统的侧视图，其中，(a)为原理图，(b)为五目相机的实施例图。具体实施方式下面结合附图，通过具体实施例，进一步阐述本技术。如图1所示，本技术的裸眼3D增强现实互动展示系统包括：光学采本文档来自技高网...

【技术保护点】
一种裸眼3D增强现实互动展示系统，其特征在于，所述展示系统包括：光学采集单元、三维渲染单元、互动单元、裸眼3D合成单元和裸眼3D显示单元；其中，所述互动单元连接至三维渲染单元；所述光学采集单元和三维渲染单元共同连接至裸眼3D合成单元；所述裸眼3D合成单元连接至裸眼3D显示单元。

【技术特征摘要】
1.一种裸眼3D增强现实互动展示系统，其特征在于，所述展示系统包括：光学采集单元、三维渲染单元、互动单元、裸眼3D合成单元和裸眼3D显示单元；其中，所述互动单元连接至三维渲染单元；所述光学采集单元和三维渲染单元共同连接至裸眼3D合成单元；所述裸眼3D合成单元连接至裸眼3D显示单元。2.如权利要求1所述的展示系统，其特征在于，所述光学采集单元包括多目相机和数据采集单元；多目相机连接至数据采集单元。3.如权利要求2所述的展示系统，其特征在于，所述多目相机构成立体相机阵列。4.如权利要求3所述的展示系统，其特征在于，所述多目相机的硬件和软件参数均保持一致；硬件参数主要包括采集芯片、相机电路和镜头的规格参数；软件参数包括分辨率、曝光时间、白平衡、颜色校正、图像裁剪区域和贝叶耳Bayer转换类型。...

【专利技术属性】
技术研发人员：崔华坤，赵亚亮，吴伟和，周鹏，何林，
申请(专利权)人：万象三维视觉科技北京有限公司，
类型：新型
国别省市：北京;11