一种用于增强现实的三维场景实现方法及系统技术方案

本发明专利技术提供一种用于增强现实的三维场景实现方法及系统，所述方法包括：在设定时间周期内，利用照明系统将组成图像帧的深度层二值图像按照设定时序投射给显示系统；显示系统按照所述设定时间周期变换所述图像帧；显示系统依次接收深度层二值图像进行处理，得到对应深度层图像投影到图像传输系统；图像传输系统接收对应深度层图像后，将对应深度层图像传输到人眼前方，使得对应深度层图像与真实场景叠加；并且利用调焦系统将传输到人眼前方的对应深度层图像投影到空间中的特定深度。上述方法能够满足在AR显示设备中使用层析光场显示法实现三维场景展示，解决现有AR显示设备三维场景显示方法具有的辐辏调节冲突。景显示方法具有的辐辏调节冲突。景显示方法具有的辐辏调节冲突。

【技术实现步骤摘要】
一种用于增强现实的三维场景实现方法及系统


[0001]本专利技术属于增强现实
，具体涉及一种用于增强现实的三维场景实现方法及系统。

技术介绍

[0002]增强现实(Augmented Real ity，AR)是一种将虚拟场景与真实场景巧妙融合的技术，是显示领域的一个重要发展方向。增强现实技术通过特殊的装置如波导，将计算机渲染出的虚拟场景画面与真实世界画面叠加后传输进人眼，虚拟信息和现实信息相互补充，从而给观看者带来超越现实的感官体验。增强现实技术在军事、医疗、工业、教育、娱乐等领域有着广阔的发展前景。
[0003]为了增强虚拟场景画面的真实感，目前增强现实技术多着力于如何让人产生三维感。传统增强现实器件仅能利用双目视差建立伪三维感。双目视差法模拟双眼在观看同一景物时接收到的图像不同，通过两个显示设备向观察者左右眼分别传输各自视角的二维图像，使两个二维图像在大脑中融合形成三维。这种融合方式带来了辐辏调节冲突(Vergence Accommodat ion Confl ict，VAC)。由于辐辏调节冲突的存在，长时间观看传统的波导增强现实系统会导致视疲劳，观察者会产生眩晕感。
[0004]人眼对于深度的分辨力是有限的，当人眼在短时间内接收到一系列深度位置相近的二维图像时，由于视觉暂留效应，这些二维图像会被大脑合成为一个场景，人眼会近似地认为观看到了一个三维物体。所以，解决辐辏调节冲突的一种有效方法是层析光场显示法。层析光场显示法将每一帧三维场景按照深度分成有限个深度分层图像，显示设备时序地播放每一个深度分层图像，同时将每一个深度分层图像赋予正确的空间深度位置，人眼在短时间内接收到所有的深度分层图像即可形成三维感。为了流畅地播放视频，每秒钟显示的图像数量要大于人眼的刷新率。人眼的刷新率是指人眼每秒钟能够识别的图像数量，通常条件下，人眼识别连贯图像的速度是24帧/秒。为了提高观看的舒适感，目前的显示器的刷新率通常为60Hz以上。
[0005]层析光场显示法需要在传统显示器一帧图像的时间段内连续地刷新完全部深度层图像，使所有深度层图像合成一幅完整的三维场景。因此层析光场显示法对于显示器的刷新率要求极高。举例来说，如果将每帧三维场景的深度层数设定为80层，三维动画的帧率设定为60帧每秒，则最终的显示器的刷新率至少需要为4800帧每秒，远远超过了目前显示器所能提供的刷新率，因此层析光场显示法尚未应用于现有AR显示设备。

技术实现思路

[0006]为了克服现有技术的缺陷，本专利技术提供一种用于增强现实的三维场景实现方法及系统。
[0007]本专利技术通过如下技术方案实现：
[0008]本专利技术提供一种用于增强现实的三维场景实现方法，包括：
[0009]在设定时间周期内，利用照明系统将组成图像帧的深度层二值图像按照设定时序投射给显示系统；
[0010]显示系统按照所述设定时间周期变换所述图像帧；
[0011]显示系统依次接收所述深度层二值图像，将对应深度层二值图像进行处理，得到对应深度层图像，将所述对应深度层图像投影到图像传输系统；
[0012]图像传输系统接收所述对应深度层图像，将所述对应深度层图像传输到人眼前方，使得所述对应深度层图像与真实场景叠加；
[0013]利用调焦系统将传输到人眼前方的所述对应深度层图像投影到空间中的特定深度。
[0014]进一步的，所述照明系统将组成所述图像帧的深度层二值图像按照设定时序投射给显示系统之前，还包括：
[0015]照明系统接收组成所述图像帧的深度层二值图像，将组成所述图像帧的深度层二值图像存储在照明系统内的第一存储装置内。
[0016]进一步的，所述在显示系统按照设定时间周期变换图像帧之前，还包括：
[0017]显示系统接收所述图像帧，并将所述图像帧存储在显示系统内的第二存储装置内。
[0018]进一步的，还包括：
[0019]将组成三维场景的所述图像帧存储于控制系统；
[0020]控制系统将所述图像帧进行深度分层，得到组成所述图像帧的深度层二值图像；
[0021]控制系统将组成所述图像帧的深度层二值图像发送给照明系统；
[0022]控制系统将所述图像帧发送给显示系统。
[0023]进一步的，所述控制系统将所述图像帧进行深度分层，得到组成所述图像帧的深度层二值图像，包括：
[0024]获取所述图像帧所示场景的深度信息；
[0025]基于所述深度信息以光焦度作为分层参数对所述图像帧进行深度分层，得到深度分层图像；
[0026]将每个所述深度分层图像的当前深度区域定义为值1，其他深度区域定义为值0，得到组成所述图像帧的深度层二值图像。
[0027]进一步的，所述显示系统按照所述设定时间周期变换所述图像帧，包括：
[0028]控制系统按照设定时间周期控制图像帧基于组成三维场景的图像帧先后顺序在显示系统上变换显示。
[0029]进一步的，所述在设定时间周期内，照明系统将组成图像帧的深度层二值图像按照设定时序投射给显示系统，包括：
[0030]在设定时间周期内，控制系统按照设定时序控制照明系统将组成图像帧的深度层二值图像根据深度关系投射给显示系统；
[0031]其中，照明系统以二值像素方式将深度层二值图像投射给显示系统。
[0032]进一步的，所述显示系统依次接收所述深度层二值图像，将对应深度层二值图像进行处理，得到对应深度层图像，将所述对应深度层图像投影到图像传输系统，包括：
[0033]所述显示系统依次接收所述深度层二值图像，图像帧内与对应深度层二值图像相
应的图像像素位置被点亮，显示系统对所述图像像素进行彩色调制，得到对应深度层图像，并将所述对应深度层图像投影到图像传输系统。
[0034]进一步的，所述图像传输系统为光波导，所述图像传输系统接收所述对应深度层图像，将所述对应深度层图像传输到人眼前方，使得所述对应深度层图像与真实场景叠加，包括：
[0035]光波导的耦入区域耦入所述对应深度层图像；
[0036]光波导的波导基体对耦入的对应深度层图像进行传输；
[0037]光波导的耦出区域耦出所述对应深度层图像；
[0038]真实场景穿过光波导的波导基体与对应深度层图像实现叠加。
[0039]进一步的，所述调焦系统将传输到人眼前方的所述对应深度层图像投影到空间中的特定深度，包括：
[0040]通过调焦系统调整第一光焦度的变化改变传输到人眼前方的所述对应深度层图像的光线发散角度，将所述对应深度层图像投影到空间中的特定深度。
[0041]进一步的，所述调焦系统通过调整第一光焦度的变化改变传输到人眼前方的所述对应深度层图像的光线发散角度，将所述对应深度层图像投影到空间中的特定深度，包括：
[0042]控制系统预先设定调焦系统的第一光焦度的形态变化周期；
[0043]控制系统基于所述第一光焦度的形态变化周期，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于增强现实的三维场景实现方法，其特征在于，包括：在设定时间周期内，利用照明系统将组成图像帧的深度层二值图像按照设定时序投射给显示系统；显示系统按照所述设定时间周期变换所述图像帧；显示系统依次接收所述深度层二值图像，将对应深度层二值图像进行处理，得到对应深度层图像，将所述对应深度层图像投影到图像传输系统；图像传输系统接收所述对应深度层图像，将所述对应深度层图像传输到人眼前方，使得所述对应深度层图像与真实场景叠加；利用调焦系统将传输到人眼前方的所述对应深度层图像投影到空间中的特定深度。2.根据权利要求1所述的用于增强现实的三维场景实现方法，其特征在于，所述照明系统将组成所述图像帧的深度层二值图像按照设定时序投射给显示系统之前，还包括：照明系统接收组成所述图像帧的深度层二值图像，将组成所述图像帧的深度层二值图像存储在照明系统内的第一存储装置内。3.根据权利要求2所述的用于增强现实的三维场景实现方法，其特征在于，所述在显示系统按照设定时间周期变换图像帧之前，还包括：显示系统接收所述图像帧，并将所述图像帧存储在显示系统内的第二存储装置内。4.根据权利要求3所述的用于增强现实的三维场景实现方法，其特征在于，还包括：将组成三维场景的所述图像帧存储于控制系统；控制系统将所述图像帧进行深度分层，得到组成所述图像帧的深度层二值图像；控制系统将组成所述图像帧的深度层二值图像发送给照明系统；控制系统将所述图像帧发送给显示系统。5.根据权利要求4所述的用于增强现实的三维场景实现方法，其特征在于，所述控制系统将所述图像帧进行深度分层，得到组成所述图像帧的深度层二值图像，包括：获取所述图像帧所示场景的深度信息；基于所述深度信息以光焦度作为分层参数对所述图像帧进行深度分层，得到深度分层图像；将每个所述深度分层图像的当前深度区域定义为值1，其他深度区域定义为值0，得到组成所述图像帧的深度层二值图像。6.根据权利要求4所述的用于增强现实的三维场景实现方法，其特征在于，所述显示系统按照所述设定时间周期变换所述图像帧，包括：控制系统按照设定时间周期控制图像帧基于组成三维场景的图像帧先后顺序在显示系统上变换显示。7.根据权利要求6所述的用于增强现实的三维场景实现方法，其特征在于，所述在设定时间周期内，照明系统将组成图像帧的深度层二值图像按照设定时序投射给显示系统，包括：在设定时间周期内，控制系统按照设定时序控制照明系统将组成图像帧的深度层二值图像根据深度关系投射给显示系统；其中，照明系统以二值像素方式将深度层二值图像投射给显示系统。8.根据权利要求1所述的用于增强现实的三维场景实现方法，其特征在于，所述显示系
统依次接收所述深度层二值图像，将对应深度层二值图像进行处理，得到对应深度层图像，将所述对应深度层图像投影到图像传输系统，包括：所述显示系统依次接收所述深度层二值图像，图像帧内与对应深度层二值图像相应的图像像素位置被点亮，显示系统对所述图像像素进行彩色调制，得到对应深度层图像，并将所述对应深度层图像投影到图像传输系统。9.根据权利要求1所述的用于增强现实的三维场景实现方法，其特征在于，所述图像传输系统为光波导，所述图像传输系统接收所述对应深度层图像，将所述对应深度层图像传输到人眼前方，使得所述对应深度层图像与真实场景叠加，包括：光波导的耦入区域耦入所述对应深度层图像；光波导的波导基体对耦入的对应深度层图像进行传输；光波导的耦出区域耦出所述对应深度层图像；真实场景穿过光波导的波导基体与对应深度层图像实现叠加。10.根据权利要求7所述的用于增强现实的三维场景实现方法，其特征在于，所述调焦系统将传输到人眼前方的所述对应深度层图像投影到空间中的特定深度，包括：调焦系统通过调整第一光焦度的变化改变传输到人眼前方的所述对应深度层图像的光线发散角度，将所述对应深度层图像投影到空间中的特定深度。11.根据权利要求10所述的用于增强现实的三维场景实现方法，其特征在于，所述调焦系统通过调整第一光焦度的变化改变传输到人眼前方的所述对应深度层图像的光线发散角度，将所述对应深度层图像投影到空间中的特定深度，包括：控制系统预先设定调焦系统的第一光焦度的形态变化周期；控制系统基于所述第一光焦度的形态变化周期，向所述调焦系统发送第一控制信号；所述调焦系统接收对应第一控制信号后，调整第一光焦度到对应数值，将所述对应深度层图像投影到空间中的特定深度。12.根据权利要求11所述的用于增强现实的三维场景实现方法，其特征在于，还包括：通过调焦补偿系统调节第二光焦度的变化补偿调焦系统对真实场景的光线调制作用，抵消调焦系统对真实场景光线的干扰作用。13.根据权利要求12所述的用于增强现实的三维场景实现方法，其特征在于，所述调焦补偿系统通过调节第二光焦度的变化补偿调焦系统对真实场景的光线调制作用，抵消调焦系统对真实场景光线的干扰，包括：控制系统预先设定调焦补偿系统的第二光焦度的形态变化周期；控制系统基于所述第二光焦度的形态变化周期向所述调焦补偿系统发送第二控制信号；所述调焦补偿系统接收对应第二控制信号后，调整第二光焦度到对应数值，抵消调焦系统对真实场景光线的干扰作用。14.根据权利要求12所述的用于增强现实的三维场景实现方法，其特征在于，所述第二光焦度和第一光焦度时刻满足如下关系：其中，表示第二光焦度，表示第一光焦度，d表示调焦补偿系统的像方主平面与调
焦系统的物方主平面之间的光程。15.根据权利要求13所述的用于增强现实的三维场景实现方法，其特征在于，所述第一光焦度的形态变化周期的时长与所述设定时间周期的时长对应设置。16.根据权利要求15所述的用于增强现实的三维场景实现方法，其特征在于，所述第一光焦度的形态变化周期为三角波形。17.根据权利要求16所述的用于增强现实的三维场景实现方法，其特征在于，一个三角波形对应的时长与所述设定时间周期的时长相等。18.根据权利要求16所述的用于增强现实的三维场景实现方法，其特征在于，一个三角波形的上升波形阶段或下降波形阶段对应的时长与所述设定时间周期的时长相等。19.根据权利要求17所述的用于增强现实的三维场景实现方法，其特征在于，在一个三角波形对应的时长内，控制系统控制显示系统一直显示当前图像帧；在所述三角波形的上升波形时长阶段，所述控制系统按照设定时序控制照明系统将组成当前图像帧的一部分深度层二值图像根据深度层由小及大的深度关系投射给显示系统；显示系统依次接收所述一部分深度层二值图像，将对应深度层二值图像进行处理，得到对应深度层图像，将所述对应深度层图像投影到图像传输系统，经图像传输系统传输到人眼前方；调焦系统接收控制系统发送的对应第一控制信号，将传输到人眼前方的所述对应深度层图像根据由近及远关系投影到空间中的特定深度；调焦补偿系统接收控制系统发送的对应第二控制信号，抵消调焦系统对真实场景光线的干扰作用；在所述三角波形的下降波形时长阶段，所述控制系统按照设定时序控制照明系统将组成当前图像帧的剩余深度层二值图像根据深度层由小及大的深度关系投射给显示系统；显示系统依次接收所述剩余深度层二值图像，将对应深度层二值图...

【专利技术属性】
技术研发人员：张浩，赵乃勤，肖家胜，翁沛鑫，赵宇暄，冒新宇，
申请(专利权)人：清华大学，
类型：发明
国别省市：