一种基于多层透明液晶屏的裸眼3D显示方法及装置制造方法及图纸

一种基于多层透明液晶屏的裸眼3D显示方法及装置，装置包括多层透明液晶屏，方法包括单目图像深度图估计，以及深度向层次转换两个部分，单目图像深度图估计通过对部分视频帧的深度信息计算，关联计算得到一段具有深度信息的视频帧，深度向层次转换依据深度信息结合考虑多层液晶屏间距离和屏幕间的光线衰减，把图像中不同深度的物体内容对应分配到多层透明液晶屏的各个液晶屏上进行显示，实现裸眼3D显示。本发明专利技术基于经典的SFS算法原理，对其计算过程进行了优化，提高了其计算速度，依据液晶多层屏的特点，裁剪了计算出来的深度信息，达到了基本能够实时计算图像内容的深度计算，满足了工程化应用的要求。

【技术实现步骤摘要】
一种基于多层透明液晶屏的裸眼3D显示方法及装置
本专利技术属于液晶屏
，涉及裸眼3D显示，为一种基于多层透明液晶屏的裸眼3D显示方法及装置。
技术介绍
目前，主流的裸眼3D技术手段有：狭缝式液晶光栅、柱状透镜、指向光源、主动式背光。[1]狭缝式液晶光栅。这种技术原理是在屏幕前加了一个狭缝式光栅之后，应该由左眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡右眼;同理，应该由右眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡左眼，通过将左眼和右眼的可视画面分开，使观者看到3D影像。[2]柱状透镜，这种技术原理是通过透镜的折射原理，将左右眼对应的像素点分别投射在左右眼中，实现图像分离。对比狭缝光栅技术最大的优点是透镜不会遮挡光线，所以亮度有了很大改善。[3]指向光源，简单说来就是精确控制两组屏幕分别向左右眼投射图像。[4]主动式背光，采用光学微结构构成背光模组，背光发出的光束可以在电子器件的控制下调整方向。上述这些都是基于光学的方法构成的裸眼3D技术。现如今，透明屏技术不断成熟，成本越来越低。如果有显示设备由多层透明屏和一层底层普通液晶屏组成，能够在不同层次上体现场景中不同距离的内容，则可以直接从原理上实现正常的裸眼3D显示。现有技术中，《基于液晶多层屏的3D显示系统和算法设计》（陈晓西,李光勇,王继岷,江山,黄张英,刘晨曦.《液晶与显示》,2017,32(4):302-307.）提出了该液晶多层屏的概念，但是在显示算法设计上，仅研究和提供了光线在经过多层传输后的衰减问题，如何在多层液晶屏上显示所需内容的距离和分层并未提起。专利技术专利《一种虚拟现实设备及对应显示方法》（CN201611264973.1）也提出了液晶多层屏的概念，但是在算法设计上，也未提及所需显示的图像是如何获得深度信息，并映射到每个分层上的。而在学术界，虽然有不少基于单幅图像进行深度获取的研究方案，例如1970年Horn提出的SFS（从阴影恢复结构）的方案，该方法利用不同光照条件下图像的明暗程度与阴影来计算物体表面深度信息，是计算机视觉中获取三维数据的重要手段之一，这类算法相对比较成熟其内容已经可以获得比较精确地深度信息，但是其计算量比较大，很难匹配正常液晶屏自带的计算能力，且存在一定的噪声。随着机器学习技术的发展，近来也有新处理方案，例如基于深度学习进行图像深度获取，但这类方案计算量对正常液晶屏的计算能力而言，更是不可想象的。所以，如果想要在多层透明液晶屏上达到应用的效果，就必须在传统方法基础上进行工程化改进，减少其计算量，达到能够匹配液晶屏自带计算能力的要求。
技术实现思路
本专利技术要解决的技术问题是：液晶多层屏可用于通过景深实现裸眼3D显示，但现有技术对于在液晶屏自带的计算能力下如何实时划分图像深度，使得液晶多层屏显示出3D图像，没有合适的解决方案。本专利技术的技术方案为：一种基于多层透明液晶屏的裸眼3D显示方法，包括单目图像深度图估计，以及深度向层次转换两个部分，单目图像深度图估计，在连续的视频帧Img1中间隔抽取若干帧图片，通过水平集方法，把抽取的图像区分成若干区域，得到每个区域的深度信息，把这些带有区域深度信息的图片作为稳定帧Img3，对于视频帧Img1中的其他视频帧Img1’，同样通过水平集方法进行区域划分，根据时空关联性将Img1’的区域与Img3的区域对应，并采用Img3的区域深度信息赋值给对对应的Img1’的区域，得到带有深度信息的图片集Img2，将带有深度信息的Img3和赋值后的Img2按视频帧顺序组合，得到具有深度信息的连续视频帧DImg1作为输出；深度向层次转换，依据具有深度信息的DImg1，结合考虑多层液晶屏间距离和屏幕间的光线衰减，把图像中不同深度的物体内容对应分配到各个液晶屏上进行显示。本专利技术还提出一种基于多层透明液晶屏的裸眼3D显示装置，包括1层底层液晶屏、至少1层透明液晶屏、分层计算模块和液晶驱动，底层液晶屏用于显示视频中每帧图片的背景部分，不透明，透明液晶屏用于显示视频中每帧图片中不同前景层次的内容，底层液晶屏和透明液晶屏均由液晶驱动提供要显示的内容，分层计算模块与液晶驱动双向数据连接，用于提供计算资源，分层计算模块中配置有计算机程序，所述计算机程序被执行时实现上述的裸眼3D显示方法，获取视频数据后，输出分层内容的分配方案给液晶驱动，驱动对应的普通液晶屏和透明液晶屏进行显示。本专利技术基于经典的SFS算法原理，对其计算过程进行了优化，提高了其计算速度，依据液晶多层屏的特点，裁剪了计算出来的深度信息，达到了基本能够实时计算图像内容的深度计算，满足了工程化应用的要求。附图说明图1为本专利技术实施例的视频单目图像深度图估计流程图。图2为本专利技术实施例的深度向层次转换的流程图。图3为本专利技术实施例的视频、帧、物体内容关系的示意图。图4为本专利技术实施例的硬件结构示意图。具体实施方式本专利技术基于现有的人工智能、电子技术，提出了一款能够从原理上实现裸眼3D的显示方法及其设备。它由多层透明屏和一层底层普通液晶屏组成，能够在不同层次上体现场景中不同距离的内容；能够自动计算视频每帧图片中各种目标的景深，分配到不同透明液晶屏和底层液晶屏进行显示，从原理上实现正常的裸眼3D显示。本专利技术方案的基于液晶多层屏实现，显示方法说明如下。本专利技术显示方法包括单目图像深度图估计，以及深度向层次转换两个部分。1、单目图像深度图估计单目图像深度图估计算法是利用二维图像来进行场景中内容的深度估计，是计算机视觉领域的经典问题之一，也是实现三维重建、场景感知的重要环节。本专利技术的目标是基于现有的透明液晶屏的计算能力，能够实现实时的计算深度信息的效果，达到满足工程化的需求，因此主要手段是对现有的传统方法中的明暗恢复形状SFS的裁剪。由于经典SFS对视频的每一帧、每一个像素均采用SFS的利用不同光照条件下图像的明暗程度与阴影来计算物体表面深度信息，这样的计算量极大，其结果虽然精细，但是对于液晶多层屏的硬件基础而言，这样的精细计算超过了硬件能够达到的精度范围，因此本专利技术通过放弃经典SFS的达到的精度，来达到减少计算量，从而实时计算的工程化目标。本专利技术在视频帧中间隔抽取一些图片，通过水平集方法，把图像区分成若干区域，经过裁剪过的SFS算法计算，得到每个区域的深度信息，把这些带有区域深度信息的图片，作为相对精确的帧，即稳定帧。对于其他视频帧图片，在与稳定帧时间间隔不大、中心位置区域的空间距离间隔不大的区域，直接采用稳定帧的深度信息赋予的方式，得到带有赋值深度信息的图片集，结合稳定帧和赋值后的其他视频帧，以少数计算量得到一组各帧均具有深度信息的视频帧图片集作为输出。其过程如图1，其中SFS算法计算过程为经典算法，在其中不再赘述。步骤1-1.把视频帧图像按照时间进行编号，Img1（i）表示第i帧视频帧图片。步骤1-2.根据设定的间隔在Img1（i）中抽取若干帧图片Img3(j)，本文档来自技高网...

【技术保护点】
1.一种基于多层透明液晶屏的裸眼3D显示方法，其特征是包括单目图像深度图估计，以及深度向层次转换两个部分，/n单目图像深度图估计，在连续的视频帧Img1中间隔抽取若干帧图片，通过水平集方法，把抽取的图像区分成若干区域，得到每个区域的深度信息，把这些带有区域深度信息的图片作为稳定帧Img3，对于视频帧Img1中的其他视频帧Img1’，同样通过水平集方法进行区域划分，根据时空关联性将Img1’的区域与Img3的区域对应，并采用Img3的区域深度信息赋值给对对应的Img1’的区域，得到带有深度信息的图片集Img2，将带有深度信息的Img3和赋值后的Img2按视频帧顺序组合，得到具有深度信息的连续视频帧DImg1作为输出；/n深度向层次转换，依据具有深度信息的DImg1，结合考虑多层液晶屏间距离和屏幕间的光线衰减，把图像中不同深度的物体内容对应分配到各个液晶屏上进行显示。/n

【技术特征摘要】
1.一种基于多层透明液晶屏的裸眼3D显示方法，其特征是包括单目图像深度图估计，以及深度向层次转换两个部分，
单目图像深度图估计，在连续的视频帧Img1中间隔抽取若干帧图片，通过水平集方法，把抽取的图像区分成若干区域，得到每个区域的深度信息，把这些带有区域深度信息的图片作为稳定帧Img3，对于视频帧Img1中的其他视频帧Img1’，同样通过水平集方法进行区域划分，根据时空关联性将Img1’的区域与Img3的区域对应，并采用Img3的区域深度信息赋值给对对应的Img1’的区域，得到带有深度信息的图片集Img2，将带有深度信息的Img3和赋值后的Img2按视频帧顺序组合，得到具有深度信息的连续视频帧DImg1作为输出；
深度向层次转换，依据具有深度信息的DImg1，结合考虑多层液晶屏间距离和屏幕间的光线衰减，把图像中不同深度的物体内容对应分配到各个液晶屏上进行显示。


2.根据权利要求1所述的一种基于多层透明液晶屏的裸眼3D显示方法，其特征是单目图像深度图估计具体为：
步骤1-1.把视频帧图像按照时间进行编号，Img1（i）表示第i帧视频帧图片；
步骤1-2.根据设定的间隔在Img1（i）中抽取若干帧图片Img3(j)，j∈i，对抽取的每张图片，先采用水平集方法，把整体图像进行区域化划分，把每个像素划分到多个不同区域Ori（j,f）内，Ori（j,f）表示视频帧Img3(j)中的第f个区域，中心位置区域为Cen-Ori（j）=（wpx,hpy），wpx、hpy表示中心位置区域的宽和高的两个位置参数，在采用水平集划分时，每个区域占全部图像面积的比例不低于设定值T1%；
步骤1-3.对每个区域Ori（j,f）中的像素均匀采样，得到区域内的N个采样点的集合Pc(j,f)=｛P(j,f,p)｝，其中p表示采样点P的编号，p=1~N，Pc是这些采样点的集合，采用明暗恢复形状SFS的方法，计算出这些采样点的深度信息Depth1(j,f,p)；
步骤1-4.平均采样点的Depth1(j,f,p)信息，得到一个平均值Depth2（j,f），把Depth2（j,f）作为视频帧Img3(j)中的第f个区域的深度值，并依次把所有的区域的深度值计算出来，得到带有整体图像的深度信息Img3(j)；
步骤1-5.对抽取后剩下的视频帧Img1’(k)同样通过水平集方法进行区域化划分，k∈i，k≠j，区域表示为Ori（k,g），即视频帧Img1’(k)中的第g个区域，然后基于时空间关联性将Img1’的区域与Img3的区域对应，通过赋值的方式减少Img1’深度信息的计算量；所述时空间关联性指：Img1’与Img3的时间间隔不超过设定值T2,区域中心区域的空间距离不超过设定值T3，具体为：对于与Img3(j)的时间间隔Ng<T2的视频帧Img1’(k)，如果划分区域的中心位置区域Cen-Ori(k)=(wpx_k,hpy_k)与Img3(j)的中心位置区域Cen-Ori（j）=（wpx,hpy）的位置偏差和|wpx-wpx_k|+|hpy-hpy_k|小于T3，则该Img1’(k)与Img3(j)关联，把关联的Img3(j)的区域深度信息赋值给Img1’(k)，得到带有赋值深度信息的视频帧Img2(k)；
步骤1-6.将视频帧Img3(j)和视频帧Img2(k)按照视频帧顺序排列，得到连续视频帧DImg1输出。


3.根...

【专利技术属性】
技术研发人员：凌涛，凌婧，
申请(专利权)人：江苏奥斯汀光电科技股份有限公司，
类型：发明
国别省市：江苏;32