分层场景分解编解码系统及方法技术方案

提供了应用分层场景分解策略的用于编解码器驱动用于多维视频流传输、交互式游戏和其他光场显示应用的实时光场显示的系统和方法。随着给定层与显示器平面之间的距离增加，多维场景数据被分为深度不断增加的多个数据层。使用全光采样方案对数据层进行采样，并使用例如透视渲染和倾斜渲染的混合渲染进行渲染，以对与每个数据层相对应的光场进行编码。通过应用包括边缘自适应内插在内的视图合成协议来由参考基本图像分级地(例如，列然后行)重构像素阵列，多维场景数据的最终压缩(分层)核心表示将以可预测的速率产生，在光场显示中实时重构和合并。

【技术实现步骤摘要】
【国外来华专利技术】分层场景分解编解码系统及方法
本公开涉及图像(光场)数据编码和解码，包括用于在光场显示器处提供交互式多维内容的数据压缩和解压缩系统及方法。
技术介绍
自动立体、高角度分辨率、宽视野(FOV)、多视图显示器为用户提供了改善的视觉体验。可以通过3DTuring测试(由Banks等人描述)的三维显示器将需要光场表示来代替由现有标准显示器投影的二维图像。现实的光场表示需要大量带宽才能传输显示数据，该显示数据将至少包含数万亿像素的数据。这些带宽需求当前超过了本领域先前已知技术所提供的带宽能力。即将到来的消费视频标准是8K超高清(UHD)，每个显示器只能提供33.1兆像素的数据。压缩数据以进行传输在本领域中是先前已知的。可以对数据进行压缩以进行各种类型的传输，例如但不限于：通过因特网或以太网网络进行的长距离数据传输；或传输由图形处理单元(GPU)创建并传输到显示装置的合成多视图。这样的数据可以用于视频流传输，实时交互式游戏或任何其他光场显示。用于压缩光场传输的几种CODECS在本领域中是先前已知的。Olsson等教导了这样的压缩技术，其中处理整个光场数据集以减少冗余并产生压缩表示。使用标准视频编码技术将光场的子组件(即基本图像)视为视频序列，以利用冗余。Vetro等教导了压缩标准的多视图专业化，其利用光场子组件之间的冗余来实现更好的压缩率，但是以更密集的处理为代价。这些技术可能无法实现足够的压缩率，并且当达到良好的压缩率时，编码和解码过程将超出实时速率。这些方法假定整个光场在被编码之前存在于存储磁盘或存储器中。因此，当需要从存储介质读取时，需要大量像素的大型光场显示器引入了过多的等待时间。为了克服实时传送多维内容的硬件限制，已知各种方法和系统，但是，这些方法和系统存在其自身的局限性。美国专利第9727970号公开了一种分布式并行(多处理器)计算方法和装置，用于通过将3D图像数据分成数据组来生成全息图，并根据该数据组计算要显示在全息图平面上不同位置的全息图值，对每个位置的值求和以产生全息显示。作为一种专注于生成全息显示的公开内容，所采用的策略涉及在比光场小的尺度内进行精细操作，在这种情况下，其特征是根据颜色对数据进行排序和划分，然后是彩色图像平面，然后进一步将图像划分成子图像。美国专利公开第20170142427号描述了基于将多个基本图像(hogel)折叠为单个hogel的内容自适应光场压缩。本公开描述了实现保证的压缩率，但是，图像损失有所变化，并且在如所公开的组合霍格斯中，不能保证可以利用的冗余性。美国专利公开第20160360177号描述了用于利用深度信息进行全视差压缩光场合成的方法，并且涉及视图合成方法的应用，该方法用于从形成一组总的基本图像的子集的一组基本图像中创建光场。本文描述的视图合成技术没有描述或给出用于处理在向后翘曲期间引起的重构伪像的方法。美国专利公开第20150201176号描述了用于全视差压缩光场3D成像系统的方法，该系统公开了基于被捕获的场景中的对象的距离对光场中的基本图像进行子采样。尽管这些方法描述了使用可以提高编码速度的简单条件对光场进行下采样的可能性，但在更坏的情况下，存在3D场景，其中不会发生下采样并且编码将归结为依赖于在编码之前要存在整个光场的变换编码技术。仍然需要增加的数据传输能力，改进的数据编码器-解码器(CODEC)，以及同时实现用于将多维内容实时传递到光场显示器的改进的数据传输和CODEC能力的方法。专利技术概述本专利技术总体上涉及用于实时驱动光场显示器的3D图像数据编码和解码，其克服了当前的硬件限制或可以在当前的硬件限制下实现。本公开的目的是提供具有减小的系统传输等待时间和高带宽速率的CODEC，以在光场显示器上以良好的分辨率实时地产生光场，以供应用于视频流传输和实时互动游戏中。光场或3D场景数据被解构为图层(对应于分层的光场)，进行采样和渲染以压缩数据以进行传输，然后在光场显示器上进行解码以构造和合并与数据层相对应的光场。根据一个方面，提供了计算机实现的方法，包括以下步骤：i.从源接收包括光场数据或场景的3D描述的数据集；ii.将所述数据集划分为多个数据层，每个数据层包括基本图像内容；以及iii.采样并渲染所述多个数据层中的每个数据层，以对与每个数据层相对应的光场进行编码，并产生对一组光场进行编码的一组压缩数据。在该方法的一个实施方案中，根据分层方案来实现将所述数据集划分为多个数据层，以促进将所述一组光场编码为布置成使得每个光场的深度随着所述光场与显示表面之间的距离的增加而增加的光场分布。在相关的实施方案中，每个光场的深度呈指数增加。在该方法的另一实施方案中，根据一个或多个全光采样方案来实现对所述多个数据层中的每个数据层的采样，所述全光采样方案为与每个数据层相对应的每个光场指定从每个数据层的基本图像内容中采样的参考基本图像。在该方法的又一个实施方案中，通过应用被选择以高效地编码与所述数据层相对应的光场的渲染技术来执行数据层的渲染。在相关实施方案中，选择的渲染技术可以是透视渲染、倾斜渲染或光线投射技术。在一个实施方案中，该方法还包括以下步骤：将可变分数位表示分配给所述多个数据层中的每个数据层，以优化所述数据集的压缩。在又一个实施方案中，该方法还包括以下步骤：发送和解码所述一组压缩数据以构造所述一组光场。在一个相关的实施方案中，使用2D显示电缆执行发送压缩数据的步骤。在该方法的另一相关实施方案中，通过对被采样并渲染以对与每个数据层相对应的光场进行编码的每个数据层执行视图合成协议，来实现对所述一组压缩数据进行解码的步骤。在其他相关实施方案中，每个视图合成协议包括用于从用于构造与每个数据层相对应的光场的参考基本图像对像素阵列进行多级重构的指令。像素阵列的多级重构在第一级通过列解码执行，并且在第二级通过行解码执行，或者可替换地，在第一级通过行解码执行，并且在第二级通过列解码执行。在该方法的又一实施方案中，通过应用边缘自适应内插来执行一个或多个所述视图合成协议以优化所述像素阵列的重构。在一个实施方案中，该方法还包括将一组光场中的光场合并以在显示器上产生显示光场的步骤。为了产生显示光场，该组压缩数据用于产生显示光场的核心编码表示。在相关实施方案中，方法还包括编码和压缩显示光场的残差编码表示的步骤。一组光场的核心和残差编码表示可用于产生显示光场。在说明性实施方案中，显示光场表示显示器的视锥体积，或者表示显示器的内部视锥和外部视锥。根据另一方面，提供了一种计算机实现的系统，包括：数据集的源，该数据集包括光场数据或场景的3D描述；与所述源通信的编码器，包括一个或多个处理器，所述处理器配置为：i.从所述源接收的数据集划分为多个数据层，每个数据层包括基本图像内容；以及ii.采样并渲染所述多个数据层中的每个数据层，以对与每个数据层相对应的光场进行编码，并产生对一组光场进行编码的一组压缩数据；用于将所述一组压缩数本文档来自技高网...

【技术保护点】
1.计算机实现的方法，包括以下步骤：/ni.从源接收包括光场数据或场景的3D描述的数据集；/nii.将所述数据集划分为多个数据层，每个数据层包括基本图像内容；以及/niii.采样并渲染所述多个数据层中的每个数据层，以对与每个数据层相对应的光场进行编码，并产生对一组光场进行编码的一组压缩数据。/n

【技术特征摘要】
【国外来华专利技术】20170823 US 15/683,9921.计算机实现的方法，包括以下步骤：
i.从源接收包括光场数据或场景的3D描述的数据集；
ii.将所述数据集划分为多个数据层，每个数据层包括基本图像内容；以及
iii.采样并渲染所述多个数据层中的每个数据层，以对与每个数据层相对应的光场进行编码，并产生对一组光场进行编码的一组压缩数据。


2.根据权利要求1所述的计算机实现的方法，其中，根据分层方案来实现将所述数据集划分为多个数据层，以促进将所述一组光场编码为布置成使得每个光场的深度随着所述光场与显示表面之间的距离的增加而增加的光场分布。


3.根据权利要求2所述的计算机实现的方法，其中，每个光场的深度呈指数增加。


4.根据权利要求1所述的计算机实现的方法，其中，根据一个或多个全光采样方案来实现对所述多个数据层中的每个数据层的采样，所述全光采样方案为与每个数据层相对应的每个光场指定从每个数据层的基本图像内容中采样的参考基本图像。


5.根据权利要求1所述的计算机实现的方法，其中，通过应用被选择以高效地编码与所述数据层相对应的光场的渲染技术来执行数据层的渲染。


6.根据权利要求5所述的计算机实现的方法，其中，所选择的渲染技术是透视渲染或倾斜渲染，基于所述技术将使用最少数量的绘制调用。


7.根据权利要求6所述的计算机实现的方法，其中，所选择的渲染技术是光线投射。


8.根据权利要求1所述的计算机实现的方法，还包括以下步骤：将可变分数位表示分配给所述多个数据层中的每个数据层，以优化所述数据集的压缩。


9.根据权利要求1所述的计算机实现的方法，还包括以下步骤：发送和解码所述一组压缩数据以构造所述一组光场。


10.根据权利要求9所述的计算机实现的方法，其中，使用2D显示电缆来执行发送所述压缩数据的步骤。


11.根据权利要求9所述的计算机实现的方法，其中，通过对被采样并渲染以对与每个数据层相对应的光场进行编码的每个数据层执行视图合成协议，来实现对所述一组压缩数据进行解码的步骤。


12.根据权利要求11所述的计算机实现的方法，其中，每个视图合成协议包括用于从用于构造与每个数据层相对应的光场的参考基本图像对像素阵列进行多级重构的指令。


13.根据权利要求12所述的计算机实现的方法，其中，在第一级中通过列解码而在第二级中通过行解码来执行所述像素阵列的多级重构。


14.根据权利要求12所述的计算机实现的方法，其中，在第一级通过行解码而在第二级通过列解码来执行所述像素阵列的多级重构。


15.根据权利要求11所述的计算机实现的方法，其中，通过应用边缘自适应内插来执行一个或多个所述视图合成协议以优化所述像素阵列的重构。


16.根据权利要求9所述的计算机实现的方法，还包括以下步骤：合并所述一组光场中的光场，以在显示器处产生显示光场。


17.根据权利要求16所述的计算机实现的方法，其中，所述一组压缩数据用于产生所述显示光场的核心编码表示。


18.根据权利要求16所述的计算机实现的方法，还包括编码和压缩所述显示光场的残差编码表示的步骤。


19.根据权利要求18所述的计算机实施的方法，其中，所述一组光场的核心和残差编码表示用于产生所述显示光场。


20.根据权利要求16所述的计算机实现的方法，其中，所述显示光场表示所述显示器的视锥体积。


21.根据权利要求16所述的计算机实现的方法，其中，所述显示光场表示所述显示器的内部视锥体积和外部视锥体积。


22.计算机实现的系统，包括：
用于提供数据集的源，该数据集包括光场数据或场景的3D描述；
与所述源通信的编码器，包括一个或多个处理器，所述处理器配置为：
i.从所述源接收的数据集划分为多个数据层，每个数据层包括基本图像内容；以及
ii.采样并渲染所述多个数据层中的每个数据层，以对与每个数据层相对应的光场进行编码，并产生对一组光场进行编码的一组压缩数据；
用于将所述一组压缩数据从所述编码器传输到解码器的装置；以及
解码器，包括一个或多个处理器，所述处理器被配置为对所述一组压缩数据进行解码以构造一组光场。


23.根据权利要求22所述的计算机实现的系统，其中，所述编码器的一个或多个处理器通过实现分层方案将所述数据集划分为多个数据层，以促进将所述一组光场编码为布置成使得每个光场的深度随着所述光场与显示表面之间的距离的增加而增加的光场分布。


24.根据权利要求23所述的计算机实现的系统，其中，每个光场的深度呈指数增加。


25.根据权利要求22所述的计算机实现的系统，其中，所述编码器的一个或多个处理器通过实现一个或多个全光采样方案来对所述多个数据层中的每个数据层进行采样，所述全光采样方案为对应于每个数据层的每个光场指定从每个数据层的基本图像内容中采样的参考基本图像。


26.根据权利要求22所述的计算机实现的系统，其中，所述编码器的一个或多个处理器通过执行被选择为高效地编码与所述数据层相对应的光场的渲染技术来渲染每个数据层。


27.根据权利要求26所述的计算机实现的系统，其中，所选择的渲染技术是透视渲染或倾斜渲染，基于所述技术将使用最少数量的绘制调用。


28.根据权利要求27所述的计算机实现的系统，其中，所选择的渲染技术是光线投射。


29.根据权利要求22所述的计算机实现的系统，其中，所述编码器的一个或多个处理器还被配置为：将可变的分数位表示分配给所述多个数据层中的每个数据层，以优化所述数据集的压缩。


30.根据权利要求22所述的计算机实现的系统，其中，所述传输装置是2D显示电缆。


31.根据权利要求22所述的计算机实现的系统，其中，所述解码器的一个或多个处理器通过对被采样并渲染以对与每个数据层相对应的光场进行编码的每个数据层执行视图合成协议来实现对所述一组压缩数据的解码。


32.根据权利要求31所述的计算机实现的系统，其中，每个视图合成协议包括用于从用于构造与每个数据层相对应的光场的参考基本图像对像素阵列进行多级重构的指令。


33.根据权利要求32所述的计算机实现的系统，其中，在第一级中通过列解码而在第二级中通过行解码来执行所述像素阵列的多级重构。


34.根据权利要求32所述的计算机实现的系统，其中，在第一级通过行解码而在第二级通过列解码来执行所述像素阵列的多级重构。


35.根据权利要求31所述的计算机实现的系统，其中，通过应用边缘自适应内插来执行一个或多个所述视图合成协议以优化所述像素阵列的重构。


36.根据权利要求22所述的计算机实现的系统，其中，所述解码器的一个或多个处理器还被配置为合并所述一组光场中的光场，以在显示器处产生显示光场。


37.根据权利要求36所述的计算机实现的系统，其中，所述一组压缩数据用于产生所述显示光场的核心编码表示。


38.根据权利要求36所述的计算机实现的系统，其中，所述编码器的一个或多个处理器还被配置为对所述显示光场的残差编码表示进行编码和压缩。


39.根据权利要求38所述的计算机实现的系统，其中，所述解码器的一个或多个处理器使用所述一组光场的核心和残差编码表示来产生所述显示光场。


40.根据权利要求36所述的计算机实现的系统，其中，所述显示光场表示所述显示器的视锥体积。


41.根据权利要求36所述的计算机实现的系统，其中，所述显示光场表示所述显示器的内部视锥体积和外部视锥体积。


42.计算机实现的系统，包括一个或多个处理器和一个或多个存...

【专利技术属性】
技术研发人员：C·朗博尔特，D·班诺特，M·特罗克，R·洛克伊尔，M·哈密尔顿，
申请(专利权)人：阿瓦龙全息照相技术股份公司，
类型：发明
国别省市：加拿大;CA