【技术实现步骤摘要】
【国外来华专利技术】分层场景分解编解码系统及方法
本公开涉及图像(光场)数据编码和解码，包括用于在光场显示器处提供交互式多维内容的数据压缩和解压缩系统及方法。
技术介绍
自动立体、高角度分辨率、宽视野(FOV)、多视图显示器为用户提供了改善的视觉体验。可以通过3DTuring测试(由Banks等人描述)的三维显示器将需要光场表示来代替由现有标准显示器投影的二维图像。现实的光场表示需要大量带宽才能传输显示数据，该显示数据将至少包含数万亿像素的数据。这些带宽需求当前超过了本领域先前已知技术所提供的带宽能力。即将到来的消费视频标准是8K超高清(UHD)，每个显示器只能提供33.1兆像素的数据。压缩数据以进行传输在本领域中是先前已知的。可以对数据进行压缩以进行各种类型的传输，例如但不限于：通过因特网或以太网网络进行的长距离数据传输；或传输由图形处理单元(GPU)创建并传输到显示装置的合成多视图。这样的数据可以用于视频流传输，实时交互式游戏或任何其他光场显示。用于压缩光场传输的几种CODECS在本领域中是先前已知的。Olsson等教导了这...
【技术保护点】
1.计算机实现的方法，包括以下步骤：/ni.从源接收包括光场数据或场景的3D描述的数据集；/nii.将所述数据集划分为多个数据层，每个数据层包括基本图像内容；以及/niii.采样并渲染所述多个数据层中的每个数据层，以对与每个数据层相对应的光场进行编码，并产生对一组光场进行编码的一组压缩数据。/n
【技术特征摘要】
【国外来华专利技术】20170823 US 15/683,9921.计算机实现的方法，包括以下步骤：
i.从源接收包括光场数据或场景的3D描述的数据集；
ii.将所述数据集划分为多个数据层，每个数据层包括基本图像内容；以及
iii.采样并渲染所述多个数据层中的每个数据层，以对与每个数据层相对应的光场进行编码，并产生对一组光场进行编码的一组压缩数据。
2.根据权利要求1所述的计算机实现的方法，其中，根据分层方案来实现将所述数据集划分为多个数据层，以促进将所述一组光场编码为布置成使得每个光场的深度随着所述光场与显示表面之间的距离的增加而增加的光场分布。
3.根据权利要求2所述的计算机实现的方法，其中，每个光场的深度呈指数增加。
4.根据权利要求1所述的计算机实现的方法，其中，根据一个或多个全光采样方案来实现对所述多个数据层中的每个数据层的采样，所述全光采样方案为与每个数据层相对应的每个光场指定从每个数据层的基本图像内容中采样的参考基本图像。
5.根据权利要求1所述的计算机实现的方法，其中，通过应用被选择以高效地编码与所述数据层相对应的光场的渲染技术来执行数据层的渲染。
6.根据权利要求5所述的计算机实现的方法，其中，所选择的渲染技术是透视渲染或倾斜渲染，基于所述技术将使用最少数量的绘制调用。
7.根据权利要求6所述的计算机实现的方法，其中，所选择的渲染技术是光线投射。
8.根据权利要求1所述的计算机实现的方法，还包括以下步骤：将可变分数位表示分配给所述多个数据层中的每个数据层，以优化所述数据集的压缩。
9.根据权利要求1所述的计算机实现的方法，还包括以下步骤：发送和解码所述一组压缩数据以构造所述一组光场。
10.根据权利要求9所述的计算机实现的方法，其中，使用2D显示电缆来执行发送所述压缩数据的步骤。
11.根据权利要求9所述的计算机实现的方法，其中，通过对被采样并渲染以对与每个数据层相对应的光场进行编码的每个数据层执行视图合成协议，来实现对所述一组压缩数据进行解码的步骤。
12.根据权利要求11所述的计算机实现的方法，其中，每个视图合成协议包括用于从用于构造与每个数据层相对应的光场的参考基本图像对像素阵列进行多级重构的指令。
13.根据权利要求12所述的计算机实现的方法，其中，在第一级中通过列解码而在第二级中通过行解码来执行所述像素阵列的多级重构。
14.根据权利要求12所述的计算机实现的方法，其中，在第一级通过行解码而在第二级通过列解码来执行所述像素阵列的多级重构。
15.根据权利要求11所述的计算机实现的方法，其中，通过应用边缘自适应内插来执行一个或多个所述视图合成协议以优化所述像素阵列的重构。
16.根据权利要求9所述的计算机实现的方法，还包括以下步骤：合并所述一组光场中的光场，以在显示器处产生显示光场。
17.根据权利要求16所述的计算机实现的方法，其中，所述一组压缩数据用于产生所述显示光场的核心编码表示。
18.根据权利要求16所述的计算机实现的方法，还包括编码和压缩所述显示光场的残差编码表示的步骤。
19.根据权利要求18所述的计算机实施的方法，其中，所述一组光场的核心和残差编码表示用于产生所述显示光场。
20.根据权利要求16所述的计算机实现的方法，其中，所述显示光场表示所述显示器的视锥体积。
21.根据权利要求16所述的计算机实现的方法，其中，所述显示光场表示所述显示器的内部视锥体积和外部视锥体积。
22.计算机实现的系统，包括：
用于提供数据集的源，该数据集包括光场数据或场景的3D描述；
与所述源通信的编码器，包括一个或多个处理器，所述处理器配置为：
i.从所述源接收的数据集划分为多个数据层，每个数据层包括基本图像内容；以及
ii.采样并渲染所述多个数据层中的每个数据层，以对与每个数据层相对应的光场进行编码，并产生对一组光场进行编码的一组压缩数据；
用于将所述一组压缩数据从所述编码器传输到解码器的装置；以及
解码器，包括一个或多个处理器，所述处理器被配置为对所述一组压缩数据进行解码以构造一组光场。
23.根据权利要求22所述的计算机实现的系统，其中，所述编码器的一个或多个处理器通过实现分层方案将所述数据集划分为多个数据层，以促进将所述一组光场编码为布置成使得每个光场的深度随着所述光场与显示表面之间的距离的增加而增加的光场分布。
24.根据权利要求23所述的计算机实现的系统，其中，每个光场的深度呈指数增加。
25.根据权利要求22所述的计算机实现的系统，其中，所述编码器的一个或多个处理器通过实现一个或多个全光采样方案来对所述多个数据层中的每个数据层进行采样，所述全光采样方案为对应于每个数据层的每个光场指定从每个数据层的基本图像内容中采样的参考基本图像。
26.根据权利要求22所述的计算机实现的系统，其中，所述编码器的一个或多个处理器通过执行被选择为高效地编码与所述数据层相对应的光场的渲染技术来渲染每个数据层。
27.根据权利要求26所述的计算机实现的系统，其中，所选择的渲染技术是透视渲染或倾斜渲染，基于所述技术将使用最少数量的绘制调用。
28.根据权利要求27所述的计算机实现的系统，其中，所选择的渲染技术是光线投射。
29.根据权利要求22所述的计算机实现的系统，其中，所述编码器的一个或多个处理器还被配置为：将可变的分数位表示分配给所述多个数据层中的每个数据层，以优化所述数据集的压缩。
30.根据权利要求22所述的计算机实现的系统，其中，所述传输装置是2D显示电缆。
31.根据权利要求22所述的计算机实现的系统，其中，所述解码器的一个或多个处理器通过对被采样并渲染以对与每个数据层相对应的光场进行编码的每个数据层执行视图合成协议来实现对所述一组压缩数据的解码。
32.根据权利要求31所述的计算机实现的系统，其中，每个视图合成协议包括用于从用于构造与每个数据层相对应的光场的参考基本图像对像素阵列进行多级重构的指令。
33.根据权利要求32所述的计算机实现的系统，其中，在第一级中通过列解码而在第二级中通过行解码来执行所述像素阵列的多级重构。
34.根据权利要求32所述的计算机实现的系统，其中，在第一级通过行解码而在第二级通过列解码来执行所述像素阵列的多级重构。
35.根据权利要求31所述的计算机实现的系统，其中，通过应用边缘自适应内插来执行一个或多个所述视图合成协议以优化所述像素阵列的重构。
36.根据权利要求22所述的计算机实现的系统，其中，所述解码器的一个或多个处理器还被配置为合并所述一组光场中的光场，以在显示器处产生显示光场。
37.根据权利要求36所述的计算机实现的系统，其中，所述一组压缩数据用于产生所述显示光场的核心编码表示。
38.根据权利要求36所述的计算机实现的系统，其中，所述编码器的一个或多个处理器还被配置为对所述显示光场的残差编码表示进行编码和压缩。
39.根据权利要求38所述的计算机实现的系统，其中，所述解码器的一个或多个处理器使用所述一组光场的核心和残差编码表示来产生所述显示光场。
40.根据权利要求36所述的计算机实现的系统，其中，所述显示光场表示所述显示器的视锥体积。
41.根据权利要求36所述的计算机实现的系统，其中，所述显示光场表示所述显示器的内部视锥体积和外部视锥体积。
42.计算机实现的系统，包括一个或多个处理器和一个或多个存...
【专利技术属性】
技术研发人员：C·朗博尔特，D·班诺特，M·特罗克，R·洛克伊尔，M·哈密尔顿，
申请(专利权)人：阿瓦龙全息照相技术股份公司，
类型：发明
国别省市：加拿大;CA
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。