多平面图像压缩制造技术

公开了实现多平面图像(MPI)压缩的示例方法、装置、系统和制造品(例如，物理存储介质)。本文公开的示例装置包括接口，来访问与源相机视点相对应的输入多平面图像堆栈，输入多平面图像堆栈包括多个纹理图像和相应的多个阿尔法图像，阿尔法图像中的各阿尔法图像包括代表纹理图像中的各个纹理图像中的相应像素的透明度的像素值。所公开的示例装置还包括压缩图像编码器，来进行以下各项中的至少一者：(i)将多个纹理图像转换成单个复合纹理图像以生成压缩多平面图像堆栈，或者(ii)将多个阿尔法图像转换成单个复合阿尔法图像以生成压缩多平面图像堆栈。在一些公开的示例中，接口输出压缩多平面图像堆栈。缩多平面图像堆栈。缩多平面图像堆栈。

【技术实现步骤摘要】
【国外来华专利技术】多平面图像压缩
[0001]相关申请
[0002]本专利要求获得2020年6月19日提交的标题为“COMPRESSION OF MULTIPLANE IMAGES FOR PARALLAX
‑
ENABLED VIDEO RENDERING”的美国临时申请63/041,589号的权益。要求美国临时申请63/041,589号的优先权。特此通过引用将美国临时申请63/041,589号全部并入在此。


[0003]本公开概括而言涉及图像压缩，更具体而言，涉及多平面图像压缩。

技术介绍

[0004]三维(3D)图像渲染技术有时使用多平面图像(multi
‑
plane image，MPI)，这些图像形成半透明图像平面的堆栈，以代表3D场景的不同深度。MPI堆栈的每个平面包括纹理图像和阿尔法(alpha)图像。纹理图像提供了纹理像素值(例如，红
‑
蓝
‑
绿，或者RBG值)，而阿尔法图像包括阿尔法像素值，这些阿尔法像素值指示出各个纹理像素的透明度。如果阿尔法值大，则纹理像素是不透明的，并且背景不能被看到。如果阿尔法值小，则纹理像素是透明的，并且背景可以被看到。在一些示例中，MPI堆栈在一个平台上被生成(例如，部署源相机的地方)，然后被传输到另一个平台(例如，目标/客户端平台)，在这个平台上，与期望的视点相对应地渲染3D图像。
附图说明
[0005]图1是示例MPI堆栈生成器的框图，用于从源图像生成MPI堆栈。
[0006]图2是示例MPI渲染器的框图，用于从一个或多个MPI堆栈渲染目标图像。
[0007]图3是示例视频编码和解码系统的框图，该系统包括图1的MPI堆栈生成器和图2的MPI渲染器。
[0008]图4是示例视频编码和解码系统的框图，该系统包括示例MPI堆栈编码器和示例MPI堆栈解码器，以根据本公开的教导实现MPI压缩。
[0009]图5是图4的MPI堆栈编码器的示例实现方式的框图。
[0010]图6是图4的MPI堆栈解码器的示例实现方式的框图。
[0011]图7图示了由图4和/或图5的MPI堆栈编码器执行的示例MPI纹理堆栈压缩操作。
[0012]图8图示了由图4和/或图6的MPI堆栈解码器执行的示例MPI纹理堆栈解压缩操作。
[0013]图9图示了由图4和/或图5的MPI堆栈编码器执行的示例MPI阿尔法堆栈压缩操作。
[0014]图10
‑
图14是代表了可被执行来实现图4和/或图5的MPI堆栈编码器的示例计算机可读指令的流程图。
[0015]图15
‑
图17是代表了可被执行来实现图4和/或图6的MPI堆栈解码器的示例计算机可读指令的流程图。
[0016]图18图示了由图4的示例视频编码和解码系统执行的示例过程，用来使用单个复
合阿尔法图像和单个复合纹理图像渲染目标图像。
[0017]图19是被构造来执行图10
‑
图14的示例机器可读指令以实现图4和/或图5的MPI堆栈编码器的示例处理器平台的框图。
[0018]图20是被构造来执行图15
‑
图17的示例机器可读指令以实现图4和/或图6的MPI堆栈解码器的示例处理器平台的框图。
[0019]图21是示例软件分发平台的框图，该示例软件分发平台用于将软件(例如，与图10
‑
图17的示例计算机可读指令相对应的软件)分发到客户端设备，例如消费者(例如，用于许可、销售和/或使用)、零售商(例如，用于销售、再销售、许可和/或分许可)、和/或原始设备制造商(OEM)(例如，用于包括在要被分发到例如零售商和/或直接购买客户的产品中)。
[0020]附图不是按比例的。一般而言，相同的标号将在各幅图和伴随的书面描述的各处被用于指代相同或相似的部件、元素，等等。如本文所使用的，提及连接(例如，附接、耦合、连接、以及接合)可包括由该连接提及所提及的元素之间的中间构件和/或这些元素之间的相对运动，除非另有指示。因此，提及连接不一定推理出两个元素是直接连接的和/或彼此之间有固定关系。如本文所使用的，叙述任何部件与另一部件“接触”，被定义为意指在这两个部件之间没有中间部件。
[0021]除非另有具体声明，否则本文使用诸如“第一”、“第二”、“第三”等等之类的描述语，而不输入或以其他方式指示出任何优先权、物理顺序、在列表中的排列和/或以任何方式排序的含义，而只是用作标签和/或任意名称来区分元素，以便易于理解所公开的示例。在一些示例中，描述语“第一”在详细描述中可用于提及某一元素，而同一元素在权利要求中可以用不同的描述语来提及，例如“第二”或“第三”。在这种情况下，应当理解，这种描述语仅仅用于明确地识别那些元素，这些元素例如可能在其他情况下共享同一名称。如本文所使用的，“大致”和“大约”指的是由于制造容差和/或其他现实世界不完美而可能不确切的尺寸。如本文所使用的，“基本上实时”指的是以近乎瞬时的方式发生，承认现实世界中可能存在计算时间、传输等等方面的延迟。从而，除非另有指明，否则“基本上实时”指的是实时+/
‑
1秒。
具体实施方式
[0022]公开了实现多平面图像(MPI)压缩的示例方法、装置、系统和制造品(例如，物理存储介质)。一般而言，MPI系统使用机器学习来创建场景的体积表示，作为半透明图像或平面的堆叠，其中包含从原始相机视图得出的纹理。当这些平面被堆叠在彼此之上时，原始的相机视图就被恢复了。这些堆栈可以用来渲染从新的视点将会可见的场景，其视觉质量超过了许多其他视点内插技术。
[0023]如上所述，MPI堆栈包括纹理图像的堆栈(本文也称为纹理图像平面或者纹理平面)以及阿尔法图像的堆栈(本文也称为阿尔法图像平面或者阿尔法平面)。纹理图像和阿尔法图像共同代表了源相机视图的不同深度。给定深度的纹理图像提供了纹理像素值(例如，红
‑
蓝
‑
绿，或者RBG值)，而阿尔法图像包括阿尔法像素值，这些阿尔法像素值指示出各个纹理像素的透明度，其中阿尔法值增大表示不透明度增大(或者透明度减小)，并且阿尔法值减小表示不透明度减小(或者透明度增大)。在一些示例中，MPI堆栈在源平台上被生成(例如，部署相机的地方)，然后被传输到目标平台(例如，客户端平台)，在这个平台上，与期
望的视点相对应地渲染3D图像。
[0024]本文公开的示例MPI压缩技术减小了将被传送到目标平台进行图像渲染的MPI数据的量，同时维持了渲染的图像的质量。因此，相对于其他(例如，传统)技术所要求的传输带宽而言，本文公开的示例MPI压缩技术允许了向目标或渲染节点进行更低带宽的传输。从而，所公开的示例MPI压缩技术可以使得能够在资源受约束的平台上执行虚拟现实和沉浸式媒体应用，但也可以被用于任意数目的图像处理系统和应用中。
[0025]在一些示例中，所公开的示例MPI本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种对多平面图像堆栈进行压缩的装置，该装置包括：接口，用于访问与源相机视点相对应的输入多平面图像堆栈，所述输入多平面图像堆栈包括多个纹理图像和相应的多个阿尔法图像，所述阿尔法图像中的各阿尔法图像包括代表所述纹理图像中的各个纹理图像中的相应像素的透明度的像素值；以及压缩图像编码器，用于进行以下各项中的至少一者：(i)将所述多个纹理图像转换成单个复合纹理图像以生成压缩多平面图像堆栈，或者(ii)将所述多个阿尔法图像转换成单个复合阿尔法图像以生成所述压缩多平面图像堆栈，所述接口用于输出所述压缩多平面图像堆栈。2.如权利要求1所述的装置，其中，所述压缩图像编码器用于基于所述多个阿尔法图像来组合所述多个纹理图像以将所述多个纹理图像转换成所述单个复合纹理图像。3.如权利要求2所述的装置，其中，为了基于所述多个阿尔法图像来组合所述多个纹理图像，所述压缩图像编码器用于按照与所述纹理图像中的各纹理图像相对应的所述阿尔法图像中的各个阿尔法图像的像素值来对所述纹理图像中的各纹理图像的像素值进行加权以确定多个阿尔法加权纹理图像。4.如权利要求3所述的装置，其中，为了基于所述多个阿尔法图像来组合所述多个纹理图像，所述压缩图像编码器用于对所述阿尔法加权纹理图像进行平均以确定所述单个复合纹理图像，所述单个复合纹理图像在所述单个复合纹理图像的各个像素位置处包括阿尔法加权像素值。5.如权利要求1所述的装置，其中，所述压缩图像编码器用于利用与对应于所述输入多平面图像堆栈的所述源相机视点相关联的源相机图像来替换所述多个纹理图像以将所述多个纹理图像转换成所述单个复合纹理图像。6.如权利要求1所述的装置，其中，为了将所述多个阿尔法图像转换成所述单个复合阿尔法图像，所述压缩图像编码器用于：识别与所述阿尔法图像中的第一阿尔法图像相对应的第一阿尔法平面索引值，在第一像素位置处，所述第一阿尔法图像在所述阿尔法图像之中具有最大阿尔法值；识别与所述阿尔法图像中的所述第一阿尔法图像的邻居阿尔法图像相对应的第一阿尔法平面索引值，在所述第一像素位置处，所述邻居阿尔法图像在所述阿尔法图像之中具有次大阿尔法值；为所述第一像素位置确定偏置值，所述偏置值是基于所述第一像素位置处的最大阿尔法值和次大阿尔法值的；并且组合所述第一阿尔法平面索引值和所述偏置值以确定复合阿尔法值来包括在所述第一像素位置处的所述单个复合阿尔法图像中。7.如权利要求1所述的装置，其中，为了将所述多个阿尔法图像转换成所述单个复合阿尔法图像，所述压缩图像编码器用于：识别与第一像素位置处的源相机深度图像的值相对应的阿尔法平面索引值，所述源相机深度图像与对应于所述输入多平面图像堆栈的所述源相机视点相关联；为所述第一像素位置确定偏置值，所述偏置值是基于所述第一像素位置的阿尔法平面索引值和所述第一像素位置处的源相机深度图像的；并且组合所述阿尔法平面索引值和所述偏置值以确定复合阿尔法值来包括在所述第一像
素位置处的所述单个复合阿尔法图像中。8.如权利要求1所述的装置，其中，所述压缩图像编码器用于(i)将所述多个纹理图像转换成所述单个复合纹理图像以生成所述压缩多平面图像堆栈，并且(ii)将所述多个阿尔法图像转换成所述单个复合阿尔法图像以生成所述压缩多平面图像堆栈。9.至少一个非暂态计算机可读介质，包括计算机可读指令，所述指令当被执行时，使得至少一个处理器至少执行以下操作：访问与源相机视点相对应的输入多平面图像堆栈，所述输入多平面图像堆栈包括多个纹理图像和相应的多个阿尔法图像，所述阿尔法图像中的各阿尔法图像包括代表所述纹理图像中的各个纹理图像中的相应像素的透明度的像素值；进行以下各项中的至少一者：(i)将所述多个纹理图像转换成单个复合纹理图像以生成压缩多平面图像堆栈，或者(ii)将所述多个阿尔法图像转换成单个复合阿尔法图像以生成所述压缩多平面图像堆栈；并且输出所述压缩多平面图像堆栈。10.如权利要求9所述的至少一个非暂态计算机可读介质，其中，所述指令使得所述至少一个处理器基于所述多个阿尔法图像来组合所述多个纹理图像以将所述多个纹理图像转换成所述单个复合纹理图像。11.如权利要求10所述的至少一个非暂态计算机可读介质，其中，为了基于所述多个阿尔法图像来组合所述多个纹理图像，所述指令使得所述至少一个处理器按照与所述纹理图像中的各纹理图像相对应的所述阿尔法图像中的各个阿尔法图像的像素值来对所述纹理图像中的各纹理图像的像素值进行加权以确定多个阿尔法加权纹理图像。12.如权利要求11所述的至少一个非暂态计算机可读介质，其中，为了基于所述多个阿尔法图像来组合所述多个纹理图像，所述指令使得所述至少一个处理器对所述阿尔法加权纹理图像进行平均以确定所述单个复合纹理图像，所述单个复合纹理图像在所述单个复合纹理图像的各个像素位置处包括阿尔法加权像素值。13.如权利要求9所述的至少一个非暂态计算机可读介质，其中，所述指令使得所述至少一个处理器利用与对应于所述输入多平面图像堆栈的所述源相机视点相关联的源相机图像来替换所述多个纹理图像以将所述多个纹理图像转换成所述单个复合纹理图像。14.如权利要求9所述的至少一个非暂态计算机可读介质，其中，为了将所述多个阿尔法图像转换成所述单个复合阿尔法图像，所述指令使得所述至少一个处理器执行以下操作：识别与所述阿尔法图像中的第一阿尔法图像相对应的第一阿尔法平面索引值，在第一像素位置处，所述第一阿尔法图像在所述阿尔法图像之中具有最大阿尔法值；识别与所述阿尔法图像中的所述第一阿尔法图像的邻居阿尔法图像相对应的第一阿尔法平面索引值，在所述第一像素位置处，所述邻居阿尔法图像在所述阿尔法图像之中具有次大阿尔法值；为所述第一像素位置确定偏置值，所述偏置值是基于所述第一像素位置处的最大阿尔法值和次大阿尔法值的；并且组合所述第一阿尔法平面索引值和所述偏置值以确定复合阿尔法值来包括在所述第一像素位置处的所述单个复合阿尔法图像中。
15.如权利要求9所述的至少一个非暂态计算机可读介质，其中，为了将所述多个阿尔法图像转换成所述单个复合阿尔法图像，所述指令使得所述至少一个处理器执行以下操作：识别与第一像素位置处的源相机深度图像的值相对应的阿尔法平面索引值，所述源相机深度图像与对应于所述输入多平面图像堆栈的所述源相机视点相关联；为所述第一像素位置确定偏置值，所述偏置值是基于所述第一像素位置的阿尔法平面索引值和所述第一像素位置处的源相机深度图像的；并且组合所述阿尔法平面索引值和所述偏置值以确定复合阿尔法值来包括在所述第一像素位置处的所述单个复合阿尔法图像中。16.如权利要求9所述的至少一个非暂态计算机可读介质，其中，所述指令使得所述至少一个处理器(i)将所述多个纹理图像转换成所述单个复合纹理图像以生成所述压缩多平面图像堆栈，并且(ii)将所述多个阿尔法图像转换成所述单个复合阿尔法图像以生成所述压缩多平面图像堆栈。17.一种对多平面图像堆栈进行压缩的方法，该方法包括：访问与源相机视点相对应的输入多平面图像堆栈，所述输入多平面图像堆栈包括多个纹理图像和相应的多个阿尔法图像，所述阿尔法图像中的各阿尔法图像包括代表所述纹理图像中的各个纹理图像中的相应像素的透明度的像素值；进行以下各项中的至少一者：(i)将所述多个纹理图像转换成单个复合纹理图像以生成压缩多平面图像堆栈，或者(ii)将所述多个阿尔法图像转换成单个复合阿尔法图像以生成所述压缩多平面图像堆栈；并且输出所述压缩多平面图像堆栈。18.如权利要求17所述的方法，其中，转换所述多个纹理图像包括基于所述多个阿尔法图像来组合所述多个纹理图像以将所述多个纹理图像转换成所述单个复合纹理图像。19.如权利要求18所述的方法，其中，组合所述多个纹理图像包括按照与所述纹理图像中的各纹理图像相对应的所述阿尔法图像中的各个阿尔法图像的像素值来对所述纹理图像中的各纹理图像的像素值进行加权以确定多个阿尔法加权纹理图像。20.如权利要求19所述的方法，其中，组合所述多个纹理图像包括对所述阿尔法加权纹理图像进行平均以确定所述单个复合纹理图像，所述单个复合纹理图像在所述单个复合纹理图像的各个像素位置处包括阿尔法加权像素值。21.如权利要求17所述的方法，其中，转换所述多个纹理图像包括利用与对应于所述输入多平面图像堆栈的所述源相机视点相关联的源相机图像来替换所述多个纹理图像以将所述多个纹理图像转换成所述单个复合纹理图像。22.如权利要求17所述的方法，其中，转换所述多个阿尔法图像包括：识别与所述阿尔法图像中的第一阿尔法图像相对应的第一阿尔法平面索引值，在第一像素位置处，所述第一阿尔法图像在所述阿尔法图像之中具有最大阿尔法值；识别与所述阿尔法图像中的所述第一阿尔法图像的邻居阿尔法图像相对应的第一阿尔法平面索引值，在所述第一像素位置处，所述邻居阿尔法图像在所述阿尔法图像之中具有次大阿尔法值；为所述第一像素位置确定偏置值，所述偏置值是基于所述第一像素位置处的最大阿尔
法值和次大阿尔法值的；并且组合所述第一阿尔法平面索引值和所述偏置值以确定复合阿尔法值来包括在所述第一像素位置处的所述单个复合阿尔法图像中。23.如权利要求17所述的方法，其中，转换所述多个阿尔法图像包括：识别与第一像素位置处的源相机深度图像的值相对应的阿尔法平面索引值，所述源相机深度图像与对应于所述输入多平面图像堆栈的所述源相机视点相关联；为所述第一像素位置确定偏置值，所述偏置值是基于所述第一像素位置的阿尔法平面索引值和所述第一像素位置处的源相机深度图像的；并且组合所述阿尔法平面索引值和所述偏置值以确定复合阿尔法值来包括在所述第一像素位置处的所述单个复合阿尔法图像中。24.如权利要求17所述的方法，其中，所述方法包括(i)将所述多个纹理图像转换成所述单个复合纹理图像以生成所述压缩多平面图像堆栈，并且(ii)将所述多个阿尔法图像转换成所述单个复合阿尔法图像以生成所述压缩多平面图像堆栈。25.一种对多平面图像堆栈进行压缩的装置，该装置包括：至少一个存储器；计算机可读指令；以及至少一个处理器，用于执行所述计算机可读指令以至少执行以下操作：访问与源相机视点相对应的输入多平面图像堆栈，所述输入多平面图像堆栈包括多个纹理图像和相应的多个阿尔法图像，所述阿尔法图像中的各阿尔法图像包括代表所述纹理图像中的各个纹理图像中的相应像素的透明度的像素值；进行以下各项中的至少一者：(i)将所述多个纹理图像转换成单个复合纹理图像以生成压缩多平面图像堆栈，或者(ii)将所述多个阿尔法图像转换成单个复合阿尔法图像以生成所述压缩多平面图像堆栈；并且输出所述压缩多平面图像堆栈。26.如权利要求25所述的装置，其中，所述至少一个处理器用于基于所述多个阿尔法图像来组合所述多个纹理图像以将所述多个纹理图像转换成所述单个复合纹理图像。27.如权利要求26所述的装置，其中，为了基于所述多个阿尔法图像来组合所述多个纹理图像，所述至少一个处理器用于按照与所述纹理图像中的各纹理图像相对应的所述阿尔法图像中的各个阿尔法图像的像素值来对所述纹理图像中的各纹理图像的像素值进行加权以确定多个阿尔法加权纹理图像。28.如权利要求27所述的装置，其中，为了基于所述多个阿尔法图像来组合所述多个纹理图像，所述至少一个处理器用于对所述阿尔法加权纹理图像进行平均以确定所述单个复合纹理图像，所述单个复合纹理图像在所述单个复合纹理图像的各个像素位置处包括阿尔法加权像素值。29.如权利要求25所述的装置，其中，所述至少一个处理器用于利用与对应于所述输入多平面图像堆栈的所述源相机视点相关联的源相机图像来替换所述多个纹理图像以将所述多个纹理图像转换成所述单个复合纹理图像。30.如权利要求25所述的装置，其中，为了将所述多个阿尔法图像转换成所述单个复合阿尔法图像，所述至少一个处理器用于：
识别与所述阿尔法图像中的第一阿尔法图像相对应的第一阿尔法平面索引值，在第一像素位置处，所述第一阿尔法图像在所述阿尔法图像之中具有最大阿尔法值；识别与所述阿尔法图像中的所述第一阿尔法图像的邻居阿尔法图像相对应的第一阿尔法平面索引值，在所述第一像素位置处，所述邻居阿尔法图像在所述阿尔法图像之中具有次大阿尔法值；为所述第一像素位置确定偏置值，所述偏置值是基于所述第一像素位置处的最大阿尔法值和次大阿尔法值的；并且组合所述第一阿尔法平面索引值和所述偏置值以确定复合阿尔法值来包括在所述第一像素位置处的所述单个复合阿尔法图像中。31.如权利要求25所述的装置，其中，为了将所述多个阿尔法图像转换成所述单个复合阿尔法图像，所述至少一个处理器用于：识别与第一像素位置处的源相机深度图像的值相对应的阿尔法平面索引值，所述源相机深度图像与对应于所述输入多平面图像堆栈的所述源相机视点相关联；为所述第一像素位置确定偏置值，所述偏置值是基于所述第一像素位置的阿尔法平面索引值和所述第一像素位置处的源相机深度图像的；并且组合所述阿尔法平面索引值和所述偏置值以确定复合阿尔法值来包括在所述第一像素位置处的所述单个复合阿尔法图像中。32.如权利要求25所述的装置，其中，所述至少一个处理器用于(i)将所述多个纹理图像转换成所述单个复合纹理图像以生成所述压缩多平面图像堆栈，并且(ii)将所述多个阿尔法图像转换成所述单个复合阿尔法图像以生成所述压缩多平面图像堆栈。33.一种对多平面图像堆栈进行压缩的装置，该装置包括：访问装置，用于访问与源相机视点相对应的输入多平面图像堆栈，所述输入多平面图像堆栈包括多个纹理图像和相应的多个阿尔法图像，所述阿尔法图像中的各阿尔法图像包括代表所述纹理图像中的各个纹理图像中的相应像素的透明度的像素值；以及编码装置，用于对所述输入多平面图像堆栈编码，所述编码装置用于进行以下各项中的至少一者：(i)将所述多个纹理图像转换成单个复合纹理图像以生成压缩多平面图像堆栈，或者(ii)将所述多个阿尔法图像转换成单个复合阿尔法图像以生成所述压缩多平面图像堆栈。34.如权利要求33所述的装置，其中，所述编码装置用于基于所述多个阿尔法图像来组合所述多个纹理图像以将所述多个纹理图像转换成所述单个复合纹理图像。35.如权利要求34所述的装置，其中，为了基于所述多个阿尔法图像来组合所述多个纹理图像，所述编码装置用于按照与所述...

【专利技术属性】
技术研发人员：斯科特，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：