【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及多视图(multi-view)图像和视频处理领域。具体而言，本专利技术涉及对多视图图像帧数据的处理和渲染，并且涉及生成多视图元数据和对多视图元数据进行解码。
技术介绍
1、包括深度图(depth map)的当前多视图沉浸式(immersive)视频格式(format)通常假定深度图与物理或虚拟相机相关联，而纹理(texture)信息对于物理或虚拟相机也是可用的。多视图视频编码(encoding)算法和在客户端处进行渲染两者均使用这种假定。
2、共同定位(co-locating)纹理图(texture map)和深度图的历史性选择的可能原因是产生每图像像素坐标的深度值的多视图深度估测程序。
3、然而，近距离(close-range)或室内设置受益于基于飞行时间(time-of-flight)或结构光(structured light)的高质量深度传感器。当彩色相机与这些深度传感器组合时，产生混合传感器配置。因此，需要改进对来自混合传感器的多视图图像帧数据的编码和解码。
4、ep 2777267a2公开了生成深度图估测并且持续将其更新的方法，从而使得与无法访问深度图估测的情况相比，能够以更有效的方式执行使视图间(inter-view)冗余缩减的相依的各种方法。
5、us2019/139296a1公开了一种用于选择多视图图像的采样视图的方法。
6、wo 2009/111007a1提出了一个使用虚拟视图作为参考视图的框架。
技术实现思路
1、本专利技术由权利要求书限定。
2、根据本专利技术的一个方面的示例，提供了一种用于传输多视图图像帧数据的方法，所述方法包括：
3、获取由多个传感器生成的表示场景的多视图分量，其中，每个多视图分量对应于一个传感器，并且所述多视图分量中的至少一个包括深度分量，且所述多视图分量中的至少一个不包括深度分量；
4、获取每个传感器在虚拟场景中的虚拟传感器姿态，其中，所述虚拟场景是所述场景的虚拟表示，并且所述虚拟传感器姿态是所述传感器在生成相应的多视图分量时在所述场景中的姿态的虚拟表示；
5、针对所述多视图分量生成传感器参数元数据，其中：
6、所述传感器参数元数据包含所述多视图分量的外部参数，以及
7、所述外部参数至少包含用于相应的多视图分量中的每个的传感器的虚拟传感器姿态，从而使得能通过将所述深度分量基于其相应的虚拟传感器姿态和在所述虚拟场景中的目标位置扭曲来生成额外的深度分量；以及
8、传输所述多视图分量和所述传感器参数元数据。
9、传统地，多视图分量通常包括深度图(即，深度分量)和相应的场景纹理图像。在对多视图分量进行渲染期间，通常假定深度图与物理或虚拟相机相关联，而物理或虚拟相机也具有相关的纹理图像。因此，渲染算法可以利用这种假定来对多视图图像帧进行渲染。
10、然而，在一些情况下，使用位于场景中不同位置处的相机传感器和深度传感器会更具优势。可选择地或额外地，减少传输到客户端设备的深度图的数量也会是有利的。因此，本专利技术人提出在多视图图像帧数据的元数据中包括用于获取多视图分量(例如，纹理图像和深度图)的传感器(例如，相机和深度传感器)的外部参数。根据本方法的实施例，与包括深度分量的至少一个多视图分量相关联的第一传感器和与不包括深度分量的至少一个多视图分量相关联的第二传感器具有不同的姿态。因此，这些多视图分量的外部参数是不同的。
11、外部参数(包括传感器在场景中的姿态)使渲染算法得知每个多视图分量是从哪里获取的，从而能够将深度图扭曲到不同的目标位置。
12、在用于多视图图像帧数据的元数据中包括外部参数的优势在于，可以减少比特流中的数据量。这是因为外部参数使得能生成额外的深度分量。
13、例如，如果针对特定场景给定了三个纹理图像和三个深度图(例如，通过视差估计(disparity estimation)生成)，则可以仅在比特流中包括其中两个深度图，因为第三个深度图能够通过对其它两个深度图中的一个或两个进行扭曲来生成。
14、在第二示例中，两个彩色相机可以获得没有深度分量的两个纹理图像，并且深度传感器可以获得深度图。由于彩色相机和深度传感器的外部参数被包括在元数据中，因此深度图可以在客户端处(即，在进行解码之后)映射到纹理图像，而不必在编码和传输之前将深度图映射到每个纹理图像。
15、外部参数也可被称为外参数或相机姿态。虚拟传感器姿态可以包含传感器在虚拟场景中的位置和定向。
16、例如，目标位置可以是与不包括深度分量的多视图分量相对应的位置，或者可以是由观看者指定的目标视点(targetviewpoint)。
17、在一些示例中，传感器的不同姿态可以部分地相同。例如，传感器的一些或全部定向可以是相同的。如果传感器的一些或全部位置是相同的，则所有角度汇聚到单个点，并且扭曲可以是“全景重采样(panoramic resampling)”。
18、多视图分量可以包括以下项中的一个或多个：场景的纹理图像；场景的深度图；场景的红外图像；场景的光投影图像；以及场景的虚拟图像。
19、在一些示例中，深度图是多视图分量的深度分量。然而，深度分量是由给多视图分量提供深度信息的数据定义的，因此其不一定是深度图。例如，标量值(scalarvalue)、3d网格或红外图像可以定义多视图分量的深度分量。
20、在其它示例中，多视图分量仅是深度图。
21、多视图分量中的至少一个可以由单个深度分量构成。与所述深度分量相对应的虚拟传感器姿态可以不同于与任何其它多视图分量相对应的虚拟传感器姿态。
22、第一传感器的虚拟传感器姿态可以被相对于参考传感器的虚拟传感器姿态定义。例如，如果一个传感器被标记为“参考传感器”，则其它传感器的所有姿态都可以被相对于该参考传感器定义。这避免了在虚拟场景中定义任意参考点的需要，同时确保所有传感器的姿态都是相关于彼此已知的。
23、该方法还可以包括将与相同或部分相同的外部参数相对应的多视图分量聚集成组。
24、例如，从位于同一位置处的一组传感器获取的所有多视图分量(以及由此生成的任何多视图分量)都可以被归组到一起，因为其具有相同的外部参数。因此，外部参数仅需要在元数据中指定一次。
25、传感器参数元数据还可以包含多视图分量的内部参数，其中，内部参数包含以下项中的一个或多个：
26、用于生成多视图分量的传感器的类型；
27、用于生成多视图分量的传感器的模式(model)；
28、用于生成多视图分量的传感器的光学特性，其中，所述光学参数包括焦距、图像传感器格式、主点和失真参数中的一个或多个；以及
29、用于生成多视图分量的传感器的操作参数。
30、该方法还可以包括将对应于相同或部分相同的内部参数的多视图本文档来自技高网...
【技术保护点】
1.一种用于传输多视图图像帧数据的方法，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述多视图分量(106、108)包括以下项中的一个或多个：
3.根据权利要求1或2中任一项的方法，其特征在于，所述多视图分量(106、108)中的至少一个仅由所述深度分量(108)构成，其中，与所述深度分量相对应的虚拟传感器姿态不同于与任何其它多视图分量相对应的虚拟传感器姿态。
4.根据权利要求1至3中任一项的方法，其特征在于，第一传感器的虚拟传感器姿态被相对于参考传感器的虚拟传感器姿态定义。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括将与相同或部分相同的外部参数(112)相对应的多视图分量(106、108)聚集成组。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述传感器参数元数据(110)还包含所述多视图分量(106、108)的内部参数(114)，并且所述内部参数(114)包含以下项中的一个或多个：
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述传感器参数元数据
8.一种用于解码多视图图像帧数据的方法，所述方法包括：
9.根据权利要求8所述的方法，其特征在于，生成额外的深度分量(120)包括将第一多视图分量的深度分量(108)扭曲到与第二多视图分量相对应的虚拟传感器姿态，或者将所述第一多视图分量的深度分量(108)扭曲到所述目标视点(306、406)，其中，所述第二多视图分量不包括深度分量(108)。
10.根据权利要求8所述的方法，其特征在于，第一多视图分量是深度图，并且第二多视图分量是纹理图像，其中，生成额外的深度分量包括：
11.根据权利要求8所述的方法，其特征在于，第一多视图分量是深度图，并且第二多视图分量是纹理图像，其中，生成额外的深度分量包括：
12.一种计算机程序产品，所述计算机程序产品包括计算机程序代码，所述计算机程序代码当在具有处理系统的计算设备上执行时使所述处理系统执行根据权利要求1至7中任一项所述的方法的所有步骤和/或根据权利要求8至11中任一项所述的方法的所有步骤。
13.一种包含描绘场景的经编码多视图图像帧数据的比特流，所述比特流包括：
14.一种用于传输多视图图像帧数据的系统，其中，所述系统包括处理器，所述处理器被配置成用于：
15.一种用于解码多视图图像帧数据的系统，所述系统包括处理器，所述处理器被配置成用于：
...【技术特征摘要】
【国外来华专利技术】
1.一种用于传输多视图图像帧数据的方法，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述多视图分量(106、108)包括以下项中的一个或多个：
3.根据权利要求1或2中任一项的方法，其特征在于，所述多视图分量(106、108)中的至少一个仅由所述深度分量(108)构成，其中，与所述深度分量相对应的虚拟传感器姿态不同于与任何其它多视图分量相对应的虚拟传感器姿态。
4.根据权利要求1至3中任一项的方法，其特征在于，第一传感器的虚拟传感器姿态被相对于参考传感器的虚拟传感器姿态定义。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括将与相同或部分相同的外部参数(112)相对应的多视图分量(106、108)聚集成组。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述传感器参数元数据(110)还包含所述多视图分量(106、108)的内部参数(114)，并且所述内部参数(114)包含以下项中的一个或多个：
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述传感器参数元数据(110)还包括指令，所述指令关于在对所述多视图图像帧数据进行渲染期间要将哪些多视图分量(106、108)彼此组合。
8.一种用于解码多视图图像帧数...
【专利技术属性】
技术研发人员：C·韦雷坎普，B·克龙，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。