多个彩色和深度流的空间自适应视频压缩制造技术

公开了多个彩色和深度流的空间自适应视频压缩。压缩彩色视频图像的技术包括基于深度图像表面法线与和彩色图像相关联的视图方向之间的相似性来计算彩色图像的差量量化参数(ΔQP)。例如，在接收到具有带有多个彩色图像和深度图像的图像的帧时，计算机寻找在定向上最接近彩色图像的深度图像。对于该深度图像的每个像素，计算机基于该深度图像的位置的法线的定向以及捕获到多个彩色图像的视点来生成混合权重。然后，计算机基于混合权重来生成ΔQP的值并确定与该位置相对应的彩色图像的宏块，该宏块与该像素的ΔQP的值相关联。该宏块与该像素的ΔQP的值相关联。该宏块与该像素的ΔQP的值相关联。

【技术实现步骤摘要】
多个彩色和深度流的空间自适应视频压缩
[0001]分案说明
[0002]本申请属于申请日为2020年7月10日的中国专利技术专利申请No.202010661466.1的分案申请。


[0003]此说明书涉及视频图像的压缩。

技术介绍

[0004]被配置成生成对象的彩色视频图像的一些计算机使用压缩方案通过网络传输彩色视频图像。技术问题是使用尽可能小的比特率通过网络传输对象的彩色视频图像。解决此技术问题的常规方法包括将差量(delta)量化参数(ΔQP)值与每个视频帧的相应宏块(例如，32X 32像素)相关联。以此方式，用户可以在帧的特定空间区域中选择性地增加或降低视频的质量。

技术实现思路

[0005]在一个总体方面，一种方法可以包括：接收(i)表示对象的多个深度图像的深度图像数据，所述多个深度图像中的每个是从相应视点捕获的对象的深度图像，和(ii)表示多个彩色图像的彩色图像数据，所述多个彩色图像中的每个(a)是从相应视点捕获的对象的彩色图像，并且(b)具有多个宏块，宏块中的每个对应于彩色图像的相应区域。该方法还可以包括对于多个彩色图像中的彩色图像：识别与该彩色图像相关联的多个深度图像中的深度图像；对于深度图像的每个像素：基于与该像素相关联的深度图像的深度值来确定对象的表面上的点的位置；生成与所确定的位置相对应的混合权重，所述混合权重是基于该位置处的深度图像的表面法线与捕获到深度图像的视点之间的相似性；基于混合权重来生成差量量化参数(ΔQP)的值；以及确定与该位置相对应的彩色图像的多个宏块中的宏块，该宏块与该像素的ΔQP的值相关联。该方法可以进一步包括对彩色图像执行压缩操作，彩色图像的多个宏块中的每个宏块的压缩率是基于与该宏块相关联的ΔQP的值。
[0006]在下面的附图和描述中阐述一个或多个实施方式的细节。其他特征将从说明书和附图中并从权利要求书中显而易见。
附图说明
[0007]图1是图示用于实现本文描述的技术方案的示例电子环境的图。
[0008]图2是图示在图1中所示的电子环境内执行技术方案的示例方法的流程图。
[0009]图3A和3B是图示用于基于图1中所示的电子环境内的混合权重来确定压缩质量的示例几何结构的图。
[0010]图4是图示在图1中所示的电子环境内的表面点和宏块之间的示例投影的图。
[0011]图5图示可以与这里描述的电路一起使用的计算机设备和移动计算机设备的示
例。
具体实施方式
[0012]一些彩色视频系统通过利用硬件视频编码和多个视频流的解码，例如三个深度视图和四个彩色视图，来实现彩色视频的实时传输。这些视图在接收器中融合在一起，以基于接收器的跟踪的眼睛来创建低时延的左/右视图。
[0013]对于这样的系统，普遍的问题是降低视频流，特别是多个彩色视图，所需的网络传输比特率。降低网络传输比特率的常规方法包括在帧的特定空间区域中选择性地增加或降低视频质量。例如，在电话会议场景中，可以使用这样的常规方法以在用户的面部上保留更多细节，同时允许帧的其他部分具有降低的质量。其他常规方法试图保持多个彩色图像中的每个彩色图像的质量；这是通过调整视图图像的质量(例如，通过在空间上压缩压缩质量)来完成，目的是允许最终对象作为压缩视图的组合进行高质量渲染。
[0014]在上述用于网络传输比特率的常规方法中所涉及的技术问题是，在存在多个彩色和深度视图的情况下，这样的方法是无效的。例如，在彩色视图的冗余中存在相当大的开销，即，环境中的点在彩色视图中的数个中经常可见这一事实。在常规方法中没有解决这种冗余。
[0015]与解决上述技术问题的常规方法相反，针对上述技术问题的技术解决方案包括，基于深度图像表面法线与和彩色图像相关联的视图方向之间的相似性来为彩色图像计算差量量化参数(ΔQP)。例如，在接收到具有带有多个彩色图像和深度图像的图像的帧时，计算机寻找在定向上最接近彩色图像的深度图像。对于该深度图像的每个像素，计算机基于深度图像的位置的法线的定向以及从其捕获多个彩色图像的视点来生成混合权重。然后，计算机基于混合权重来生成ΔQP的值，并确定与该位置相对应的彩色图像的宏块，该宏块与像素的ΔQP的值相关联。然后，计算机对该彩色图像执行压缩操作，该彩色图像的多个宏块中的每个宏块的压缩率是基于与该宏块相关联的ΔQP的值。
[0016]上述技术方案的技术优点在于，由于减少或消除冗余信息，所以该技术方案允许对具有多个彩色和深度图像的彩色视频图像进行更有效的压缩。通过识别不会有助于最终混合渲染的输入彩色图像的内容并降低该内容的压缩质量，可以实现此效率。
[0017]在根据技术方案改进的彩色视频系统中，通过以下来创建接收器中渲染的左/右视图：(i)在几何上融合多个深度视图以创建3D中的表面，和(ii)在这个融合的表面上混合多个彩色视图。彩色视图根据混合权重在每个表面点处融合在一起，其中与每个视图关联的混合权重是以下的函数：(i)该表面点在视图中是否可见(即，未被遮挡或者在视场外)和(ii)表面法线和视图方向之间的相似性。
[0018]注意，在彩色视图中的像素在场景表面的颜色重建中可能仅贡献很小的混合权重，因为(i)穿过像素的视线不与场景表面相交而是看到背景，或者(ii)射线倾斜地与表面相交，使得另一视图在该表面点处提供更好的(更正面)覆盖。因此，如果彩色视图中的像素块全部贡献小的混合权重，则可以以较低的质量(使用较高的QP值)压缩该块，而不会影响最终重建的质量。
[0019]图1是图示示例电子环境100的图，其中可以实现上述改进技术。如所示的，在图1中，示例电子环境100包括计算机120。
[0020]计算机120被配置成压缩彩色图像。计算机120包括网络接口122、一个或多个处理单元124以及存储器126。网络接口122包括例如以太网适配器等，用于将从网络接收到的电子和/或光信号转换成用于计算机120使用的电子形式。处理单元124的集合包括一个或多个处理芯片和/或组件。存储器126包括易失性存储器(例如，RAM)和非易失性存储器两者，诸如一个或多个ROM、磁盘驱动器、固态驱动器等。处理单元124的集合和存储器126一起形成控制电路，其被配置和布置成执行本文所述的各种方法和功能。
[0021]在一些实施例中，计算机120的组件中的一个或多个可以是或可以包括被配置成处理存储在存储器126中的指令的处理器(例如，处理单元124)。如图1中所描绘的这样的指令的示例包括深度图像管理器130、彩色图像管理器140、深度图像识别管理器150、混合权重管理器160、量化参数管理器170、宏块管理器180和压缩管理器190。此外，如图1中所图示的，存储器126被配置成存储各种数据，这些数据是关于使用这种数据的相应管理器来描述的。
[0022]深度图像管理器130被配置成接收深度图像数据132。在一些实施方式中，深度图像管理器130经由网络接口122通过网络接收深度图像数据132。在一些实施方式中，深度图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：通过被配置为渲染对象的图像的计算机的处理电路接收表示对象的多个彩色图像的彩色图像数据，所述多个彩色图像中的每个是从相应视点捕获的对象的彩色图像；接收表示所述对象的图像的目标视点的视点数据，所述目标视点与捕获所述多个彩色图像中的每个彩色图像的所述相应视点不同，所述图像包括多个像素；对于所述图像的所述多个像素中的每个像素：生成...

【专利技术属性】
技术研发人员：乌格斯，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：