使用基于深度信息的视差估计的多视点视频编码制造技术

描述了多种实现方式。若干实现方式涉及使用深度信息来确定对应参考块的一个或多个编码模式。根据总体方面，对来自多视点系统中第一视点的第一视点图像的一部分进行编码。所述部分是第一视点图像的全部或部分。确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部分相对应。所述确定基于第二视点深度值，所述第二视点深度值提供了第二视点图像的所述部分的深度信息。使用通过对第一视点图像的所述部分进行编码而得到的信息来对第二视点图像的所述部分进行编码。

【技术实现步骤摘要】
使用基于深度信息的视差估计的多视点视频编码本申请是申请日为2009年4月23日的中国专利申请200980114390.2(“使用基于深度信息的视差估计的多视点视频编码”)的分案申请。相关申请的交叉引用本申请要求在2008年4月25日提交的题为“Inter-viewSkipModewithDepth”的序列号为61/125,520的美国临时专利申请的申请日的权益，其内容一并在此作为参考。
描述了涉及编码系统的实现方式。多种具体实现方式涉及使用深度的视点间跳过模式。
技术介绍
存在使用来自另一宏块的信息对当前宏块进行解码的一种或多种编码工具。一种编码工具是使用深度信息对当前宏块进行解码的视点间跳过模式。本申请中指出了视点间跳过编码工具的一个或多个缺点。
技术实现思路
根据总体方面，对来自多视点系统中第一视点的第一视点图像的一部分进行编码。该部分是第一视点图像的全部或一部分。确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部分相对应。所述确定基于为第二视点图像的所述部分提供深度信息的第二视点深度值。使用通过对第一视点图像的所述部分的编码而得到的信息来对第二视点图像的所述部分进行编码。根据另一总体方面，视频信号或视频信号结构包括以下区段。第一视点图像区段包括来自多视点系统中第一视点的第一视点图像的一部分的编码信息。所述第一视点图像的所述部分包括第一视点图像的全部或一部分。第二视点图像区段段包括：与第一视点图像的所述部分相对应的、来自多视点系统中第二视点的第二视点图像的一部分。第二视点深度区段段包括为第二视点图像的所述部分提供深度信息的深度值。第一视点图像区段段、第二视点图像区段段和第二视点图像深度区段段是根据支持多视点编码而不支持深度图编码的标准来格式化的。根据另一总体方面，对来自多视点系统中第一视点的第一视点图像的一部分的编码进行解码。该部分是第一视点图像的全部或一部分。确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部分相对应。所述确定基于为第二视点图像的所述部分提供深度信息的第二视点深度值。使用来自第一视点图像的解码部分的信息来对第二视点图像的所述部分的编码进行解码。在附图和以下描述中产生了一种或多种实现方式的细节。尽管以具体方式描述，然而应当清楚可以以多种方式来配置或体现这些实现方式。例如，实现方式可以以方法的形式来执行，体现为设备，例如被配置为执行一组操作的设备或者用于执行一组操作的设备存储结构，或者体现为信号。通过以下结合附图和权利要求考虑的详细描述，其他方面和特征将变得显而易见。附图说明图1是编码器的实现方式的图。图2是解码器的实现方式的图。图3是视频发送系统的实现方式的图。图4是视频接收系统的实现方式的图。图5是视频处理设备的实现方式的图。图6是对于一种实现方式标识了当前宏块的相邻宏块的图。图7是第一编码过程的实现方式的图。图8是第一解码过程的实现方式的图。图9是运动匹配的实现方式的图。图10是第二编码过程的实现方式的图。图11是第二解码过程的实现方式的图。图12是第三编码过程的实现方式的图。图13是第三解码过程的实现方式的图。具体实施方式视点间跳过是一种使用深度信息来对当前宏块进行解码的编码工具。专利技术人确定视点间跳过的缺点是需要或假定深度图在解码器处可用。这在需要深度图来实现视点合成的3DV架构下是可能的。在多视点视频编码(MVC)的情况下，没有指定深度图的标准传输。因此，不能使用需要深度图的模式。在至少一个实现方式中，提出了一种使用利用深度的视点间跳过模式的架构。在至少一个实现方式中，提出了使用视点间跳过作为用于多视点编码的编码模式。在本文所描述的至少一个实现方式中，提出了通过发送对应宏块的深度而不是例如单独地发送深度图来实现这种方法的修改。从原始视频序列和对应摄像机参数产生的深度信息不仅可以有益于解码器端的视点合成，还可以有益于编码器处的编码效率。借助于深度信息，对两个视点间画面之间对应关系的估计可以比传统方法更精确。在至少一个实现方式中，引入了新的“跳过模式”，称作“深度跳过模式”。因此，至少一些实现方式解决的至少一个问题是，使用利用深度的视点间跳过模式来高效地编码多视点视频序列。多视点视频序列是由从不同视点捕获某场景的两个或多个视频序列组成的集合。此外，如上所述，在多视点视频编码(MVC)的情况下，没有指定深度图的标准传输。因此，不可以使用需要深度图的模式。本文描述的至少一个实现方式通过在需要时明确地发送深度信息(通常与深度图不同)来解决该问题。注意，“深度信息”是与深度有关的各种信息的统称。一种类型的深度信息是“深度图”，所述深度图通常是指逐像素深度图像。其他类型的深度信息可以包括例如针对每个编码块而不是每个编码像素使用单个深度值。图1示出了示例性编码器100，根据本原理的实施例，可以对所述编码器100应用本专利技术。编码器100包括组合器105，组合器105具有以信号通信的方式与变换器110的输入相连的输出。变换器110的输出以信号通信的方式与量化器115的输入相连。量化器115的输出以信号通信的方式与熵编码器120的输入和逆量化器125的输入相连。逆量化器125的输出以信号通信的方式与逆变换器130的输入相邻。逆变换器130的输出以信号通信的方式与组合器135的第一非反向输入相连。组合器135的输出以信号通信的方式与帧内预测器145的输入和解块滤波器150的输入相连。解块滤波器150去除例如沿着宏块边缘的伪像。解块滤波器150的第一输出以信号通信的方式与参考画面存储装置155的输入(用于时间预测)和参考画面存储装置160的第一输入(用于视点间预测)相连。参考画面存储装置155的输出以信号通信的方式与运动补偿器175的第一输入和运动估计器180的第一输入相连。运动估计器180的输出以信号通信的方式与运动补偿器175的第二输入相连。参考画面存储装置160的第一输出以信号通信的方式与视差估计器170的第一输入相连。参考画面存储装置160的第二输出以信号通信的方式与视差补偿器165的第一输入相连。视差估计器170的输出以信号通信的方式与开关134的第一输入相连。(基于深度的)视差转换器132的输出以信号通信的方式与开关134的第二输入相连。视差选择器131的第一输出以信号通信的方式与开关134的控制输入相连，以选择开关的第一或第二输入。开关134的输出以信号通信的方式与视差补偿器165的第二输入相连。熵解码器120的输出、模式判定模块115的第一输出以及视差选择器131的输出各自均可用作编码器100的相应输出，以输出比特流。视差选择器131还可以用于输出多种形式的深度信息。可以存储或发送这样的深度信息，例如这样的深度信息可以用于允许解码操作确定编码视点的全部或一部分的视差矢量。组合器105的第一输入、运动补偿器175的第三输入、运动估计器180的第二输入、视差估计器170的第二输入以及视差转换器132的第一输入各自都可用作编码器的相应输入，以接收视点i的画面。视差转换器132的第二输入可用作到编码器100的输入，用于接收带外深度(out-of-band-depth)。运动补偿器175的输出以信号通信的方式与开关185的第一输入相连。视差本文档来自技高网...

【技术保护点】
一种方法，包括：对来自多视点系统中第一视点的第一视点图像的一部分进行编码，所述部分是所述第一视点图像的全部或部分；确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部分相对应，其中，所述确定基于第二视点深度值，所述第二视点深度值提供了第二视点图像的所述部分的深度信息；以及使用通过对第一视点图像的所述部分进行编码而得到的信息来对第二视点图像的所述部分进行编码。

【技术特征摘要】
2008.04.25 US 61/125,5201.一种编码方法，包括：对来自多视点系统中第一视点的第一视点图像的一部分进行编码，所述部分是所述第一视点图像的全部或部分；确定来自多视点系统中第二视点的第二视点图像的一部分与第一视点图像的所述部分相对应，其中，所述确定基于第二视点深度值，所述第二视点深度值提供了第二视点图像的所述部分的深度信息；以及使用通过对第一视点图像的所述部分进行编码而得到的信息来对第二视点图像的所述部分进行编码；其中，确定所述第二视点图像的一部分与第一视点图像的所述部分相对应包括使用卷曲处理，所述卷曲处理包括以下操作：基于点在第二视点图像的所述部分中的位置，来确定所述点在真实空间中的位置，以及基于所述点在真实空间中的位置，来确定所述点在第一视点图像的所述部分中的位置。2.根据权利要求1所述的方法，其中，第一视点图像的编码部分、第二视点图像的编码部分以及编码的第二视点深度值是根据支持多视点编码而不支持深度图编码的标准而编码的。3.根据权利要求2所述的方法，其中，所述标准是MVC标准。4.根据权利要求1所述的方法，还包括：提供第一视点图像的编码部分、第二视点图像的编码部分以及第二视点深度值，用于存储或传输。5.根据权利要求4所述的方法，其中，所述提供包括：将第一视点图像的编码部分、第二视点图像的编码部分以及第二视点深度值组装成结构化格式。6.根据权利要求1所述的方法，还包括：对第二视点深度值进行编码。7.根据权利要求1所述的方法，其中，第二视点深度值是针对给定的宏块或宏块的一部分的单个值。8.根据权利要求1所述的方法，还包括：确定第二视点图像的所述部分的视点差矢量，所述视点差矢量指示第二视点图像的所述部分的位置与第一视点图像的所述部分的位置之间的差异，所述视点差矢量是基于第二视点深度值来确定的。9.根据权利要求8所述的方法，其中：确定视点差矢量还基于细化以使视点差矢量更适合于编码而不是合成。10.根据权利要求8所述的方法，还包括：形成基于视点差矢量预测值的视点差矢量；以及基于视点差矢量预测值来对视点差矢量进行编码。11.根据权利要求8所述的方法，还包括：基于根据深度而得到的、针对第一视点图像的所述部分的视点差矢量，来形成视点差矢量预测值；以及基于视点差矢量预测值来对视点差矢量进行编码。12.根据权利要求1所述的方法，其中：对第二视点图像的所述部分进行编码包括设置指示以下情况的标志：将使用第一视点图像的所述部分的重构，来重构第二视点图像的所述部分。13.根据权利要求1所述的方法，其中：对第二视点图像的所述部分进行编码包括：使用通过对第一视点图像的所述部分进行编码而得到的运动矢量，以及确定第二视点图像的所述部分与所述运动矢量从第二视点图像所指向的参考图像之间的残差。14.根据权利要求1所述的方法，其中：第一视点图像包括来自视频序列的画面，以及对第一视点图像的所述部分进行编码包括：对画面的宏块进行编码。15.根据权利要求1所述的方法，其中，至少所述第二视点图像被包含在视频序列中，所述视频序列由多个图像形成，并且针对所述多个图像中的每个图像，具有至少一个视点差矢量。16.根据权利要求1所述的方法，其中，至少所述第二视点图像被包含在视频序列中，所述视频序列由多个图像形成，并且针对所述多个图像中的每个图像，具有多个视点差矢量。17.根据权利要求1所述的方法，其中，所述方法是在编码器中实现的。18.根据权利要求1所述的方法，还包括：将第一视点图像的所述部分的照度与第二视点图像的所述部...

【专利技术属性】
技术研发人员：田冬，普尔温·比贝哈斯·潘迪特，尹鹏，
申请(专利权)人：汤姆森许可贸易公司，
类型：发明
国别省市：