多视图编码和解码制造技术

本发明专利技术涉及对属于之前已经被编码的多视图图像的当前视图的解码，在所述解码的过程中实现以下步骤：‑在属于所述多视图图像或另一个多视图图像的视图集合中，确定(D24a))对于所述当前视图的解码所必需的视图路径，所述路径包括至少一个尚未被解码的视图，‑解码(D25a))尚未被解码的所述至少一个视图，‑基于表示所述当前视图与所述多视图图像的或另一个多视图图像的另一个视图之间的至少一个差异的经编码数据集合以及所述至少一个已解码视图来解码(D26a))所述当前视图。

Multi view coding and decoding

The present invention relates to decoding the current view of a previously encoded multi view image, and implementing the following steps in the decoding process: in the collection of views belonging to the multi view image or another multi view image, it is determined (D24a)) the view path necessary for the decoding of the front view, as described in the view. The path includes at least one of the at least one view that has not been decoded, D25a) the at least one view that has not been decoded, based on a coded data set representing at least one difference between the current view and the multi view image or another view of the other multi view image, and at least one of the solutions has been solved. The code view to decode (D26a)) the current view.

【技术实现步骤摘要】
【国外来华专利技术】多视图编码和解码
本专利技术总体上涉及3D图像处理领域，并且更具体地，涉及对多视图图像以及多视图图像序列的编码和解码。本专利技术可以具体但不排他地应用于在AVC和HEVC当前视频编码器及其扩展(MVC、3D-AVC、MV-HEVC、3D-HEVC等)中所实现的视频编码，并且应用于相应的视频解码。
技术介绍
多视图图像通过在当前时刻t复用视图集合N来常规地获得，每一个视图表示来自特定角观看位置的同一个3D场景。当N较小(通常小于10)时，一种说法为多视图图像。当N较大时，一种说法为超级多视图图像。一般而言，为了简化说明，多视图图像将被认为包括N个视图，其中N>1。每一个在各种时刻被捕获的若干多视图图像形成多视图图像序列。这种多视图图像序列借助于同时利用以下的自适应编码(比如例如MVC(代表“多视图视频编码”(MultiviewVideoCoding))或MV-HEVC(代表“多视图高效视频编码”(MultiviewHighEfficiencyVideoCoding))编码)而被编码：-独立于其他视图存在于当前视图的内部的空间冗余，-有待编码的当前视图与当前多视图图像的另一个视图之间的视图间冗余，-有待编码的当前视图与属于位于与所述多视图图像的时刻不同的时刻的另一个多视图图像并且表示来自与当前视图相同的角观看位置的3D场景的视图之间的时间冗余，-有待编码的当前视图与属于位于与所述多视图图像的时刻不同的时刻的另一个多视图图像并且表示来自与当前图像的角观看位置不同的角观看位置的3D场景的视图之间的空间-时间冗余。此后，实现多视图图像的编码序列的相应解码，以便能够在终端(比如例如平板、便携式电话、智能电话、个人计算机、电视接收器等)的屏幕上播放此序列。因此，理论上用户可能在序列的同一个多视图图像中或者在属于在当前时刻t捕获的多视图图像的第一视图与属于在当前时刻t之前或之后的时刻捕获的多视图图像的第二视图之间从一个视图自由导航到另一个视图。第二视图可以表示来自与在第一视图中相同或者不同的角观看位置的3D场景。尽管上文提到的编码方法的效率被证明，但是相应的解码方法是非常有限的。实际上，当用户请求显示序列中的在时刻t捕获的多视图图像的视图时，解码器被迫预先系统地解码在时刻t的多视图图像的视图集合还有序列中的在时刻t之前的其他多视图图像的视图集合。因此，解码器的计算的复杂性证明是非常高的。在用户已经请求显示视图的时刻与所请求的视图被真正显示的时刻之间的延时同样如此。考虑到这些约束，这种解码方法很明显不适用于在多视图图像序列的视图之间的自由导航，特别是在视图的数量N大于10的情况下。为了克服这些缺点，特别在文档“应用预测技术来减少用于移动自由视点视频应用的上行传输和能量要求(ApplyingPredictionTechniquestoreduceuplinktransmissionandenergyrequirementsformobilefreeviewpointvideoapplications)”(DeRaffaele、Debono，ICAM2010)中提出了使得包含解码器的终端与服务器进行对话。终端将用户已经在当前时刻之前的时刻在序列内导航的视图传递至服务器。因此，通过相对于之前已经被传递至服务器的视图预测当前视图，服务器对在当前时刻所请求的视图进行编码。文档“具有低解码复杂性的交互多视图视频系统(Interactivemultiviewvideosystemwithlowdecodingcomplexity)”(ICIP2011，Maugey,T.、Frossard,P.)也利用了包含解码器的终端与服务器之间的这种对话。为此目的，终端以规律的时间间隔向服务器传递用户已经在当前时刻之前的时刻在序列内导航的视图。仅编码了在之后的时间间隔易于被用户选择的多视图图像的视图。包含解码器的终端与服务器之间的对话的这类技术实现起来相对不便和昂贵。此外，这类技术需要不可忽视的网络带宽消耗，因此使得它们很难实现，特别是当用户在多视图图像序列中多次导航时。专利技术主题和
技术实现思路
本专利技术的目的之一是补救上述现有技术的缺点。为此目的，本专利技术的主题涉及一种用于解码属于多视图图像的至少一个当前视图的方法，所述多视图图像之前已经被编码并且其经编码数据被包含在数据信号中，所述至少一个当前视图表示场景的给定视角，所述数据信号包括表示所述至少一个当前视图与所述多视图图像或另一个多视图图像的至少一个其他视图之间的至少一个差异的经编码数据集合，所述至少一个其他视图已经用于所述至少一个当前视图的预测。根据本专利技术的解码方法值得注意的地方在于，其实现以下功能：-在属于所述多视图图像或另一个多视图图像的视图集合中，确定对于所述至少一个当前视图的解码所必需的至少一个视图路径，所述至少一个路径包括至少一个尚未被解码的视图，-解码位于所述至少一个已确定的路径上的尚未被解码的所述至少一个视图，-基于所述经编码数据集合以及位于所述至少一个路径上的所述至少一个已解码视图来解码所述至少一个当前视图。这种安排允许当解码当前视图时解码器仅解码当前多视图图像或另一个多视图图像的受限视图集合，也就是说，在多视图图像序列中，位于除了当前多视图图像的时刻之外的时刻的受限视图集合。此外，根据本专利技术的解码使得可以在此受限视图集合中使用在解码器解码当前视图的时刻不一定已经被解码并且可用的视图。因此，在如果当前视图必须借助于尚未被重建的视图而被解码，则解码器将首先必须根据已确定的路径顺序来重建这些视图的意义上，可以以递归的方式实现当前视图的解码。最后，这种解码相对于在现有技术中提出的解码尤其有效，因为这种解码允许：-计算复杂性的降低，考虑到有待解码的受限的视图数量，-请求视图变化的时刻与所请求的视图被解码并且然后被显示的时刻之间的延时的降低，-在解码器中已解码视图的存储成本的降低。下文提到的实施例的各种模式或特性可以被独立地或者彼此组合地添加到在上文定义的解码方法的特性中。根据具体实施例，通过在数据信号中读取表示至少一个路径的信息来实现确定至少一个路径。这种安排允许解码器在解码当前视图时从与当前视图相关联并且在数据信号中读取的信息中仅直接识别对于当前视图的解码所必需的一个或多个视图。这导致解码路径的确定比在现有技术中更简单和更快速，在现有技术中解码器被限制为在数据信号中读取与多视图图像的所有视图相关联的信息，以确定对于当前视图的解码所必需的一个或多个视图。这种解码的简单性与快速性使得可以进一步优化请求视图变化的时刻与所请求的视图被解码并且然后被显示的时刻之间的延时的降低。根据另一具体实施例，当数据信号包括以下时：-表示所述至少一个当前视图与所述多视图图像或另一个多视图图像的第一视图之间的差异的第一经编码数据，-表示所述至少一个当前视图与所述多视图图像或另一个多视图图像的第二视图之间的差异的至少第二经编码数据，所述解码方法实现选择所述第一经编码数据或所述至少第二经编码数据，所述至少一个当前视图的解码基于在所述至少一个路径上的所述至少一个已解码视图以及基于所选择的所述第一经编码数据或所述至少第二经编码数据而实现。为此目的，第一和第二预测残差各自包含经编码数据，使得可以获得对于两本文档来自技高网...

【技术保护点】
1.一种用于解码属于多视图图像(IMVj)的至少一个当前视图(Vu,j)的方法，所述多视图图像之前已经被编码并且其经编码数据被包含在数据信号中，所述至少一个当前视图表示场景的给定视角，所述数据信号包括表示所述至少一个当前视图与所述多视图图像的或另一个多视图图像的至少一个其他视图(Vpu,j；Vp1u,j，Vp2u,j)之间的至少一个差异的经编码数据集合，所述至少一个其他视图已经用于所述至少一个当前视图的预测，所述解码方法的特征在于，其实现以下步骤：‑在所述数据信号中或在表示另一个多视图图像的另一个数据信号中确定(D24a)；D21b))与至少一个视图相关联的经编码数据，所述至少一个视图对于所述至少一个当前视图的解码是必需的并且尚未被解码，对于所述至少一个当前视图的解码所必需的所述至少一个视图本身旨在被独立地或相对于已经被解码或尚未被解码的至少一个其他视图而被解码，对于所述至少一个当前视图的解码所必需的所述至少一个视图构成位于对于所述至少一个当前视图的解码所必需的至少一个视图路径(PRu,j；PR'u,j)上的视图，‑解码(D25a)；D22b))位于所述至少一个路径上的尚未被解码的所述至少一个视图，‑基于所述经编码数据集合以及位于所述至少一个路径上的所述至少一个已解码视图来解码(D26a)；D27b))所述至少一个当前视图。...

【技术特征摘要】
【国外来华专利技术】2015.10.08 FR 15595921.一种用于解码属于多视图图像(IMVj)的至少一个当前视图(Vu,j)的方法，所述多视图图像之前已经被编码并且其经编码数据被包含在数据信号中，所述至少一个当前视图表示场景的给定视角，所述数据信号包括表示所述至少一个当前视图与所述多视图图像的或另一个多视图图像的至少一个其他视图(Vpu,j；Vp1u,j，Vp2u,j)之间的至少一个差异的经编码数据集合，所述至少一个其他视图已经用于所述至少一个当前视图的预测，所述解码方法的特征在于，其实现以下步骤：-在所述数据信号中或在表示另一个多视图图像的另一个数据信号中确定(D24a)；D21b))与至少一个视图相关联的经编码数据，所述至少一个视图对于所述至少一个当前视图的解码是必需的并且尚未被解码，对于所述至少一个当前视图的解码所必需的所述至少一个视图本身旨在被独立地或相对于已经被解码或尚未被解码的至少一个其他视图而被解码，对于所述至少一个当前视图的解码所必需的所述至少一个视图构成位于对于所述至少一个当前视图的解码所必需的至少一个视图路径(PRu,j；PR'u,j)上的视图，-解码(D25a)；D22b))位于所述至少一个路径上的尚未被解码的所述至少一个视图，-基于所述经编码数据集合以及位于所述至少一个路径上的所述至少一个已解码视图来解码(D26a)；D27b))所述至少一个当前视图。2.如权利要求1所述的解码方法，包括：通过在所述数据信号中读取表示所述至少一个路径的信息来确定所述至少一个路径。3.如权利要求1或权利要求2所述的解码方法，其中，当所述数据信号包括：-表示所述至少一个当前视图与所述多视图图像的或另一个多视图图像的第一视图之间的差异的第一经编码数据(Vcq1u,j)，-表示所述至少一个当前视图与所述多视图图像的或另一个多视图图像的第二视图之间的差异的至少第二经编码数据(Vcq2u,j)，所述解码方法实现选择(D23b))所述第一经编码数据或所述至少第二经编码数据，所述至少一个当前视图的解码基于所述至少一个路径上的所述至少一个已解码视图以及基于所选择的所述第一经编码数据或所述至少第二经编码数据而实现。4.如权利要求1至3中任一项所述的解码方法，其中，根据用于最小化位于所述至少一个路径上的视图的数量的标准，实现对于所述至少一个当前视图的解码所必需的所述至少一个视图路径的确定。5.如权利要求1至3中任一项所述的解码方法，其中，根据用于最小化不参考其他视图已经被解码的至少一个视图与所述至少一个当前视图之间的距离的标准，实现对于所述至少一个当前视图的解码所必需的所述至少一个视图路径的确定。6.如权利要求1至5中任一项所述的解码方法，其中，所述至少一个已确定的路径包含在当前时刻之后或之前的至少一个时刻易于被解码的至少一个视图所取决于的视图。7.如权利要求1至5中任一项所述的解码方法，其中，通过借助于概率计算估计在当前时刻之后或之前的至少一个时刻易于被解码的至少一个视图来实现所述至少一个路径的确定。8.如权利要求1至7中任一项所述的解码方法，其中，如果对于所述至少一个当前视图的解码所必需的所述至少一个视图路径由于至少一个解码约束而不能使得可以解码所述至少一个当前视图，则所述至少一个当前视图由在当前时刻的所述多视图图像的能够被解码的另一个视图代替，所述另一个视图是空间上最接近所述至少一个当前视图的视图。9.如权利要求1至8中任一项所述的解码方法，其中，所述已解码并且可用的视图被存储在存...

【专利技术属性】
技术研发人员：乔尔·容格，安托万·德瑞科特，
申请(专利权)人：奥兰治，
类型：发明
国别省市：法国,FR