多视点信号编解码器制造技术

描述了利用发现的实施方式，根据此发现，可通过从用于编码多视点信号的第一视点的第一编码参数采用或预测用于编码多视点信号的第二视点的第二编码参数来实现更高的压缩率或更好的比率/失真比。换句话说，发明专利技术人发现多视点信号之间的冗余不限于视点本身，比如视频信息，而是在并行编码这些视点的过程中的编码参数具有可利用的相似度，以进一步提高编码率。

【技术实现步骤摘要】
【国外来华专利技术】多视点信号编解码器
本专利技术涉及多视点信号的编码（coding）。
技术介绍
在许多应用领域中涉及到多视点信号，比如3D视频应用，包括立体和多视点显示，自由视点视频应用等。对于立体、多视点视频内容，已制定出MVC标准[1，2]。该标准对来自多台相邻照相机的视频序列进行压缩处理。MVC解码处理仅在原始的照相机位置再现这些照相机视点。然而，对于不同的多视点显示来说，要求具有不同空间位置的不同数量的视点，从而需要另外的视点，例如在原始的照相机位置之间的视点。处理多视点信号的难度在于需要大量的数据来传送包含在多视点信号中的关于多视点的信息。在以上提及的使能够进行中间视点提取/合成的要求而言，情况变得甚至更糟，因为在这种情况下，与各个视点相关联的视频可能伴随有诸如使得能够将各个视点重投影到另一个视点，比如中间视点的深度/视差图数据的补充数据。由于数据量巨大，因此尽可能最大化多视点信号编解码的压缩率是非常重要的。因此，本专利技术的目的在于提供一种使压缩率更高或率/失真比更好的多视点信号编解码。
技术实现思路
本目的通过未决的独立权利要求的主题实现。本申请提供了利用发现的实施方式，根据此发现，可通过根据用于编码多视点信号的第一视点的第一编码参数采用或预测用于编码多视点信号的第二视点的第二编码参数来实现更高的压缩率或更好的比率/失真比。换句话说，专利技术人发现多视点信号之间的冗余不限于视点本身，比如视频信息，而使在并行编码这些视点的过程中的编码参数具有可利用的相似度，以进一步提高编码率。本申请的一些实施方式还利用了一种发现，根据此发现，可利用视频帧中检测到的边缘作为提示，即，通过确定wedgelet分隔线以在视频帧中沿该边缘延伸，来确定或预测与用于编码深度/视差图的某个视点的视频的某个帧相关联的深度/视差图的分割。尽管边缘检测增加了解码器侧的复杂度，但在可接受质量下的低传输率比起复杂性问题更重要的应用情况下，这点缺陷还是可接受的。这样的情况可以涉及解码器被实现为固定器件的广播应用。进一步地，本申请的一些实施方式还利用了一种发现，根据此发现，如果编码参数的采用/预测包括根据空间分辨率之间的比率定标这些编码参数，则可以以较低的空间分辨率编码，即，预测并残余校正其编码参数从另一个视点的编码信息中采用/预测的视点，从而节省编码位。附图说明上文列出的各方面的实施方式的有利实现是所附从属权利要求的主题。具体地，下面相对于附图对本申请的优选实施方式进行描述，其中图1示出了根据实施方式的编码器的框图；图2示出了用于说明视点之间的信息重用及深度/视差边界的多视点信号的一部分的示意图；图3示出了根据实施方式的解码器的框图；图4是两个视点和两个时间实例的示例的多视点编码中的预测结构和运动/视差矢量；图5是通过相邻视点之间的视差矢量进行的点对应；图6是使用定标视差矢量通过视点1和2的场景内容投影进行的中间视点合成；图7是用于在任意观察位置生成中间视点的分别解码颜色和补充数据的N视点提取；以及图8是9视点显示的两视点比特流的N视点提取实例。具体实施方式图1示出了根据实施方式的用于编码多视点信号的编码器。图1的多视点信号在10处示例性地表示为包括两个视点121及122，尽管图1的实施方式对更多数量的视点同样是可行的。此外，根据图1的实施方式，每个视点121及122都包括视频14和深度/视差图数据16，尽管如果结合具有不包括任何深度/视差图数据的视点的多视点信号使用，则相对于图1描述的本实施方式的许多有利原理同样是有利的。本专利技术的这样的广义性下面进一步在图1至图3的描述之后进行描述。各个视点121及122的视频14表示公共场景在不同投影/查看方向上的投影的时空采样（spatio-temporalsampling）。优选地，视点121及122的视频14的时间采样率彼此相等，尽管不必必须满足该约束。如图1所示，优选每个视频14包括一系列帧，每个帧与各个时间戳t，t-1，t-2，……相关联。在图1中，视频帧由vviewnumber,timestampnumber表示。每个帧vi,t表示在各个时间戳t处场景i在各个查看方向上的空间采样，并因此包括一个或多个样本阵列，比如，亮度样本的一个样本阵列以及具有色度样本的两个样本阵列，或仅亮度样本或其他颜色分量（比如RGB颜色空间的颜色分量等）的样本阵列。一个或多个样本阵列的空间分辨率在一个视频14内以及在不同视点121及122的多个视频14内可以是不同的。类似地，深度/视差图数据16表示沿视点121及122的各个查看方向测量的公共场景的场景目标的深度的时空采样。深度/视差图数据16的时间采样率可以等于如图1中描述的相同视点的相关视频的时间采样率，或与其不同。在图1的情况下，每个视频帧v已经将各个视点121及122的深度/视差图数据16的各个深度/视差图d与此相关联。换句话说，在图1的实例中，视点i和时间戳t的每个视频帧vi,t具有与此相关联的深度/视差图di,t。关于深度/视差图d的空间分辨率，这对上文针对视频帧所示的情况同样适用。也就是说，空间分辨率在不同视点的深度/视差图之间可能会有所不同。为了有效地压缩多视点信号10，图1的编码器并行地将视点121及122编码为数据流18。然而，用于编码第一视点121的编码参数被重新使用，以采用所述编码参数作为或预测要用于编码第二视点122的第二编码参数。通过这种措施，图1的编码器利用了本专利技术人发现的事实，据此，视点121及12的并行编码使编码器类似地确定用于这些视点的编码参数，从而这些编码参数之间的冗余可以被有效利用，以提高压缩率或比率/失真比（例如，以所测量的失真作为两个视点的平均失真，并以所测量的比率作为整个数据流18的编码率）。具体地，图1的编码器一般用参考标号20表示，并包括用于接收多视点信号10的输入端以及用于输出数据流18的输出端。如在图2中所看到的，图1的编码器20的每个视点121及122包括两个编码支路，即，一个用于视频数据，另一个用于深度/视差图数据。相应地，编码器20包括用于视点1的视频数据的编码支路2v,1，用于视点1的深度视差图数据的编码支路22d,1，用于第二视点的视频数据的编码支路22v,2以及用于第二视点的深度/视差图数据的编码支路22d,2。这些编码支路22中的每一个被类似地构造。为了描述编码器20的构造和功能，以下描述开始于编码支路22v,1的构造和功能。该功能对于所有支路22是共用的。之后，讨论支路22的各个特征。编码支路22v,1用于编码多视点信号12的第一视点121的视频141，支路22v,1相应地具有用于接收视频141的输入端。除此之外，支路22v,1包括按照所提及的顺序彼此串联的减法器24、量化/变换模块26、重量化（requantization）/逆变换（inverse-transform）模块28、加法器30、进一步的处理模块32、解码图像缓冲器34、相互并联的两个预测模块36及38以及一方面连接在预测模块36及38的输出端之间，另一方面连接在减法器24的反相输入端之间的组合器或选择器40。组合器40的输出端还与加法器30的另一个输入端连接。减法器24的非反相输入端接收视频141。编码支路22v,1的元件24-40协作以编码本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.08.11 US 61/372,7851.一种解码器，包括：第一组一个或多个解码分支(106v,1，106d,1)，被配置为根据从数据流(18)获得的第一编码参数(461，481，501)，通过从多视点信号(10)的第一事先重建部分预测第一视点(121)的当前部分，并利用包含在所述数据流(18)中的第一校正数据(421,2)校正所述第一视点(121)的所述当前部分的所述预测的预测误差，来从所述数据流(18)重建所述多视点信号(10)的所述第一视点(121)，所述多视点信号(10)的第一事先重建部分在所述第一视点(121)的所述当前部分的所述重建之前由所述解码器从所述数据流(18)重建；编码信息交换模块(110)，被配置为至少部分根据所述第一编码参数采用或预测第二编码参数；以及第二组一个或多个解码分支(106v,2，106d,2)，根据所述第二编码参数，通过从所述多视点信号(10)的第二事先重建部分预测第二视点的当前部分，并利用包含在所述数据流(18)中的第二校正数据(423,4)校正所述第二视点(122)的所述当前部分的所述预测的预测误差，来从所述数据流(18)重建所述多视点信号(10)的所述第二视点(122)，所述多视点信号(10)的第二事先重建部分在所述第二视点(122)的所述当前部分的所述重建之前由所述解码器从所述数据流(18)重建，其中，所述第一视点(121)和所述第二视点(122)中的每一个包括从相应照相机位置捕获的视频(141,2)，以及相关联的深度/视差图数据(161,2)，以及其中，所述第一组一个或多个解码分支(106v,1，106d,1)被配置为根据所述第一编码参数的第一部分(461，481，501)，通过从所述多视点信号(10)的第三事先重建部分预测所述第一视点(121)的视频(141)的当前部分，并利用包含在所述数据流(18)中的所述第一校正数据(421,2)的第一子集(421)校正所述第一视点(121)的所述视频(141)的所述当前部分的所述预测的预测误差，来从所述数据流(18)重建(106v,1)所述第一视点(121)的所述视频(141)，所述多视点信号(10)的第三事先重建部分在所述第一视点(121)的所述视频(141)的所述当前部分的所述重建之前由所述解码器从所述数据流重建；所述编码信息交换模块(110)被配置为至少部分从所述第一编码参数的所述第一部分采用或预测所述第一编码参数的第二部分；以及所述第一组一个或多个解码分支(106v,1，106d,1)被配置为根据所述第一编码参数的所述第二部分，通过从所述多视点信号(10)的第四事先重建部分预测所述第一视点(121)的深度/视差图数据(161)的当前部分，并利用所述第一校正数据的第二子集(422)校正所述第一视点(121)的所述深度/视差图数据(161)的所述当前部分的所述预测的预测误差，来从所述数据流(18)重建(106d,1)所述第一视点(121)的所述深度/视差图数据(161)，所述多视点信号(10)的第四事先重建部分在所述第一视点(121)的所述深度/视差图数据(161)的所述当前部分的所述重建之前由所述解码器从所述数据流(18)重建，其中，所述第一编码参数定义了所述第一视点(121)的所述视频(141)的帧的分割，且所述第一组一个或多个解码分支(106v,1，106d,1)被配置为在重建所述第一视点(121)的所述深度/视差图数据(161)的过程中，伴随着经由所述数据流信号告知所述第一视点(121)的所述深度/视差图数据(161)的分割从所述第一视点(121)的所述视频(141)的分割的偏差，将所述第一视点(121)的所述视频(141)的所述帧的所述分割用作所述第一视点(121)的所述深度/视差图数据(161)的预分割。2.根据权利要求1所述的解码器，其中，所述解码器进一步包括视点提取器(108)，被配置为从所述第一视点和所述第二视点提取(108)中间视点(102)。3.根据权利要求1所述的解码器，其中，所述第一编码参数定义了所述第一视点(121)的所述视频(141)的帧的分割，且所述第一组一个或多个解码分支(106v,1，106d,1)被配置为在重建所述第一视点(121)的所述深度/视差图数据(161)的过程中，将所述第一视点(121)的所述视频(141)的所述帧的所述分割用作所述第一视点(121)的所述深度/视差图数据(161)的预分割。4.根据权利要求1所述的解码器，其中，所述第一组一个或多个解码分支(106v,1，106d,1)被配置为利用所述第一视点(121)的所述视频(141)的当前帧(v1,t)的重建部分来预测楔形波分割线(70)的位置，以及在从所述数据流(18)重建所述第一视点的所述深度/视差图数据(161)的过程中，设定与所述第一视点的所述视频的所述当前帧(v1,t)相关联的所述第一视点的所述深度/视差图数据(161)的深度/视差图(d1,t)的当前部分的边界，从而与所述楔形波分割线一致。5.根据权利要求1所述的解码器，其中，所述第一组一个或多个解码分支(106v,1，106d,1)被配置为：从所述第一视点(121)的视频的第一事先重建部分(v1,t-1)预测所述第一视点(121)的所述视频的当前部分(60a)，所述第一视点(121)的视频的第一事先重建部分(v1,t-1)在所述第一视点的所述视频的所述当前部分的所述重建之前由所述解码器从所述数据流(18)重建，以及从所述第一视点(121)的所述深度/视差图数据的第一事先重建部分(d1,t-1)预测所述第一视点(121)的所述深度/视差图数据的当前部分(66a)，所述第一视点(121)的所述深度/视差图数据的第一事先重建部分(d1,t-1)在所述第一视点(121)的所述深度/视差图数据的所述当前部分(66a)的所述重建之前由所述解码器从所述数据流(18)重建。6.根据权利要求1所述的解码器，其中，所述编码信息交换模块(110)被配置为至少部分根据所述第一编码参数采用或预测所述第二编码参数的第一部分，所述第二组一个或多个解码分支(106v,2，106d,2)被配置为根据所述第二编码参数的所述第一部分，通过从所述多视点信号(10)的第五事先重建部分预测所述第二视点(122)的视频(142)的当前部分，并利用包含在所述数据流(18)中的所述第二校正数据的第一子集(423)校正所述第二视点(122)的所述视频(142)的所述当前部分的所述预测的预测误差，来从所述数据流(18)重建(106v,2)所述第二视点(122)的所述视频(142)，所述多视点信号(10)的第五事先重建部分在所述第二视点(122)的所述视频(142)的所述当前部分的所述重建之前由所述解码器从所述数据流(18)重建，以及所述编码信息交换模块(110)被配置为至少部分根据所述第一编码参数和/或所述第二编码参数的所述第一部分采用或预测所述第二编码参数的第二部分，以及所述第二组一个或多个解码分支(106v,2，106d,2)被配置为根据所述第二编码参数的所述第二部分，通过从所述多视点信号(10)的第六事先重建部分预测所述第二视点(122)的深度/视差图数据(162)的当前部分，并利用所述第二校正数据的第二子集(424)校正所述第二视点(122)的所述深度/视差图数据(162)的所述当前部分的所述预测的预测误差，来从所述数据流(18)重建(106d,2)第二视点(122)的深度/视差图数据(162)，所述多视点信号(10)的第六事先重建部分在所述第二视点(122)的所述深度/视差图数据(162)的所述当前部分的所述重建之前由所述解码器从所述数据流(18)重建。7.根据权利要求6所述的解码器，其中，所述第一组一个或多个解码分支(106v,1，106d,1)被配置为在从所述数据流(18)重建(106d,1)所述第一视点(121)的所述深度/视差图数据(161)的过程中，使用所述第一视点的所述深度/视差图数据(161)的第一楔形波分割线(70)；所述编码信息交换模块(110)被配置为将所述第一楔形波分割线(70)用作预测子，或采用所述第一楔形波分割线(70)作为所述第二视点的所述深度/视差图数据(162)的第二楔形波分割线；以及所述第二组一个或多个解码分支(106v,2，106d,2)被配置为在从所述数据流(18)重建所述第二视点的所述深度/视差图数据(162)的过程中，设定与所述第二视点的所述视频的当前帧(v2,t)相关联的所述第二视点的所述深度/视差图数据(162)的深度/视差图(d2,t)的当前部分的边界，从而与所述第二楔形波分割线一致。8.根据权利要求6所述的解码器，其中，所述第二组一个或多个解码分支(106v,2，106d,2)被配置为：从所述第二视点(122)的视频(142)的事先重建部分(v2,t-1)，或从所述第一视点(121)的视频(141)的第二事先重建部分(v1,t)预测所述第二视点(122)的所述视频(142)的所述当前部分(74a；74b)，所述第二视点(122)的视频(142)的事先重建部分(v2,t-1)在所述第二视点(122)的所述视频(142)的所述当前部分的所述重建之前由所述解码器从所述数据流(18)重建，所述第一视点(121)的视频(141)的第二事先重建部分(v1,t)在所述第二视点(122)的所述视频(142)的所述当前部分的所述重建之前由所述解码器从所述数据流(18)重建，以及从所述第二视点(122)的深度/视差图数据(162)的事先重建部分(d2,t-1)，或从所述第一视点(121)的深度/视差图数据(161)的第二事先重建部分(d1,t)预测所述第二视点(122)的所述深度/视差图数据(162)的当前部分(80a；80b)，所述第二视点(122)的深度/视差图数据(162)的事先重建部分(d2,t-1)在所述第二视点(122)的所述深度/视差图数据(162)的所述当前部分的所述重建之前由所述解码器从所述数据流(18)重建，所述第一视点(121)的深度/视差图数据(161)的第二事先重建部分(d1,t)在所述第二视点的所述深度/视差图数据的所述当前部分的所述重建之前由所述解码器从所述数据流(18)重建。9.根据权利要求6所述的解码器，其中，所述编码信息交换模块(110)被配置为检测所述第二视点(122)的所述视频的当前帧(v2,t)中的边缘(72)并确定楔形波分隔线(70)以沿所述边缘(72)延伸，以及所述第二组一个或多个解码分支(106v,2，106d,2)被配置为在从所述数据流(18)重建所述第二视点的所述深度/视差图数据(162)的过程中，设定与所述第二视点的所述视频的所述当前帧(v2,t)相关联的所述第二视点的所述深度/视差图数据(162)的深度/视差图(d2,t)的当前部分的边界，以与所述楔形波分隔线一致。10.根据权利要求9所述的解码器，其中，所述第二组一个或多个解码分支(106v,2，106d,2)被配置为在从所述数据流(18)重建所述第二视点的所述深度/视差图数据(162)的过程中，以所述当前部分所属的区段为单位利用区段的不同组的预测参数分段执行预测。11.根据权利要求9所述的解码器，其中，所述楔形波分隔线(70)为直线并且所述编码信息交换模块(110)被配置为沿所述楔形波分隔线(70)划分所述第二视点的所述深度/视差图数据(162)的...

【专利技术属性】
技术研发人员：托马斯·维甘徳，德特勒夫·马佩，卡斯滕·米勒，菲利普·默克勒，格哈德·特克，胡恩·尔希，海科·施瓦茨，
申请(专利权)人：弗兰霍菲尔运输应用研究公司，
类型：
国别省市：