【技术实现步骤摘要】
本申请涉及允许有效多视图/层编码(例如，多视图图片/视频编码)的编码概念。
技术介绍
1、在本领域中众所周知可伸缩编码概念。在视频编码中，例如，h.264允许基层编码视频数据流伴有额外增强层数据，以便在不同的方面提高基层质量视频的重建质量，例如，空间分辨率、信噪比(snr)等和/或最后但同样重要的是，视图的数量。最近定案的hevc标准也由svc/mvc框架(svc＝可扩展视频编码，mvc＝多视图编码)扩展。hevc与其前面的h.264在很多方面不同，例如，适合于并行解码/编码以及低延迟传输。就并行解码/编码而言，hevc支持wpp(波前并行处理)编码/解码以及瓦片并行处理概念。根据wpp概念，个别图片以逐行方式分成子流。在每个子流内的编码次序从左指向右。子流具有的定义在其中的解码次序，从顶部子流引向底部子流。使用概率适配(自适应)进行子流的熵编码。个别地或者基于用于熵编码诸如分别在第二ctb(编码树块)的端部上的从前面子流的左手边缘的紧接的前面子流直到某个位置的概率的初步适配状态，对各个子流进行概率初始化。不需要限制空间预测。即，空间预测可以横跨介于紧接的后面的子流之间的边界。通过这种方式，这些子流可以与形成波前的当前编码/解码的位置并行地编码/解码，该波前通过从左下到右上、从左到右的瓦片方式运行。根据瓦片概念，图片分成瓦片，并且为了给出(render)这些瓦片的编码/解码，禁止在瓦片边界之上的并行处理、空间预测的可能主题。仅仅允许在瓦片边界之上的回路滤波。为了支持低延迟处理，薄片概念已被扩展：允许薄片可切换为重新初始化熵概率，
2、然而，更可取的是具有考虑中的概念，这进一步提高了多视图/层编码概念。
技术实现思路
1、因此，本专利技术的目标在于，提供一种提高多视图/层编码概念的概念。
2、由未决的独立权利要求的主题实现这个目标。
3、本申请的第一方面涉及多视图编码。尤其地，作为第一方面的基础的理念如下。一方面，视图间预测帮助利用在捕捉某个场景的多个视图之间的冗余，从而提高编码效率。另一方面，视图间预测防止多个视图独立于彼此可解码/可编码，即，并行可解码/可编码，以便例如，利用多核处理器。更精确地说，视图间预测使第二视图的部分依赖于第一视图的相应参考部分，并且在第一和第二视图的部分之间的这个关系需要在并行解码/编码第一和第二视图时满足某个视图间解码/编码偏移/延迟。作为第一方面的基础的理念在于，这个视图间编码偏移可以大幅减少，如果通过在第一/参考视图所分成的空间段的空间段边界上进行视图间预测的方式，改变编码和/或解码，那么仅仅通过微小的方式降低编码效率。可以进行变化，以便从第一视图到第二视图的视图间预测不组合第一视图的不同空间段的任何信息，但是仅仅从起源于第一视图的一个空间段的信息中分别预测第二视图及其语法元素。根据一个实施方式，甚至更严格地进行变化，以便视图间预测甚至不穿过空间段边界，即，所述一个空间段边界是包括共同定位的位置或共同定位的部分的空间段。在视图间预测中考虑组合起源于第一视图的两个或多个空间段的信息的结果时，由在段边界上的视图间的变化产生的优点变得清晰。在这种情况下，在视图间预测中涉及这种组合的第二视图的任何部分的编码/解码必须推迟，直到第一视图的所有空间段的编码/解码由层间预测组合。然而，在第一视图的空间段边界上的视图间预测的变化解决了这个问题，并且第一视图的一个空间段一解码/编码，第二视图的每个部分就容易可编码/可解码。然而，编码效率仅仅小幅降低，这是因为依然大体上允许层间预测，该限制仅仅适用于第一视图的空间段边界。根据一个实施方式，编码器注意在第一视图的空间段的空间段边界上的层间预测的变化，以便避免第一视图的两个或多个空间段具有上述组合，并且将这个避免/情况信令给解码器，这反过来将信令用作一种保证，以便例如，减少响应于信令的视图间解码延迟。根据另一个实施方式，解码器还改变由在数据流内的信令触发的层间预测的方式，以便由于就这些空间段边界而言，控制层间预测所需要的边信息的量可以减少，所以在形成数据流时，可以利用在第一视图的空间段的空间段边界上的层间预测参数设置的限制。
4、本申请的第二方面涉及多层视频编码以及以下情况：通常，多个层的图片所编码成的nal单元收集到访问单元内，以便与一个时刻相关的nal单元形成一个访问单元，与和相应的nal单元相关的层无关，或者以便对于不同的每对时刻和层，具有一个访问单元，然而，与所选择的可能性无关，单独处理每个时刻到层对的nal单元，将其排列成不交错。即，在通过另一对时刻和层的nal单元继续之前，发出属于某个时刻和层的nal单元。不准许交错。然而，这阻止了进一步减少端对端延迟，这是因为防止编码器在属于基层的nal单元之间发出属于相关层的nal单元，然而，由层间并行处理造成这种情况。本申请的第二方面放弃在传输的尾流内的nal单元的严格的依次不交错的设置，并且为此，重新使用限定访问单元的第一可能性，收集一个时刻的所有nal单元：在一个访问单元内收集一个时刻的所有nal单元，并且访问单元依然通过未交错的方式设置在传输的位流内。然而，允许一个访问单元的nal单元交错，以便一个层的nal单元散置有另一个层的nal单元。属于在一个访问单元内的一个层的nal单元的运行形成解码单元。准许交错，以便对于在一个访问单元内的每个nal单元，层间预测需要的信息包含在该访问单元内的任何前面的nal单元内。编码器可以在位流内信令是否应用交错，并且反过来，解码器可以(例如)使用多个缓冲器，以便将每个访问单元的不同层的交错的nal单元重新分类，或者根据信令，在不交错的情况下，使用仅仅一个缓冲器。不产生编码效率损失，然而，端对端延迟减少。
5、本申请的第三方面涉及每个位流数据包(例如，每个nal单元)的层索引的信令。根据本申请的第三方面，专利技术人认识到，应用主要属于两种类型中的一种。正常应用需要中等数量的层，因此，在每个数据包内没有层id字段，该数据包被配置为完全覆盖总体的中等数量的层。仅仅很少发生反过来需要过量的层的更复杂的应用。因此，根据本申请的第三方面，使用在多层视频信号内的层识别扩展机制信令，以便信令在每个数据包内的层识别语法元素完全或仅仅部分与在多层数据流内的层识别扩展一起是否确定相应数据包的层或者完全由层识别扩展代替/支配。通过这种措施，仅仅在很少发生的应用中，需要层识别扩展，并且该层识别扩展消耗比特率，而在大部分情况下，层相关联的有效信令可行。
6、本申请的第四方面涉及在不同程度的信息量之间的层间预测依赖性的信令，将视频资料编码成多层视频数据流。根据第四方面，第一语法结构限定依赖性维度的数量以及每个依赖性维度i的排序等级的最大ni，并且双射映射在依赖性空间内的至少子集的可用点中的相应一个上映射每个等级，以及对于依赖性维度i，第二语法本文档来自技高网...
【技术保护点】
1.一种多视图解码器，被配置为使用从第一视图(12)到第二视图(15)的视图间预测，从数据流重建多个视图(12，15)，其中，所述多视图解码器被配置为响应于所述数据流中的信令，以改变在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处的所述视图间预测。
2.根据权利要求1所述的多视图解码器，其中，所述多视图解码器被配置为在改变所述视图间预测中，执行在所述数据流中可信令的可能视差矢量的域的限制。
3.根据权利要求1或2所述的多视图解码器，其中，所述多视图解码器被配置为基于所述数据流，确定用于所述第二视图(15)的当前部分(302)的可能视差矢量的域之中的视差矢量(308)，并且在从所述第一视图12的共同定位到所述当前部分(302)的共同定位部分(306)偏移所确定的视差矢量(308)的参考部分(304)处取样所述第一视图(12)。
4.根据权利要求3所述的多视图解码器，其中，所述多视图解码器被配置为在改变所述视图间预测中，执行在所述数据流中可信令的可能视差矢量的域的限制，并且执行所述可能视差矢量的域的限制使得所述参考部分(304
5.根据权利要求3所述的多视图解码器，其中，所述多视图解码器被配置为在改变所述视图间预测中，执行在所述数据流中可信令的可能视差矢量的域的限制，并且执行所述可能视差矢量的域的限制使得所述参考部分(304)位于所述共同定位部分(306)在空间上所在的空间段内，并且在指向所述边界(300)的维度的视差矢量的分量具有亚像素分辨率的情况下，所述参考部分(304)与所述空间段的边界间隔开大于或等于内插滤波器内核半宽度(310)。
6.根据前述权利要求中任一项所述的多视图解码器，其中，所述多视图解码器被配置为在改变所述视图间预测中，使用独立于空间段的边界外部的信息的替代数据，在延伸超出所述空间段的边界(300)的部分处填充内插滤波器内核(311)，所述第一视图的共同定位到当前利用所述视图间预测进行预测的所述第二视图(15)的当前部分(302)的共同定位部分(306)在空间上位于所述空间段中。
7.根据前述权利要求中任一项所述的多视图解码器，其中，所述多视图解码器被配置为在所述视图间预测中，为所述第二视图的当前部分，导出所述第一视图(12)内的参考部分(314)并且根据所述数据流中的所述信令，
8.根据权利要求7所述的多视图解码器，其中，所述多视图解码器被配置为在导出所述参考部分(314)中，
9.根据权利要求8所述的多视图解码器，其中，所述多视图解码器被配置为基于在所述数据流中传输的深度图来估计用于所述当前部分的视差矢量或者用于所述当前部分的空间上或时间上预测的视差矢量。
10.根据权利要求8或9所述的多视图解码器，其中，所述多视图解码器被配置为在确定所述参考部分(314)中，通过使用所述视差矢量(316)在所述第一视图(12)成为编码块、预测块、残差块和/或变换块的划分中选择所述参考部分。
11.根据权利要求7到10中任一项权利要求所述的多视图解码器，其中，所述参数是运动矢量、视差矢量、残差信号和/或深度值。
12.根据权利要求7到11中任一项权利要求所述的多视图解码器，其中，所述属性是运动矢量、视差矢量、残差信号和/或深度值。
13.一种多视图编码器，被配置为使用从第一视图(12)到第二视图(15)的视图间预测，将多个视图(12、15)编码成数据流，其中，所述多视图编码器被配置为改变在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处的所述视图间预测。
14.根据权利要求13所述的多视图编码器，其中，所述多视图编码器被配置为在改变所述视图间预测中，执行可能视差矢量的域的限制。
15.根据权利要求13或14所述的多视图编码器，其中，所述多视图编码器被配置为确定(例如，通过优化)用于所述第二视图(15)的当前部分(302)(例如，视差补偿地预测的预测块)的可能视差矢量的域中的视差矢量(308)并且将其作为信号在所述数据流中发送，并且在从所述第一视图12的共同定位到所述当前部分(302)的共同定位部分(306)偏移所确定的视差矢量(308)的参考部分(304)处取样所述第一视图(12)。
16.根据权利要求15所述的多视图编码器，其中，所述多视图编码器被配置为执行所述可能视差矢量的域的限制，使得所述参考部分(304)位于(例如，完全地)所述共同定位部分(306)在空间上所在的空间段(301)内。
17.根据权利要求15所述的...
【技术特征摘要】
1.一种多视图解码器，被配置为使用从第一视图(12)到第二视图(15)的视图间预测，从数据流重建多个视图(12，15)，其中，所述多视图解码器被配置为响应于所述数据流中的信令，以改变在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处的所述视图间预测。
2.根据权利要求1所述的多视图解码器，其中，所述多视图解码器被配置为在改变所述视图间预测中，执行在所述数据流中可信令的可能视差矢量的域的限制。
3.根据权利要求1或2所述的多视图解码器，其中，所述多视图解码器被配置为基于所述数据流，确定用于所述第二视图(15)的当前部分(302)的可能视差矢量的域之中的视差矢量(308)，并且在从所述第一视图12的共同定位到所述当前部分(302)的共同定位部分(306)偏移所确定的视差矢量(308)的参考部分(304)处取样所述第一视图(12)。
4.根据权利要求3所述的多视图解码器，其中，所述多视图解码器被配置为在改变所述视图间预测中，执行在所述数据流中可信令的可能视差矢量的域的限制，并且执行所述可能视差矢量的域的限制使得所述参考部分(304)位于所述共同定位部分(306)在空间上所在的空间段(301)内。
5.根据权利要求3所述的多视图解码器，其中，所述多视图解码器被配置为在改变所述视图间预测中，执行在所述数据流中可信令的可能视差矢量的域的限制，并且执行所述可能视差矢量的域的限制使得所述参考部分(304)位于所述共同定位部分(306)在空间上所在的空间段内，并且在指向所述边界(300)的维度的视差矢量的分量具有亚像素分辨率的情况下，所述参考部分(304)与所述空间段的边界间隔开大于或等于内插滤波器内核半宽度(310)。
6.根据前述权利要求中任一项所述的多视图解码器，其中，所述多视图解码器被配置为在改变所述视图间预测中，使用独立于空间段的边界外部的信息的替代数据，在延伸超出所述空间段的边界(300)的部分处填充内插滤波器内核(311)，所述第一视图的共同定位到当前利用所述视图间预测进行预测的所述第二视图(15)的当前部分(302)的共同定位部分(306)在空间上位于所述空间段中。
7.根据前述权利要求中任一项所述的多视图解码器，其中，所述多视图解码器被配置为在所述视图间预测中，为所述第二视图的当前部分，导出所述第一视图(12)内的参考部分(314)并且根据所述数据流中的所述信令，
8.根据权利要求7所述的多视图解码器，其中，所述多视图解码器被配置为在导出所述参考部分(314)中，
9.根据权利要求8所述的多视图解码器，其中，所述多视图解码器被配置为基于在所述数据流中传输的深度图来估计用于所述当前部分的视差矢量或者用于所述当前部分的空间上或时间上预测的视差矢量。
10.根据权利要求8或9所述的多视图解码器，其中，所述多视图解码器被配置为在确定所述参考部分(314)中，通过使用所述视差矢量(316)在所述第一视图(12)成为编码块、预测块、残差块和/或变换块的划分中选择所述参考部分。
11.根据权利要求7到10中任一项权利要求所述的多视图解码器，其中，所述参数是运动矢量、视差矢量、残差信号和/或深度值。
12.根据权利要求7到11中任一项权利要求所述的多视图解码器，其中，所述属性是运动矢量、视差矢量、残差信号和/或深度值。
13.一种多视图编码器，被配置为使用从第一视图(12)到第二视图(15)的视图间预测，将多个视图(12、15)编码成数据流，其中，所述多视图编码器被配置为改变在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处的所述视图间预测。
14.根据权利要求13所述的多视图编码器，其中，所述多视图编码器被配置为在改变所述视图间预测中，执行可能视差矢量的域的限制。
15.根据权利要求13或14所述的多视图编码器，其中，所述多视图编码器被配置为确定(例如，通过优化)用于所述第二视图(15)的当前部分(302)(例如，视差补偿地预测的预测块)的可能视差矢量的域中的视差矢量(308)并且将其作为信号在所述数据流中发送，并且在从所述第一视图12的共同定位到所述当前部分(302)的共同定位部分(306)偏移所确定的视差矢量(308)的参考部分(304)处取样所述第一视图(12)。
16.根据权利要求15所述的多视图编码器，其中，所述多视图编码器被配置为执行所述可能视差矢量的域的限制，使得所述参考部分(304)位于(例如，完全地)所述共同定位部分(306)在空间上所在的空间段(301)内。
17.根据权利要求15所述的多视图编码器，其中，所述多视图编码器被配置为执行所述可能视差矢量的域的限制，使得所述参考部分(304)位于所述共同定位部分(306)在空间上所在的空间段内，并且在指向所述边界(300)的维度的视差矢量的分量具有亚像素分辨率的情况下，所述参考部分(304)与所述空间段的边界间隔开大于或等于内插滤波器内核半宽度(310)。
18.根据权利要求13到17中任一项所述的多视图编码器，其中，所述多视图编码器被配置为在改变所述视图间预测中，在延伸超出空间段的边界(300)的部分处填充内插滤波器内核(311)，所述第一视图的共同定位到当前利用所述视图间预测进行预测的所述第二视图(15)的当前部分(302)的共同定位部分(306)在空间上位于所述空间段中。
19.根据权利要求13到18中任一项所述的多视图编码器，其中，所述多视图编码器被配置为在所述视图间预测中，为所述第二视图的当前部分，导出在所述第一视图(12)内的参考部分(314)，并且根据所述数据流中的信令，
20.根据权利要求19所述的多视图编码器，其中，所述多视图编码器被配置为在导出所述参考部分(314)中，
21.根据权利要求20所述的多视图编码器，其中，所述多视图编码器被配置为基于在所述数据流中传输的深度图来估计用于所述当前部分的视差矢量或者用于所述当前部分的空间上或时间上预测的视差矢量。
22.根据权利要求19到21中任一项权利要求所述的多视图编码器，其中，所述参数是运动矢量、视差矢量、残差信号和/或深度值。
23.根据权利要求19到22中任一项权利要求所述的多视图编码器，其中，所述属性是运动矢量、视差矢量、残差信号和/或深度值。
24.根据权利要求13到23中任一项所述的多视图编码器，被配置为将所述改变在所述数据流中作为信号发送到解码器，以使所述解码器依靠所述改变。
25.一种多视图解码器，被配置为使用从第一视图(12)到第二视图(15)的视图间预测，从数据流中重建多个视图(12，15)，其中，所述多视图解码器被配置为使用在所述数据流中的信令作为保证，即在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处限制所述视图间预测(602)，使得所述视图间预测不涉及所述第二视图(15)的任何当前部分(302)对除了所述第一视图的共同定位到所述第二视图的相应当前部分的共同定位部分(606)所在的空间段以外的空间段的任何依赖性。
26.根据权利要求25所述的多视图解码器，被配置为响应于在所述数据流中的所述信令，使用视图间并行性，调整视图间解码偏移或决定执行所述第一和第二视图的重建的实验。
27.根据权利要求25或26所述的多视图解码器，其中，所述多视图解码器被配置为基于所述数据流，确定用于所述第二视图(15)的当前部分(302)的可能视差矢量的域之中的视差矢量(308)，并且在从所述第一视图12的共同定位到所述当前部分(302)的共同定位部分(306)偏移所确定的视差矢量(308)的参考部分(304)处取样所述第一视图(12)。
28.一种用于使用从第一视图(12)到第二视图(15)的视图间预测，从数据流中重建多个视图(12，15)的方法，其中，所述方法响应于在所述数据流中的信令，以改变在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处的所述视图间预测。
29.一种用于使用从第一视图(12)到第二视图(15)的视图间预测，将多个视图(12，15)编码成数据流的方法，其中，所述方法包括改变在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处的所述视图间预测。
30.一种用于使用从第一视图(12)到第二视图(15)的视图间预测，从数据流中重建多个视图(12，15)的方法，其中，所述方法包括使用在所述数据流中的信令作为保证，即在所述第一视图(12)被分成的空间段(301)的空间段边界(300)处限制所述视图间预测(602)，使得所述视图间预测不涉及所述第二视图(15)的任何当前部分(302)对除了所述第一视图的共同定位到所述第二视图的相应当前部分的共同定位部分(606)所在的空间段以外的空间段的任何依赖性。
31.一种具有程序代码的计算机程序，所述计算机程序在计算机上运行时，用于执行根据权利要求27到30中任一项所述的方法。
32.一种多层视频数据流(200)，由nal单元(202)的序列组成，所述多层视频数据流(200)具有使用层间预测编码到其中的多个层的图片(204)，每个nal单元(202)具有表示与各个所述nal单元相关的层的层索引(nuh_layer_id)，所述nal单元的序列被构造成非交错的访问单元(206)的序列，其中，属于一个访问单元的nal单元与一个时间上的时刻的图片相关，并且不同的访问单元中的nal单元与不同的时刻相关，其中，在每个访问单元内，对于每个层，与各个层相关的nal单元被分组到一个或多个解码单元(208)，并且与不同的层相关的nal单元的解码单元被交错，使得对于每个解码单元(208)，用来编码各个所述解码单元的层间预测基于除了与所述各个解码单元相关的层以外的、被编码成在各个所述访问单元内于所述各个解码单元之前的解码单元的层的图片的部分。
33.根据权利要求32所述的多层视频数据流(200)，其中，所述多层...
【专利技术属性】
技术研发人员：罗伯特·斯库平，卡斯滕·聚林，亚戈·桑切斯德拉富恩特，格哈德·特克，瓦莱里·乔治，托马斯·席尔，德特勒夫·马佩，
申请(专利权)人：GE视频压缩有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。