低延迟图像写码制造技术

本发明专利技术涉及低延迟图像写码。诸如波前并行处理的并行处理概念是通过放弃普通片概念而实现具有减少的端至端延迟，据此，完全独立于在该相应的片的图像外部的区域或者有关的至少独立于在该相应的片外部的远至熵写码的区域而写码/译码片，例如，即有利于不同模式的片，即允许跨越片边界的相互依赖性的一个被称为从属片的片以及不允许跨越片边界的相互依赖性的被称为正常片的其它片。与该方面相组合或不组合，通过使用片的开始语法部分定位WPP进入点来较高效地进行WPP处理概念。

【技术实现步骤摘要】
低延迟图像写码本申请是国际申请日2013年4月15日、国际申请号为PCT/EP2013/057798的国际申请于2014年12月12日进入国家阶段的申请号为201380031308.6、专利技术名称为“低延迟图像写码”的专利技术申请的分案申请，其全部内容结合于此作为参考。
本专利技术涉及图像的低延迟写码。
技术介绍
在当前HEVC设计片中，包含熵片(EntropySlices)(从前的轻量片)瓦片(Tiles，小片)及WPP(波前并行处理)作为并行化工具。对于视频编码器及译码器的并行化，图像级分割与其它方法相比具有若干优势。在先前的视频编译码器中，如H.264/AVC[1]，图像分区仅对在写码效率方面具有高成本的规则片为可能。对于可缩放并行H.264/AVC译码，有必要将用于图像重构的宏区块级并行化与用于熵译码的帧级(frame-level)并行化组合。然而，此方法提供图像等待时间(picturelatency)的有限减少以及较高的内存使用率。为了克服此等限制，已在HEVC编译码器中包含新的图像分区策略。当前参考软件版本(HM-6)含有4个不同方法：规则或正常片、熵片、波前并行处理(WPP)子流以及瓦片。通常，彼等图片分区包括一组最大写码单元(LCU)，或同义地，写码树单元(CTU)，如HEVC中所定义，或甚至那些单元的子集。图1展示为图像898，其按照图像中的LCU或宏区块的列902示例性地定位至规则片900中。规则片或正常片(如H.264[1]中所定义)具有最大写码损失，因为其打破了熵译码及预测依赖性。熵片(类似于片)打破熵译码依赖性，但允许预测(及滤波)越过片边界。在WPP中，图像分区经列交错，但允许熵译码及预测两者使用来自其它分区中之区块的数据。以此方式，写码损失得以最小化，同时波前并行化可得到利用。然而，交错违反了位流因果性，因为前一分区需要下一分区来译码。图2示例性地展示出图像898，其分为水平分区瓦片906之两个列904a、904b。瓦片界定水平边界908及垂直边界910，其将图像898分割为瓦片行912a、912b、912c以及列904a、904b。类似于规则片900，瓦片906打破熵译码及预测依赖性，但不需要用于每一瓦片的报头。对于此等技术中的每一个，编码器可自由选择分区的数目。一般而言，具有较多分区导致较高的压缩损失。然而，在WPP中，损失传播并非如此高，且因此甚至可将图像分区之数目固定为每列一个。此还产生若干优势。第一，对于WPP位流，因果性得以保证。第二，译码器实施方案可假定某一量的并行化为可用，该量还随分辨率而增加。并且，最后，当以波前次序译码时，不必打破上下文选择及预测依赖性两者，从而产生相对较低的写码损失。然而，迄今为止，变换概念中的所有并行写码均无法提供结合使延迟保持较低而达成高压缩效率。对于WPP概念，还为如此。在写码管线中，片为最小输送单位，且若干WPP子流仍必须串行输送。
技术实现思路
因此，本专利技术的目标为提供一种图像写码概念，其允许根据例如波前并行处理以增加的效率(例如通过进一步减小端至端延迟，或通过减小将要花费的写码负担而增加写码效率)来进行并行译码。此目标由独立权利要求的主题达成。本专利技术的基本发现为，若放弃片据此完全独立于图像在该相应的片外部的区域，且至少独立于在该相应的片外部远至熵写码与的有关的区域而写码/译码的普通片概念而有利于不同模式的片，即例如称为从属片的片(其允许跨片边界的相互依赖性)，以及不允许跨片边界的相互依赖性的称为正常片的其它片，则可以减小的端至端延迟实现例如波前并行处理的并行处理概念。本专利技术的可与第一基本发现组合或相应的使用的进一步基本发现为，若片的开始语法部分用以定位WPP进入点，则可较高效地进行WPP处理概念。附图说明下文关于各图来描述本申请的优选实施例，其中有利的实施例为从属权利要求的主题。附图中：图1展示出示例性地按照图像中的LCU或宏区块的列分割为规则片的图像；图2展示出示例性地分为水平分割瓦片的两个列的图像；图3示例性地展示出将并行编码分区指派给片或网络输送区段；图4展示出示出使用瓦片写码方法对帧进行一般分段来获得最小端至端延迟的示意图；图5展示出示出使用WPP写码方法对帧进行示例性分段来获得最小端至端延迟的示意图；图6显示出示出使用视频服务的对话的场景的示意性方块图；图7示意性地示出用具有最小端至端延迟的一般子集对瓦片进行编码、发射及译码的可能时间排程；图8示意性地展示出通常达成端至端延迟的时序进度表；图9示出示例性地具有11×9个写码树区块的图像，该图像分割为两个片；图10示出示例性地具有13×8个写码树区块的图像，该图像分割为三个瓦片；图11展示出序列参数组语法的实例；图12展示出图像参数组语法的实例；图13展示出片报头语法的实例；图14示出图像的用于WPP处理为规则片且用于低延迟处理为从属片的分区；图15展示出图像参数组语法内的一部分的实例；图16展示出可能的片报头语法；图17示意性地示出正常片(及从属片)的写码相互依赖性；图18展示出比较用于瓦片的低延迟输送的编码(使用从属片的波前并行处理)的示意图；图19示出时序进度表，其示出在使用利用如图18的右手侧处所示的从属片的波前并行处理时具有管线低延迟发射的示例性WPP写码；图20展示出示出通过使用规则片作为锚点(anchor)之稳健性改良的示意图；图21展示出片报头语法的另一实施例；图22展示出图像参数组语法的另一实施例；图23展示出示出在一左图像边界开始的情况下对从属片的符号概率初始化过程的示意图；图24展示出译码器的示意图；图25示意性地展示出译码器的方块图，并且示意性地示出将图像分割为写码块及片；图26示意性地展示出编码器的方块图；图27示意性地展示出分割为正常及从属片(此处称为片区段)的图像；图28a和图28b示意性地展示出分割为正常及从属片(此处一方面称为片区段，且另一方面称为瓦片)的图像；图29展示出示出使用从属片的上下文初始化过程的流程图；图30展示出示出用于使用从属片的上下文储存过程的流程图；以及图31示意性地展示出信号发送WPP进入点的不同的可能性。具体实施方式在下文中，描述以如今的分别用于达成并行图像处理及低延迟写码的概念的描述来开始。当希望概述两种能力时，问题出现了。明确而言，如自以下论述将出来，目前所教示之WPP子流概念以某种方式与具有低延迟的愿望冲突，因为有必要通过将WPP子流分组为一个片来传达该WPP子流。以下实施例提出并行处理概念，例如WPP概念，其通过扩大片概念，即通过引入另一类型的片(后面称为从属片)来适用于需要更少延迟的应用。最小化自撷取至显示的端至端视频延迟为诸如视频会议等应用中的主要目的之一。用于数字视频发射的信号处理经由相机、撷取装置、编码器、包、发射、解多任务器、译码器、渲染器(renderer)及显示器组成。此等级中之每一者均通过在影像数据串行发射至后续级之前缓冲该影像数据来为端至端延迟作贡献。一些应用要求最小化此延迟，例如对有害区域中之对象的远程处置，而无需直接看到所处置之对象，或微创手术。甚至较短延迟均可导致恰当处置之严重困难，或甚至导致灾难性的错误。在许多情况下，在处理级内缓冲整个视频帧，例如来允许帧内处理。一些级搜集数本文档来自技高网...

【技术保护点】
1.一种用于从数据流(12)重构图像(10)的译码器，所述图像以所述图像(10)被分割成的片(14)为单位而被写码至所述数据流中，其中，所述译码器被配置为根据片次序(16)对来自所述数据流(12)的所述片(14)进行译码，并且所述译码器响应于所述片中的当前片内的语法元素部分(18)来根据至少两种模式(20，22)中的一个对所述当前片进行译码，并且根据所述至少两种模式中的第一模式(20)，使用上下文适应熵译码(24)对来自所述数据流(12)的所述当前片进行译码，所述上下文适应熵译码包括越过所述片边界的上下文的导出、所述上下文的符号概率的连续更新以及取决于先前译码的片的符号概率的保存状态的符号概率的初始化(38，40)，并且根据所述至少两种模式中的第二模式(22)，使用所述上下文适应熵译码对来自所述数据流(12)的所述当前片进行译码，所述上下文适应熵译码具有将所述上下文的所述导出限制为不越过所述片边界、所述上下文的符号概率的连续更新以及独立于任意先前译码的片的所述符号概率的初始化。

【技术特征摘要】
2012.04.13 US 61/624,098;2012.06.29 US 61/666,1851.一种用于从数据流(12)重构图像(10)的译码器，所述图像以所述图像(10)被分割成的片(14)为单位而被写码至所述数据流中，其中，所述译码器被配置为根据片次序(16)对来自所述数据流(12)的所述片(14)进行译码，并且所述译码器响应于所述片中的当前片内的语法元素部分(18)来根据至少两种模式(20，22)中的一个对所述当前片进行译码，并且根据所述至少两种模式中的第一模式(20)，使用上下文适应熵译码(24)对来自所述数据流(12)的所述当前片进行译码，所述上下文适应熵译码包括越过所述片边界的上下文的导出、所述上下文的符号概率的连续更新以及取决于先前译码的片的符号概率的保存状态的符号概率的初始化(38，40)，并且根据所述至少两种模式中的第二模式(22)，使用所述上下文适应熵译码对来自所述数据流(12)的所述当前片进行译码，所述上下文适应熵译码具有将所述上下文的所述导出限制为不越过所述片边界、所述上下文的符号概率的连续更新以及独立于任意先前译码的片的所述符号概率的初始化。2.根据权利要求1所述的译码器，其中，在写码区块(32)中分割所述图像(10)，所述写码区块以列和行布置并且具有在彼此之间界定的光栅扫描次序(36)，并且所述译码器被配置为使每个片(14)与所述光栅扫描次序(36)中的所述写码区块(32)的连续子集相关联，使得所述子集根据所述片次序而依所述光栅扫描次序(36)彼此相随。3.根据权利要求2所述的译码器，其中，所述译码器被配置为保存如在根据所述光栅扫描次序(36)在上下文适应熵译码所述先前译码的片直至列中的第二写码区块时并且在根据第一模式初始化用于所述当前片的所述上下文适应熵译码的所述符号概率时所获得的符号概率，根据所述光栅扫描次序检查与所述当前片相关联的写码区块(32)的所述连续子集的第一写码区块是否是列中的第一写码区块，并且如果是，则依据如在根据所述光栅扫描次序(36)在上下文适应熵译码所述先前译码的片直至列中的第二写码区块时获得的保存的符号概率来初始化(40)用于所述当前片的所述上下文适应熵译码的所述符号概率，并且如果不是，则依据如在上下文适应熵译码所述先前译码的片直至所述先前译码的片的结尾时所获得的符号概率来初始化(38)用于所述当前片的所述上下文适应熵译码的所述符号概率。4.根据权利要求1所述的译码器，其中，所述译码器被配置为响应于所述片(14)中的所述当前片内的所述语法元素部分(18)以根据至少三种模式中的一个，即以所述第一模式(20)和第三模式(42)中的一个或所述第二模式(22)来对所述当前片进行译码，其中，所述译码器被配置为：根据所述第一模式(20)，使用越过所述片边界的预测性译码对所述当前片进行译码；根据所述第二模式(22)，使用将所述预测性译码限制为不越过所述片边界的预测性译码来对所述当前片进行译码；以及根据所述第三模式(42)，使用所述上下文适应熵译码和越过所述片边界的预测性译码对来自所述数据流的所述当前片进行译码，所述上下文适应熵译码具有限制所述上下文的所述导出以不越过所述片边界、所述上下文的符号概率的连续更新以及独立于任意先前译码的片的所述符号概率的初始化，其中，根据语法元素来选择所述第一模式和所述第三模式中的一个。5.根据权利要求1所述的译码器，其中，所述译码器被配置为响应于所述数据流中的一般语法元素以在至少两个操作模式中的一个中进行操作，并且根据第一操作模式来执行对每个片的所述语法元素部分的响应性，并且根据第二操作模式，必然地使用所述...

【专利技术属性】
技术研发人员：托马斯·席尔，瓦莱里·乔治，阿纳斯塔西娅·亨克尔，德特勒夫·马佩，卡斯滕·格吕内贝格，罗伯特·斯库平，
申请(专利权)人：GE视频压缩有限责任公司，
类型：发明
国别省市：美国,US