一种用于可伸缩视频编码的快速帧内编码模式决策方法技术

一种用于可伸缩视频编码的快速帧内编码模式决策方法，涉及视频编码技术领域。本发明专利技术是为了解决现有针对可伸缩视频的快速帧内编码模式决策技术存在的相关性模型不能准确描述SHVC编码中帧内编码模式的相关性、缺少针对不同大小PU的快速帧内编码模式决策算法、缺乏针对RMD过程之后的编码过程所进行的优化、针对SHVC标准的快速帧内编码模式决策算法的性能较差等问题。本发明专利技术利用层间、时间和空间相关性，为增强层中不同大小的PU分别构造初始候选帧内编码模式列表；利用哈达玛代价值进一步减少候选帧内编码模式的数量，从而减少编码时间。实验证明，本发明专利技术可以明显减少编码时间但不会影响编码效率。本发明专利技术应用于可伸缩视频编码的帧内编码模式决策领域。

A fast intra mode coding decision method for scalable video coding

A fast intra mode coding decision method for scalable video coding is involved in the field of video coding technology. The present invention is to solve the existing correlation model of fast intra coding pattern decision technology for scalable video, which can not accurately describe the correlation of intra coding mode in SHVC coding, lack of fast intra coding mode decision algorithm for different size PU, and lack of the encoding process after the RMD process. And the performance of fast intra mode decision algorithm against SHVC standard is poor. Using interlayer, time and spatial correlation, the invention constructs the list of internal coding patterns for the initial candidate frames for different sizes of PU in the enhanced layer, and further reduces the number of candidate intra coding patterns by using Hadamard value, thus reducing the coding time. The experiment proves that the invention can obviously reduce the encoding time, but does not affect the coding efficiency. The invention is applied to the field of decision making in intra coding mode of scalable video coding.

【技术实现步骤摘要】
一种用于可伸缩视频编码的快速帧内编码模式决策方法
本专利技术涉及一种用于可伸缩视频编码的快速帧内编码模式决策方法，涉及视频编码

技术介绍
SHVC(Scalable-highEfficiencyVideoCoding的缩写)标准是基于H.265/HEVC(HighEfficiencyVideoCoding的缩写)视频编码标准而开发的可伸缩视频编码标准。SHVC标准由国际电信联盟电信标准化部门视频编码专家组和国际标准化组织动态图像专家组组成的联合视频专家组共同制定。SHVC标准采用多层编码框架，并在继承了H.265/HEVC标准中所有先进编码技术的同时，引入了层间预测等新的编码工具。与上一代可伸缩视频编码标准H.264/SVC(ScalableVideoCoding的缩写)相比，在保持相同重建视频质量的前提下，SHVC标准可节省50％的码率。SHVC标准优异的编码性能是以极高的运算复杂度为代价的。这些复杂度极高的编码算法严重降低了SHVC视频编码系统的运算效率，导致无法利用SHVC标准实现实时的视频编码，严重阻碍了SHVC标准的推广与应用。其中，帧内编码模式决策算法是造成SHVC编码复杂度高的主要原因之一。因此，需要开发针对SHVC标准的快速帧内编码模式决策技术。现有的针对SHVC标准的快速帧内编码模式决策技术存在的主要问题有：1、现有的相关性模型不能准确描述SHVC编码中帧内编码模式的相关性。SHVC标准采用基于层的编码框架。在空间可伸缩编码中，增强层视频由分辨率较低的基本层视频根据伸缩因子进行上采样获得，即对基本层视频纹理根据伸缩因子进行拉伸。视频中图像的拉伸导致了CU(CodingUnit，即编码块)内纹理复杂度的变化，从而增加了帧内编码模式决策的不确定性并增加了计算的复杂度。现有的针对SHVC标准的快速帧内编码模式决策算法没有分析和探讨空间可伸缩编码中帧内编码模式的层间相关性，也没有建立准确的模型用以描述基本层帧内编码模式和增强层帧内编码模式之间的相关性。因此，现有的快速帧内编码模式决策算法不能充分利用编码基本层视频而产生的先验知识，并且不能充分利用层间的相关性来降低编码增强层时进行层间预测过程的复杂度。2、缺少针对不同大小的PU(PredictionUnit，即预测单元)的快速帧内编码模式决策算法。SHVC标准沿用H.265/HEVC标准的35种帧内编码模式(见图1)，每个PU均需对这35种帧内编码模式进行粗略模式决策(RoughModeDecision，RMD)处理，从中选出最优帧内编码模式。现有的算法对不同大小的PU均执行相同的最优帧内编码模式决策算法，而并没有探讨不同大小的PU在帧内编码模式的层间相关性上的差异，从而未能有针对性地为不同大小的PU减少在RMD过程中需要处理的帧内编码模式的数量。因此，现有的算法并没有充分利用帧内编码模式的层间相关性来降低帧内编码模式决策过程的运算复杂度；3、缺乏针对RMD过程之后的编码过程所进行的优化。在SHVC标准的帧内编码过程中，除了为当前的PU构造初始候选帧内编码模式列表之外，还要对从候选帧内编码模式列表中筛选出来的哈达玛代价值(HadamardCost)较小的帧内编码模式以及MPM(MostProbableMode，即最有可能模式)执行RQT(ResidualQuad-Tree，即残差四叉树)处理过程。现有的针对SHVC标准的快速帧内编码模式决策算法主要针对RMD过程进行了简化，并未能有效降低RQT过程的运算复杂度。若能充分地利用帧内编码模式的哈达玛代价值，则可以减少在RQT过程中需要处理的帧内编码模式的数量，从而进一步提高SHVC标准的编码速度；4、现有的针对SHVC标准的快速帧内编码模式决策算法的性能较差。现有的针对SHVC标准的快速帧内编码模式决策算法未充分利用层间、空间和时间相关性信息。尤其在空间可伸缩编码中，由于基本层视频与增强层视频的分辨率不同，所以并非所有基本层的信息都适合直接用于增强层的帧内编码模式预测，不恰当地使用基本层的信息会使得针对SHVC标准的快速帧内编码模式决策方法要么较大程度地影响编码效率，要么对具有不同特征的视频序列不具有普遍适用性。
技术实现思路
本专利技术的目的是为了解决现有针对可伸缩视频的快速帧内编码模式决策技术存在的相关性模型不能准确描述SHVC编码中帧内编码模式的相关性、缺少针对不同大小PU的快速帧内编码模式决策算法、缺乏针对RMD过程之后的编码过程所进行的优化、针对SHVC标准的快速帧内编码模式决策算法的性能较差等问题，而提出的一种用于可伸缩视频编码的快速帧内编码模式决策方法。本专利技术中提出的方法适用于增强层对于基本层的伸缩因子为2的情形，即增强层中PU的长度和宽度分别为基本层中PU的长度和宽度的2倍，并且本专利技术中提出的快速帧内编码模式决策方法实现于增强层中，而基本层的帧内编码模式决策过程采用由联合视频专家组开发的SHM12.0开源参考软件中的原始帧内编码模式决策算法。上述的专利技术目的是通过以下技术方案实现的：步骤一、获取增强层中当前PU在基本层中同位PU(二者的位置关系如图2所示)的帧内编码模式信息，定义基本层和增强层在帧内编码模式上的相关性；即增强层中当前PU的帧内编码模式与增强层中当前PU在基本层中同位PU的最优帧内编码模式或次优帧内编码模式的模式序号(如图1所示)差值小于1的概率；步骤二、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用由联合视频专家组开发的SHM12.0开源参考软件进行编码，并利用在步骤一中定义的基本层和增强层在帧内编码模式上的相关性，计算基本层和增强层在帧内编码模式上的相关性数据(层间相关性数据)；步骤三、定义增强层中当前PU与其在前一帧中的同位PU(二者的位置关系如图3所示)之间的帧内编码模式相关性；即增强层中当前PU的帧内编码模式与增强层中当前PU在前一帧中的同位PU的最优帧内编码模式的模式序号(如图1所示)差值小于1的概率；步骤四、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤三中定义的增强层中当前PU与其在前一帧中的同位PU之间的帧内编码模式相关性，计算增强层中当前PU与其在前一帧中的同位PU之间的帧内编码模式相关性数据(时间相关性数据)；步骤五、定义增强层中当前PU与其在基本层中的同位PU的空间相邻PU(各PU的位置关系如图2所示)之间的帧内编码模式相关性；即增强层中当前PU的帧内编码模式与增强层中当前PU在基本层中的同位PU的左侧相邻PU、上方相邻PU以及左上方相邻PU的最优帧内编码模式或次优帧内编码模式的模式序号(如图1所示)差值小于1的概率；步骤六、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤五中定义的增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间在帧内编码模式上的空间相关性，计算增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间的帧内编码模式相关性数据(空间相关性数据)；步骤七、根据在步骤二中得到的层间相关性数据、步骤四中得到的时间相关性数据和步骤六中得到的空间相关性数据，针对增强层中不同大小的PU构造初始候选帧内编码本文档来自技高网...

【技术保护点】
1.一种用于可伸缩视频编码的快速帧内编码模式决策方法，其特征在于它是按照以下步骤进行的：步骤一、获取增强层中当前PU在基本层中同位PU的编码模式信息，定义基本层和增强层在编码模式上的相关性，然后执行步骤二；PU即预测单元；步骤二、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤一中定义的基本层和增强层在编码模式上的相关性，计算基本层和增强层在编码模式上的相关性数据，即层间相关性数据，然后执行步骤三；步骤三、定义增强层中当前PU与其在前一帧中的同位PU之间的编码模式相关性，然后执行步骤四；步骤四、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤三中定义的增强层中当前PU与其在前一帧中的同位PU之间的编码模式相关性，计算增强层中当前PU与其在前一帧中的同位PU之间的编码模式相关性数据，即时间相关性数据，然后执行步骤五；步骤五、定义增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间的编码模式相关性，然后执行步骤六；步骤六、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤五中定义的增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间在编码模式上的空间相关性，计算增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间的编码模式相关性数据，即空间相关性数据，然后执行步骤七；步骤七、根据在步骤二中得到的层间相关性数据、步骤四中得到的时间相关性数据和步骤六中得到的空间相关性数据，针对增强层中不同大小的PU构造初始候选编码模式列表：首先判断增强层中当前PU的大小是否为64×64；如果是，则为增强层中的当前PU构造初始候选编码模式列表CL0，然后执行步骤十四；否则，执行步骤八；步骤八、判断增强层中当前PU的大小是否为32×32；如果是，则为增强层中的当前PU构造初始候选编码模式列表CL1，然后执行步骤十四；否则，执行步骤九；步骤九、判断增强层中当前PU的大小是否为16×16；如果是，则执行步骤十；否则，执行步骤十一；步骤十、判断当前帧是否为第0帧；如果是，则为增强层中的当前PU构造初始候选编码模式列表CLin，然后执行步骤十四；否则，为增强层中的当前PU构造初始候选编码模式列表CL2，然后执行步骤十四；步骤十一、判断增强层中当前PU的大小是否为8×8；如果是，则执行步骤十二；否则，执行步骤十三；步骤十二、判断当前帧是否为第0帧；如果是，则为增强层中的当前PU构造初始候选编码模式列表CLin，然后执行步骤十四；否则，为增强层中的当前PU构造初始候选编码模式列表CL3，然后执行步骤十四；步骤十三、为增强层中大小为4×4的当前PU构造初始候选编码模式列表CL4，然后执行步骤十四；步骤十四、将最有可能模式，根据实际执行的步骤合并入在步骤七、步骤八、步骤十、步骤十二或步骤十三中构造的初始候选编码模式列表中，组成新的候选编码模式列表CLnew；然后，对CLnew中的候选编码模式进行粗略模式决策处理，保留哈达玛代价值最小的M种编码模式；然后，判断当前PU采用的初始候选编码模式列表是否为CLin；如果是，则执行步骤十五；否则，执行步骤十六；最有可能模式，即MPM；粗略模式决策，即RMD；步骤十五、构造一个新的候选编码模式列表CL′new，其中包括在步骤十四中经过RMD处理后得到的M种候选编码模式，以及模式序号与这M种候选编码模式中的方向性编码模式的模式序号相差为1的编码模式；对列表CL′new中的候选编码模式再次进行RMD处理，并保留哈达玛代价值最小的M种编码模式，然后执行步骤十六；步骤十六、计算在步骤十五中经过再次RMD处理得到的M种候选编码模式和MPM的哈达玛代价值，其中最小的哈达玛代价值记为HCOSTMODE_MIN；将哈达玛代价值大于HCOSTMODE_MIN的1.5倍的编码模式从候选编码模式列表中移除；判断候选编码模式列表中剩余的候选编码模式的个数是否大于1；如果是，则执行步骤十七；否则，执行步骤十八；步骤十七、候选编码模式列表中仅保留哈达玛代价值最小的两种编码模式，然后执行步骤十八；步骤十八、对候选编码模式列表中最终保留下来的编码模式执行SHM12.0参考软件中默认的残差四叉树编码处理，为当前PU选择出最优编码模式；残差四叉树编码处理，即RQT。...

【技术特征摘要】
1.一种用于可伸缩视频编码的快速帧内编码模式决策方法，其特征在于它是按照以下步骤进行的：步骤一、获取增强层中当前PU在基本层中同位PU的编码模式信息，定义基本层和增强层在编码模式上的相关性，然后执行步骤二；PU即预测单元；步骤二、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤一中定义的基本层和增强层在编码模式上的相关性，计算基本层和增强层在编码模式上的相关性数据，即层间相关性数据，然后执行步骤三；步骤三、定义增强层中当前PU与其在前一帧中的同位PU之间的编码模式相关性，然后执行步骤四；步骤四、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤三中定义的增强层中当前PU与其在前一帧中的同位PU之间的编码模式相关性，计算增强层中当前PU与其在前一帧中的同位PU之间的编码模式相关性数据，即时间相关性数据，然后执行步骤五；步骤五、定义增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间的编码模式相关性，然后执行步骤六；步骤六、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤五中定义的增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间在编码模式上的空间相关性，计算增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间的编码模式相关性数据，即空间相关性数据，然后执行步骤七；步骤七、根据在步骤二中得到的层间相关性数据、步骤四中得到的时间相关性数据和步骤六中得到的空间相关性数据，针对增强层中不同大小的PU构造初始候选编码模式列表：首先判断增强层中当前PU的大小是否为64×64；如果是，则为增强层中的当前PU构造初始候选编码模式列表CL0，然后执行步骤十四；否则，执行步骤八；步骤八、判断增强层中当前PU的大小是否为32×32；如果是，则为增强层中的当前PU构造初始候选编码模式列表CL1，然后执行步骤十四；否则，执行步骤九；步骤九、判断增强层中当前PU的大小是否为16×16；如果是，则执行步骤十；否则，执行步骤十一；步骤十、判断当前帧是否为第0帧；如果是，则为增强层中的当前PU构造初始候选编码模式列表CLin，然后执行步骤十四；否则，为增强层中的当前PU构造初始候选编码模式列表CL2，然后执行步骤十四；步骤十一、判断增强层中当前PU的大小是否为8×8；如果是，则执行步骤十二；否则，执行步骤十三；步骤十二、判断当前帧是否为第0帧；如果是，则为增强层中的当前PU构造初始候选编码模式列表CLin，然后执行步骤十四；否则，为增强层中的当前PU构造初始候选编码模式列表CL3，然后执行步骤十四；步骤十三、为增强层中大小为4×4的当前PU构造初始候选编码模式列表CL4，然后执行步骤十四；步骤十四、将最有可能模式，根据实际执行的步骤合并入在步骤七、步骤八、步骤十、步骤十二或步骤十三中构造的初始候选编码模式列表中，组成新的候选编码模式列表CLnew；然后，对CLnew中的候选编码模式进行粗略模式决策处理，保留哈达玛代价值最小的M种编码模式；然后，判断当前PU采用的初始候选编码模式列表是否为CLin；如果是，则执行步骤十五；否则，执行步骤十六；最有可能模式，即MPM；粗略模式决策，即RMD；步骤十五、构造一个新的候选编码模式列表CL′new，其中包括在步骤十四中经过RMD处理后得到的M种候选编码模式，以及模式序号与这M种候选编码模式中的方向性编码模式的模式序号相差为1的编码模式；对列表CL′new中的候选编码模式再次进行RMD处理，并保留哈达玛代价值最小的M种编码模式，然后执行步骤十六；步骤十六、计算在步骤十五中经过再次RMD处理得到的M种候选编码模式和MPM的哈达玛代价值，其中最小的哈达玛代价值记为HCOSTMODE_MIN；将哈达玛代价值大于HCOSTMODE_MIN的1.5倍的编码模式从候选编码模式列表中移除；判断候选编码模式列表中剩余的候选编码模式的个数是否大于1；如果是，则执行步骤十七；否则，执行步骤十八；步骤十七、候选编码模式列表中仅保留哈达玛代价值最小的两种编码模式，然后执行步骤十八；步骤十八、对候选编码模式列表中最终保留下来的编码模式执行SHM12.0参考软件中默认的残差四叉树编码处理，为当前PU选择出最优编码模式；残差四叉树编码处理，即RQT。2.根据权利要求1所述的一种用于可伸缩视频编码的快速帧内编码模式决策方法，其特征在于，步骤一中定义的基本层和增强层在编码模式上的相关性的公式为：其中，Corinter_layer表示基本层和增强层在编码模式上的相关性；BlockBL&EL_col表示增强层中满足以下条件的大小为4×4的PU的个数：其最优编码模式的模式序号与其所属的PU在基本层中的同位PU的最优编码模式或次优编码模式的模式序号的差值小于1；Blocktotal表示增强层中包含的大小为4×4的PU的总个数。3.根据权利要求1所述的一种用于可伸缩视频编码的快速帧内编码模式决策方法，其特征在于，步...

【专利技术属性】
技术研发人员：卢鑫，余畅，顾谦，金雪松，谷延锋，胡悦，周必兴，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23