结合编码深度估计和贝叶斯判决的SHVC快速编码方法技术

本发明专利技术公开了一种结合编码深度估计和贝叶斯判决的SHVC快速编码方法，其实现的方法是在基本层保持原有的编码方法，在增强层采用快速编码方法。SHVC增强层快速编码方法包括编码树单元(CTU)深度范围估计方法、基于最小风险贝叶斯判决的编码单元(CU)快速划分方法和基于最大概率贝叶斯判决的预测单元(PU)快速模式选择方法。本发明专利技术大大减少了SHVC增强层编码中的CU深度划分和PU模式选择的复杂度，在保持编码压缩效率的前提下，有效地提高了SHVC的编码速度。

A fast shvc coding method combining depth estimation and Bayesian decision

【技术实现步骤摘要】
结合编码深度估计和贝叶斯判决的SHVC快速编码方法
本专利技术属于视频编码
，尤其涉及一种结合编码深度估计和贝叶斯判决的SHVC快速编码方法。
技术介绍
由于用户终端存在不同解码能力的设备，需要传输多路视频来满足不同用户的需求。同一段视频需要经过多次编码形成不同分辨率的视频，多路传输造成了带宽的浪费以及存在大量的冗余。为了解决当前这种存在数据冗余以及用户终端存在不同处理能力的设备和复杂的异构网络环境的情况，2014年国际电信联盟通信标准化组织下的视频编码专家组以及国际电工委员会下的动态图像专家组成立了视频编码联合专家组(JCT-VC)在已有的高效视频编码标准HEVC的基础上，制定了新一代可伸缩视频编码(HEVCScalabilityExtension，SHVC)标准。SHVC能够将同一视频内容编码成不同码率、不同清晰度的视频，从而实现多层传输，可以很好适应不同的网络传输条件。虽然这在一定程度上解决了带宽浪费以及数据冗余的问题，但是带来了编码复杂度快速提升的问题。图1是SHVC视频编码的框架，SHVC采用的是多层多环混合编码方式，它包含基本层编码和增强层编码，虽然每一层都是完整的HEVC编码，但是增强层可以利用基本层的层间运动估计、层间残差估计和层间纹理预测来提高压缩效率。由于基本层和增强层均采用HEVC编码，因此其编码结构是相似的，包括编码单元(CU)、预测单元(PU)、变换单元(TU)。如图2所示，CU的尺寸有64×64，32×32、16×16、8×8，分别对应着划分深度为0、1、2、3。其中64×64尺寸的CU被定义为编码树单元(CTU)，采用四叉树划分结构，每个CTU能够递归的划分成4个大小相等的CU，而每个CU又可以继续划分为4个大小相等的CU，直到最小的CU(8×8)。整个编码过程中，SHVC会对所有CU，从深度0到深度3遍历。每个CU都有对应的PU，PU是帧内预测、帧间预测的基本单元。如图3所示，在帧间编码中对于一个2N×2N的CU，其PU的划分模式有八种：2N×2N(Merge/Skip)(以下简称为2N×2N模式)，2N×N，N×2N，N×N，nR×2N，nL×2N，2N×nD，2N×nU，其中2N×N，N×2N，N×N为对称划分模式(SMP)，nR×2N，nL×2N，2N×nD，2N×nU为非对称划分模式(AMP)。为了得到最佳的压缩效率，基本层和增强层都需要遍历所有的CU深度和PU模式。在保证SHVC各层压缩效率不被影响的同时优化编码模式，降低编码复杂度，提高编码速度，并保持原有的视频编码质量，是目前视频编码的研究热点之一。
技术实现思路
本专利技术针对现有SHVC视频编码复杂度高的缺点，提出一种结合编码深度估计和贝叶斯判决的SHVC快速编码方法。本专利技术解决其技术问题所采用的技术方案如下：(1)CTU深度范围估计方法。首先离线统计当前CTU的深度范围与它的相邻块深度和，以及它在基本层对应位置的CU深度之间的分布概率，得到CTU的深度范围分布表。然后在快速编码帧中，参照CTU深度范围分布表来估计当前CTU的深度范围。(2)基于最小风险贝叶斯判决的快速CU划分方法先从特征帧中计算CU划分的特征及其贝叶斯模型和贝叶斯风险矩阵，再从快速编码帧中计算当前CU的贝叶斯风险函数，通过比较提前跳过与正常CU划分的贝叶斯风险将当前CU确定为提前跳过或正常CU划分，然后通过比较提前终止与正常CU划分的贝叶斯风险，将当前CU确定为提前终止或正常CU划分。(3)基于最大概率贝叶斯判决的快速PU模式选择方法先从特征帧中计算得到PU模式划分的特征及其贝叶斯模型，再从快速编码帧中计算当前PU的贝叶斯概率，通过比较2N×2N(Merge/Skip)，SMP，AMP三种模式下的贝叶斯概率，选择最大概率对应的模式实现快速PU模式选择。本专利技术利用了增强层与对应的基本层CU划分深度和PU模式的相关性，减少了增强层编码的复杂度，实现了SHVC的快速编码。首先，离线对视频序列进行标准的SHVC编码，统计增强层当前CTU的相邻块(左，上，左上，右上，如图4所示)的深度和DepNer_SUM，基本层对应位置CU的深度DepBL，以及当前CTU块的深度范围[DepEL_min，DepEL_max]三者之间的分布概率得到CTU深度范围分布表，其中DepEL_min表示当前CTU的最小深度值，DepEL_max表示当前CTU的最大深度值。然后，开始SHVC的实时编码。从每个视频序列增强层的第0帧开始，以每M帧定义为一个帧组，将每个帧组的前n帧定义为特征帧，剩余(M-n)帧定义为快速编码帧。对特征帧使用标准的SHVC编码，分别获取CU快速划分和PU模式快速选择所需要的特征信息，构建对应于这些特征的贝叶斯模型；然后在快速编码帧中，首先根据CTU深度范围分布表，获取当前CTU的深度范围。然后利用特征帧构建的贝叶斯模型和贝叶斯风险矩阵，采用基于最小风险贝叶斯判决的快速CU划分方法和基于最大概率贝叶斯判决的快速PU模式选择方法来实现SHVC快速编码。(一)离线统计获得CTU深度范围分布表对视频序列进行标准的SHVC编码，在增强层统计当前CTU的相邻块(左，上，左上，右上，如图4所示)深度和DepNer_SUM，基本层对应位置CU的深度DepBL，以及当前CTU块的深度范围[DepEL_min，DepEL_max]的分布概率来生成CTU深度范围分布表，其中DepEL_min表示当前CTU的最小深度值，DepEL_max表示当前CTU的最大深度值。步骤(I)定义Si(i＝1，2，3，4)为当前CTU的4种深度范围：1)S1表示深度范围[0，1]，包括了当前CTU块2种可能的深度范围[0，0]、[1，1]；2)S2表示深度范围[0，2]，包括了当前CTU块4种可能的深度范围[0，0]、[1，1]、[1，2]、[2，2]；3)S3表示深度范围[1，3]，包括了当前CTU块6种可能的深度范围[1，1]、[1，2]、[1，3]、[2，2]、[2，3]、[3，3]；4)S4表示深度范围[0，3]，包括了当前CTU块中所有可能的深度范围。设当前CTU相邻块的深度和DepNer_SUM为p，与其基本层对应位置CU的深度DepBL为q，则定义在约束条件(DepNer_SUM＝p，DepBL＝q)下的Si的条件概率为：其中Num(Si，(DepNer_SUM＝p，DepBL＝q))表示满足当前CTU相邻块深度和DepNer_SUM为p，基本层对应位置CU的深度DepBL为q的条件下，当前CTU归类为Si的样本数量，Num(DepNer_SUM＝p，DepBL＝q)表示同时满足当前CTU相邻块深度和DepNer_SUM为p，基本层对应位置CU的深度DepBL为q的两个条件下的所有CTU的样本数量。步骤(II)比较统计得到的四个条件概率P(Si|(DepNer_SUM＝p，DepBL＝q))，按如下规则生成CTU深度范围分布表：1)若P(S1|(De本文档来自技高网...

【技术保护点】
1.结合编码深度估计和贝叶斯判决的SHVC快速编码方法，其特征在于：/n首先离线对视频序列进行标准的SHVC编码，统计增强层当前编码树单元(CTU)相邻块的深度和，基本层对应位置编码单元(CU)的深度，以及当前CTU块的深度范围三者之间的分布概率，得到CTU深度范围分布表；/n接着开始SHVC的实时编码；从每个视频序列增强层的第0帧开始，以每M帧定义为一个帧组，将每个帧组的前n帧定义为特征帧，剩余(M-n)帧定义为快速编码帧；对特征帧使用标准的SHVC编码，分别获取CU快速划分和PU模式快速选择所需要的特征信息，构建对应于这些特征信息的贝叶斯模型；/n然后在快速编码帧中，首先根据CTU深度范围分布表，获取当前CTU的深度范围；再利用特征帧编码获取的CU划分和PU模式选择的贝叶斯模型和贝叶斯风险矩阵，最后采用基于最小风险贝叶斯判决的快速CU划分方法和基于最大概率贝叶斯判决的快速预测单元(PU)模式选择方法来实现SHVC快速编码。/n

【技术特征摘要】
1.结合编码深度估计和贝叶斯判决的SHVC快速编码方法，其特征在于：
首先离线对视频序列进行标准的SHVC编码，统计增强层当前编码树单元(CTU)相邻块的深度和，基本层对应位置编码单元(CU)的深度，以及当前CTU块的深度范围三者之间的分布概率，得到CTU深度范围分布表；
接着开始SHVC的实时编码；从每个视频序列增强层的第0帧开始，以每M帧定义为一个帧组，将每个帧组的前n帧定义为特征帧，剩余(M-n)帧定义为快速编码帧；对特征帧使用标准的SHVC编码，分别获取CU快速划分和PU模式快速选择所需要的特征信息，构建对应于这些特征信息的贝叶斯模型；
然后在快速编码帧中，首先根据CTU深度范围分布表，获取当前CTU的深度范围；再利用特征帧编码获取的CU划分和PU模式选择的贝叶斯模型和贝叶斯风险矩阵，最后采用基于最小风险贝叶斯判决的快速CU划分方法和基于最大概率贝叶斯判决的快速预测单元(PU)模式选择方法来实现SHVC快速编码。


2.根据权利要求1所述的结合编码深度估计和贝叶斯判决的SHVC快速编码方法，其特征在于离线统计获得CTU深度范围分布表；对视频序列进行标准的SHVC编码，在增强层统计当前CTU的相邻块(左CU，上CU，左上CU，右上CU)的深度和，基本层对应位置CU的深度，以及当前CTU块的深度范围，生成CTU深度范围分布表；
步骤(I)定义Si为当前CTU的4种深度范围，i＝1,2,3,4：
1)S1表示深度范围[0,1]，包括了当前CTU块2种可能的深度范围[0,0]、[1,1]；
2)S2表示深度范围[0,2]，包括了当前CTU块4种可能的深度范围[0,0]、[1,1]、[1,2]、[2,2]；
3)S3表示深度范围[1,3]，包括了当前CTU块6种可能的深度范围[1,1]、[1,2]、[1,3]、[2,2]、[2,3]、[3,3]；
4)S4表示深度范围[0,3]，包括了当前CTU块中所有可能的深度范围；
设当前CTU相邻块的深度和DepNer_SUM为p，与其基本层对应位置的CU的深度DepBL为q，则定义在约束条件下的Si的条件概率为：



其中Num(Si，(DepNer_SUM＝p，DepBL＝q))表示满足当前CTU相邻块深度和DepNer_SUM为p，基本层对应位置CU的深度DepBL为q的条件下，当前CTU归类为Si的样本数量，Num(DepNer_SUM＝p,DepBL＝q)表示同时满足当前CTU相邻块深度和DepNer_SUM为p，基本层对应位置CU的深度DepBL为q的两个条件下的所有CTU的样本数量；
步骤(II)比较统计得到的四个条件概率P(Si|(DepNer_SUM＝p,DepBL＝q))，按如下规则生成CTU深度范围分布表：
1)若P(S1|(DepNer_SUM＝p,DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[0,1]；
2)若P(S1|(DepNer_SUM＝p,DepBL＝q))小于90％且P(S2|(DepNer_SUM＝p,DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[0,2]；
3)若P(S2|(DepNer_SUM＝p,DepBL＝q))小于90％且P(S3|(DepNer_SUM＝p,DepBL＝q))大于或等于90％，则将当前CTU深度范围确定为[1,3]；
以上条件都不满足，则将当前CTU深度范围确定为[0,3]。


3.根据权利要求1或2所述的结合编码深度估计和贝叶斯判决的SHVC快速编码方法，其特征在于用特征帧编码构建CU划分和PU模式选择的贝叶斯模型和贝叶斯风险矩阵，具体步骤是：
步骤(1)、在特征帧中采用标准的SHVC编码，在CU深度为0和1时计算提前跳过CU划分的特征；若当前CU的深度小于CU最终划分的最佳深度，则当前CU归类为w0，即可以提前跳过当前CU的划分；若当前CU的深度等于CU最终划分的最佳深度，则当前CU归类为w1，即当前CU作正常划分；然后，在CU深度为0，1和2时计算提前终止CU划分的特征；若当前CU的深度等于CU最终划分的最佳深度，则当前CU归类为w0，即可以提前终止当前CU的划分；若当前CU的深度小于CU最终划分的最佳深度，则当前CU归类为w1，即当前CU作正常划分；
(i)提前跳过CU划分的特征：
特征f1：基本层对应位置CU的CU深度；
特征f2：基本层对应位置CU的PU模式；
特征f3：基本层对应位置CU的率失真代价；
特征f4：基本层对应位置CU的灰度方差，计算公式为：



特征f5：当前CU与基本层对应位置CU之间的灰度Sobel梯度总和的差值，计算公式为：



其中Ii，j表示CU中以坐标位置(i，j)为中心的3×3灰度块，Gi，j表示Ii，j的横向及纵向Sobel梯度之和，SumG表示所有Gi，j之和；
(ii)提前终止CU划分的特征：
特征f6：基本层对应位置CU的CU深度，与特征f1相同；
特征f7：当前CU的最佳PU模式；
特征f8：当前CU的最佳率失真代价；
特征f9：当前CU残差块的平均偏差，计算公式为：



其中，Avgres表示CU残差块的平均残差值，Pixelres(i，j)表示坐标位置(i，j)的残差值，W和H分别表示CU残差块的宽和高；
步骤(2)、计算快速PU模式选择的特征
特征帧中采用标准的SHVC编码，在CU深度为0，1和2时分别计算PU模式选择的特征；将PU分为三类，w0表示执行2N×2N模式的编码，跳过SMP模式和AMP模式的编码；w1表示执行2N×2N模式和SMP模式的编码，跳过AMP模式编码；w2表示执行标准的PU模式编码；
采用的PU模式特征如下：
特征f10：基本层对应位置CU的PU模式，与特征f2相同；
特征f11：相邻块的最佳CU深度之和，计算公式为：
f11＝depabv+deplef+depabl(5)
depabv表示上CU的最佳CU深度，deplef表示左CU的最佳CU深度，depabl表示左上CU的最佳CU深度；
特征f12：相邻块的最佳PU模式的平均值，计算公式为:



PUmodeabv表示上CU的最佳PU模式，PUmodelef表示左CU的最佳PU模式，PUmodeabl表示左上CU的最佳PU模式；
特征f13：执行2N×2N模式选择后得到的最佳率失真代价RDcost与失真D的比率，计算公式为：



特征f14：当前CU块的灰度平均偏差，计算公式为：



其中Avg表示CU的平均灰度值，Pixel(i，j)表示坐标位置(i，j)的灰度值，W和H分别表示CU的宽和高；
步骤(3)、针对步骤(1)和步骤(2)得到的特征，采用贝叶斯模型来建模，其概率计算公式为：



其中，F表示特征集，w表示类别，P(w)为类别w的先验概率，P(F|w)为条件概率，P(F)为特征集先验概率，P(w|F)为后验概率，它表示在F特征集下样本划归为类别w的概率；
贝叶斯模型就是用先验概率P(w)和P(F)、条件概率P(F|w)来表示后验概率；P(w)通过统计特征集F中属于每个类别的比例来确定；对于P(F|w)，假设特征集F中的各个特征之间条件独立，则每种类别wi对应的条件概率为：



其中fj表示为特征集F＝{f1，f2…,fn}中的各种特征，n为特征种类的数量；对于提前跳过CU划分算法，wi只有二种类别ws和wn，ws表示提前跳过划分的CU集合，wn表示正常划分的CU集合；对于提前终止CU划分...

【专利技术属性】
技术研发人员：陆宇，黄旭东，黄晓峰，殷海兵，刘华平，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33