基于深度学习和多特征融合的自适应CU拆分决策方法技术

技术编号:24941107 阅读:54 留言:0更新日期:2020-07-17 21:37
本发明专利技术提出了一种基于深度学习和多特征融合的自适应CU拆分决策方法,其步骤为:首先,利用标准偏差计算当前CU的纹理复杂度SD,再利用量化参数函数和深度函数构建阈值模型,将当前CU分为复杂CU和均匀CU;其次,如果复杂CU属于边缘CU,则利用基于多特征融合的CNN结构对复杂CU进行判断是否拆分;否则,利用基于自适应的CNN结构对复杂CU进行判断是否拆分。本发明专利技术将深度学习和多特征融合相结合,解决了编码复杂性的问题。基于多特征融合的CNN结构和基于自适应的CNN结构均可成功处理训练样本,避免计算所有与复杂CU的率失真RDO,从而降低了计算复杂度,节省了编码时间。

【技术实现步骤摘要】
基于深度学习和多特征融合的自适应CU拆分决策方法
本专利技术涉及图像处理
,特别是指一种基于深度学习和多特征融合的自适应CU拆分决策方法。
技术介绍
随着对视频压缩的更高要求,开发更有效的视频编码标准变得更加重要。JVET开发了下一代视频编码标准——H.266/VVC。H.266/VVC测试模型(VTM)实现了许多新颖的技术,可以显著提高编码效率。H.266/VVC使用四叉树嵌套多类型树(QTMT)的编码块体系结构进行块分区,这显示出更好的编码性能,但是导致极大的计算复杂度,可能是HEVC的5倍,并且H.266/VVC还包含67种帧内预测模式来进行帧内预测,其中,平面模式和DC模式与H.265/HEVC一样预测模式变得更加密集,因此可以获得更精确的预测,但同时计算复杂度也随之增加。此外,还引入了一些其他工具来提高编码效率,例如位置相关的帧内预测组合(DependentIntraPredictionCombination,PDPC)和多变换选择(MultipleTransformSelection,MTS),这些技术显著增强了H.266/V本文档来自技高网...

【技术保护点】
1.一种基于深度学习和多特征融合的自适应CU拆分决策方法,其特征在于,其步骤如下:/nS1、根据量化参数函数和深度函数构建阈值模型,并根据当前CU的量化参数和深度计算当前CU的纹理分类的阈值;/nS2、利用标准偏差计算当前CU的纹理复杂度SD;/nS3、判断纹理复杂度SD是否小于步骤S1中的阈值,若是,当前CU为均匀CU,不执行拆分,否则,当前CU为复杂CU,执行步骤S4;/nS4、判断复杂CU是否位于图像的边缘,若是,执行步骤S5,否则,执行步骤S6;/nS5、利用基于多特征融合的CNN结构对复杂CU进行分类,当分类结果为1,即复杂CU拆分后的率失真小于拆分前的率失真,对复杂CU进行拆分,否...

【技术特征摘要】
1.一种基于深度学习和多特征融合的自适应CU拆分决策方法,其特征在于,其步骤如下:
S1、根据量化参数函数和深度函数构建阈值模型,并根据当前CU的量化参数和深度计算当前CU的纹理分类的阈值;
S2、利用标准偏差计算当前CU的纹理复杂度SD;
S3、判断纹理复杂度SD是否小于步骤S1中的阈值,若是,当前CU为均匀CU,不执行拆分,否则,当前CU为复杂CU,执行步骤S4;
S4、判断复杂CU是否位于图像的边缘,若是,执行步骤S5,否则,执行步骤S6;
S5、利用基于多特征融合的CNN结构对复杂CU进行分类,当分类结果为1,即复杂CU拆分后的率失真小于拆分前的率失真,对复杂CU进行拆分,否则,复杂CU不拆分;
S6、利用基于自适应的CNN结构对复杂CU进行分类,当分类结果为1,对复杂CU进行拆分,否则,复杂CU不拆分。


2.根据权利要求1所述的基于深度学习和多特征融合的自适应CU拆分决策方法,其特征在于,所述阈值模型为:
Th=F(QP)×G(Depth),
其中,Th表示纹理分类的阈值,Depth表示当前CU的深度,QP表示量化参数,F(·)表示量化参数函数,G(·)表示深度函数;
所述量化参数函数和深度函数分别为:






其中,RCU_Depth表示深度为Depth的当前CU在一帧图像中所占的比率。


3.根据权利要求1所述的基于深度学习和多特征融合的自适应CU拆分决策方法,其特征在于,所述纹理复杂度SD的表达式为:



其中,W和H分别代表当前CU的宽度和高度,p(x,y)代表(x,y)处的像素值。


4.根据权利要求1所述的基于深度学习和多特征融合的自适应CU拆分决策方法,其特征在于,所述利用基于多特征融合的CNN结构对复杂CU进行分类的方法为:
S51、采集M组视频序列中位于边缘的复杂CU,并对复杂CU进行翻转与旋转后作为数据集,数据集分为训练集I和测试集I;
S52、分别计算训练集I中每个复杂CU的标准差和深度特征;
S53、搭建网络结构为卷积层I-池化层I-卷积层II-池化层II-卷积层III-池化层III-卷积层IV...

【专利技术属性】
技术研发人员:赵进超张秋闻王兆博王祎菡崔腾耀赵永博郭睿骁王晓蒋斌黄立勋张伟伟钱晓亮吴庆岗常化文魏涛孙丽君
申请(专利权)人:郑州轻工业大学
类型:发明
国别省市:河南;41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1