一种基于VVC的帧内预测模式的优化方法及系统技术方案

本发明专利技术公开了一种基于VVC的帧内预测模式的优化方法及系统，本方法包括：根据IBC模式选取当前CU的MV，并根据当前CU的MV和当前CU的坐标确定参考块的坐标；获取参考块的每个像素位置所在CU的方向模式，得到参考块的帧内方向模式集DirsSet；将67个帧内预测模式划分为多个模式范围，确定DirsSet中的模式所属的模式范围，根据DirsSet所属的模式范围确定当前CU的候选模式范围并生成候选模式列表；从候选模式列表内选取出RDCost最小的模式作为最优模式。本发明专利技术通过IBC模式选取出参考块的帧内方向模式集DirsSet来对当前CU的帧内预测模式做优化，在当前CU的帧内预测模式选取中能够减少模式计算过程，从而降低编码时间。

【技术实现步骤摘要】
一种基于VVC的帧内预测模式的优化方法及系统
本专利技术涉及视频编码
，特别涉及一种基于VVC的帧内预测模式的优化方法及系统。
技术介绍
1、VVC(VersatileVideoCoding)的帧内复制块编码工具；随着4G、5G网络技术的迅猛发展，混合屏幕内容图像应用的场景越来越广泛。在人们的现实生活中，随处都可以见到视频会议、网络游戏、远程在线教育、汽车信息娱乐、虚拟桌面界面和云计算等应用程序。这些应用程序包含众多重复的图标、线条、文本以及网页等内容，这些内容组成了不同于相机拍摄内容的混合屏幕内容图像。针对这些混合屏幕内容图像，传统的HEVC编码技术已无法达到较好的压缩性能。图像编码联合协作组(JointCollaborativeTeamonVideoCoding，简称JCT-VC)在HEVC的基础上，推出了屏幕内容编码(ScreenContentCoding，简称SCC)标准扩展。HEVC－SCC中的帧内复制块(IntraBlockCopy，简称IBC)编码工具对屏幕内容图像的压缩性能有很大提高。为了进一步提升编码效率，运动图像专家组(MovingPictureExpertGroup，简称MPEG)和视频编码专家组(VideoCodingExpertGroup，简称VCEG)于2015年成立了联合视频探索组(JointVideoExplorationTeam，简称JVET)，推出了新的视频编码标准，并命名为VersatileVideoCoding，简称VVC，并发布了相应的编码器测试模型VTM。目前VVC中也采纳了IBC编码工具。IBC技术的编码过程是：首先获取MVP，然后根据MVP寻找最佳MV。在找最佳MV的过程中，先进行哈希搜索，如果哈希搜索找不到最佳匹配块，就进行运动估计搜索匹配最佳MV，运动估计过程中需要设置搜索区域。找到最佳MV后，通过运动补偿计算CU的预测值，用CU的原始值与预测值相减得到残差，并对残差进行变换量化熵编码。IBC的搜索区域及MV如图1所示。IBC技术有以下几个特点：(1)IBC的参考块是当前编码图像帧中已经完成编码而没有进行滤波的块，它的预测方式类似于帧间预测；(2)IBC模式也是针对PU来进行预测的，可以将它看作一个帧间PU；(3)在帧间预测过程中，可以将IBC模式和传统的帧间预测模式联系起来。比如，对于一个帧间CU，可以将其划分为4个PU，其中一部分使用IBC模式来预测，另一部分采用普通的帧间模式来预测。2、VVC的编码过程；与HEVC以及H.264/AVC一样，VVC也采用了基于块的混合编码框架。图2所示为典型的VVC视频编码流程。如图2中所示，输入的每帧图像首先被划分为128x128大小的正方形图像块，这些图像块被称为编码树单元(CodingTreeUnit，简称CTU)，CTU是四叉树以及嵌套的多类型树划分结构的根节点。CTU将根据四叉树及嵌套多类型树的划分结构进一步划分为编码单元(CodingUnit，简称CU)，CU是进行预测的基本单位。一个CU首先会根据其帧内帧间属性进行帧内预测或者帧间预测。如果是帧内预测，则主要利用空间相邻的参考像素经过线性插值得到当前CU的像素预测值，如果是帧间预测，则是利用时间相邻(前一帧或前几帧)的参考像素经过位移补偿得到当前CU的像素预测值。然后将CU的预测值与原始值相减得到残差，残差经过变换进一步减少相邻像素点误差的空间相关性并得到相应的残差系数。残差系数经量化后一方面会结合编码模式以及相关的编码参数等信息进行熵编码，从而得到压缩后的码流。另一方面，量化后的残差系数会经反量化反变换，然后将反量化反变换后的残差和预测值相加得到重建像素，重建图像经滤波后生成参考帧并存储在解码图像缓存器中，用于后面的CU帧内预测或帧间预测时作参考像素。3、VVC的帧内预测模式选择；为了适应图像更丰富的纹理，HEVC设定了更多的帧内预测模式，对应不同的预测方向。HEVC有35种帧内亮度预测模式，其中33种是方向预测模式或称角度预测模式，另外两种是直流(DC)和平面(Planar)模式，如图3所示。色度预测模式有5种，模式0是Planar模式，相当于亮度模式0；模式1是是垂直模式，相当于亮度模式1；模式2是水平模式，相当于亮度模式10，模式3是DC模式，相当于亮度模式1；模式4又称为导出模式，采用和对应亮度块相同的模式。为了更好的刻画视频图像中任意的边界方向特征，VVC中的帧内预测模式增加到了67种，其中包括65种角度预测模式、DC模式和平面模式，其中65种角度预测模式中包含了HEVC中的33种模式，DC模式和平面模式与HEVC中的一样，如图4所示。在VTM5.0中，帧内预测过程中加入了多变换选择(MTS)和低频不可分离变换(LFNST)，如果在SPS中启用了LFNST并且编码亮度分量的时候，最大的LFNST索引是2，表明最多进行2次低频不可分离变换。编码CU的时候，用lfnstIdx来标识当前CU进行第几次低频不可分离变换，lfnstIdx等于0表示不进行LFNST，lfnstIdx等于1表示进行1次LFNST，lfnstIdx等于2表示进行2次LFNST。如果在SPS中启用了MTS，对于亮度分量，当编码块的大小小于或等于32的时候，编码CU时会启用MTS，用mtsFlag来标识当前CU是否启用MTS。mtsFlag等于0表示不启用MTS，否则启用MTS。4、VVC的矩阵加权帧内预测(MIP)；VTM5.0中，在帧内预测过程中新加入了一个算法---矩阵加权帧内预测技术。对于一个宽为W、高为H的编码块来说，与传统帧内预测过程一样，MIP预测也先要选取参考像素，上方边界选取W个参考像素、左边边界选取H个参考像素，参考像素选取的规则与传统帧内预测过程相同。然后分三步进行操作：第一步，对选取的水平方向和竖直方向上的参考像素进行下采样，得到采样值，再将样点值拼接成长度为4或8的向量。不同尺寸的CU，采样值的大小不同，对于4x4、4x8、8x4和8x8的块，采样值的大小是4，其他块的采样值大小是8.第二步，获取用于做预测的权重矩阵、偏移向量。用权重矩阵与上一步得到的向量相乘，再加上偏移量就得到部分预测值。第三步，对预测值进行双线性插值得到全部预测值。MIP的预测过程如图5所示。VVC帧内预测模式从HEVC中的35种发展到了67种，在RMD阶段，现有VTM编码器的操作流程如下：第一步：对在HEVC中使用的35种方向模式进行计算，计算出每个模式的预测值和失真代价(SATDCost)，选出SATDCost值较小的N个模式组成初始的模式列表uiRdModeList，列表中的SATDCost是按从小到大的顺序进行排列。第二步：对列表uiRdModeList中每个模式的左右相邻模式进行计算，这些相邻模式是VVC中新加的方向模式，计算每个模式的预测值和SATDCost值，并与模式列表中模式的SATDCost进行比较，去除SATDCost值最大的那个模式，更新模式列表，这一步计算的模式数最多本文档来自技高网...

【技术保护点】
1.一种基于VVC的帧内预测模式的优化方法，其特征在于，包括以下步骤：/n根据IBC模式选取当前CU的MV，并根据当前CU的MV和当前CU的坐标确定参考块的坐标；/n获取所述参考块的每个像素位置所在CU的方向模式，得到所述参考块的帧内方向模式集DirsSet；/n将67个帧内预测模式划分为多个模式范围，确定所述DirsSet中的模式所属的模式范围，根据所述DirsSet所属的模式范围确定当前CU的候选模式范围并生成候选模式列表；/n从所述候选模式列表内选取出RDCost最小的模式作为最优模式。/n

【技术特征摘要】
1.一种基于VVC的帧内预测模式的优化方法，其特征在于，包括以下步骤：
根据IBC模式选取当前CU的MV，并根据当前CU的MV和当前CU的坐标确定参考块的坐标；
获取所述参考块的每个像素位置所在CU的方向模式，得到所述参考块的帧内方向模式集DirsSet；
将67个帧内预测模式划分为多个模式范围，确定所述DirsSet中的模式所属的模式范围，根据所述DirsSet所属的模式范围确定当前CU的候选模式范围并生成候选模式列表；
从所述候选模式列表内选取出RDCost最小的模式作为最优模式。


2.根据权利要求1所述一种基于VVC的帧内预测模式的优化方法，其特征在于，所述从所述候选模式列表内选取出RDCost最小的模式作为最优模式，包括步骤：
执行lfnstIdx＝0且mtsFlag＝0时，若所述候选模式列表中包含有所述DirsSet内的模式，则从包含的模式以及包含的模式之前的所有模式中选出RDCost最小的第一最优模式；
执行lfnstIdx＝0且mtsFlag＝1时，若所述候选模式列表中包含有所述第一最优模式，则从所述第一最优模式以及所述第一最优模式之前的所有模式中选出RDCost最小的第二最优模式；
执行lfnstIdx＝1且mtsFlag＝0时，若所述候选模式列表中包含所述第二最优模式，则从所述第二最优模式以及所述第二最优模式之前的所有模式中选出RDCost最小的第三最优模式；
执行lfnstIdx＝1且mtsFlag＝1时，若所述候选模式列表中包含所述第三最优模式，则从所述第三最优模式以及所述第三最优模式之前的所有模式中选出RDCost最小的第四最优模式；
执行lfnstIdx＝2且mtsFlag＝0时，若所述候选模式列表中包含所述第四最优模式，则从所述第四最优模式以及所述第四最优模式之前的所有模式中选出RDCost最小的第五最优模式；
执行lfnstIdx＝2且mtsFlag＝1时，若所述候选模式列表中包含所述第五最优模式，则从所述第五最优模式以及所述第五最优模式之前的所有模式中选出RDCost最小的第六最优模式。


3...

【专利技术属性】
技术研发人员：张昊，冯冰雪，马学睿，钟培雄，李诚，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43