一种基于神经网络的跨分量色度预测方法及装置制造方法及图纸

本发明专利技术公开一种基于神经网络的跨分量色度预测方法及装置，方法包括：获取编码块的相邻区域，编码块包括若干待预测点，相邻区域包括若干参考点；对相邻区域中的参考点进行数据预处理得到若干预测参考点；将预测参考点的相关信息和/或待预测点的相关信息输入神经网络模型实现待预测点色度值的预测，其中，预测参考点的相关信息包括预测参考点的亮度值与色度值中的至少一种，待预测点的相关信息包括待预测点的亮度值、待预测点与预测参考点的亮度差值中的至少一种。本发明专利技术通过数据预处理选择与待预测像素相关性强的数据后，使用神经网络进行预测以得到更准确的跨分量预测，在视频编解码中使用统一的预测方法进行分量间预测，降低了编解码复杂度。低了编解码复杂度。低了编解码复杂度。

【技术实现步骤摘要】
一种基于神经网络的跨分量色度预测方法及装置


[0001]本专利技术属于视频编码
，具体涉及一种基于神经网络的跨分量色度预测方法及装置。

技术介绍

[0002]H.266/VVC，即通用视频编码标准(Versatile Video Coding，简称VVC)是专为4K和8K流媒体而构建的一代新标准，其将帮助用户在设备上存储更多的高清视频，并减少网络上的数据使用量。H.266/VVC代表了四代视频编码国际标准的巅峰。由于H.266/VVC编码效率的飞跃性提升，视频的使用率将在全球范围内进一步提高。
[0003]新一代通用视频编码标准H.266/VVC中，色度帧内预测模式总共8种，其中颜色分量间线性模型技术(Cross
‑
component Linear Model Prediction，简称CCLM)是新增的针对色度分量的编码工具。由于同一颜色空间的各个分量之间存在较强的相关性，所以利用分量间的相关性去除冗余是很好的提高压缩效率的方法。现有在H.266/VVC中使用分量间线性模型预测方法包括：根据同一编码块的重建亮度值构造色度的预测值，如公式Pred
C
(i,j)＝α
·
Rec
L
(i,j)+β，其中，Pred
C
(i,j)表示编码块的色度预测值，Rec
L
(i,j)表示同一编码块中的重建亮度值，α和β是线性模型参数，通过相邻参考点的重建亮度、色度值推导得到。在H.266/VVC中包括三种分量间线性模型预测模式：INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM。每种模式都会选取最多4个相邻参考点用于线性模型参数α和β的推导。这三种模式的区别在于用于推导线性模型参数的相邻参考点的选择区域不同。确定三种模式的选择区域后，再进一步在选择区域内进行用于线性模型参数推导的相邻参考点的选取。获取相邻参考点后，根据有效相邻参考点的个数进行线性模型参数的推导，在推导出线性模型参数之后，对当前编码块通过公式Pred
C
(i,j)＝α
·
Rec
L
(i,j)+β进行色度值的预测。
[0004]但是，现有分量间线性模型预测方法中，对编码块中每个像素都使用相同的简单的线性函数Pred
C
(i,j)＝α
·
Rec
L
(i,j)+β及相同的α和β进行预测每一个点的色度值，首先一次函数计算快但是过于简单，误差较大，其次一个编码块的所有预测点使用同样参数的同一函数，也引入较大误差。也就是说，现有分量间线性模型预测方法得到的预测块准确度较低。

技术实现思路

[0005]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于神经网络的跨分量色度预测方法及装置。
[0006]本专利技术的一个实施例提供了一种基于神经网络的跨分量色度预测方法，包括：
[0007]获取编码块的相邻区域，所述编码块包括若干待预测点，所述相邻区域包括若干参考点；
[0008]对所述相邻区域中的参考点进行数据预处理得到待预测点的若干预测参考点；
[0009]将所述预测参考点的相关信息和/或待预测点的相关信息输入神经网络模型实现
待预测点色度值的预测，其中，所述预测参考点的相关信息包括预测参考点的亮度值、预测参考点的色度值中的至少一种，所述待预测点的相关信息包括待预测点的亮度值、待预测点与预测参考点的亮度差值中的至少一种。
[0010]在本专利技术的一个实施例中，获取的编码块的相邻区域包括上相邻区域、右上相邻区域、左相邻区域和左下相邻区域中的至少一种。
[0011]在本专利技术的一个实施例中，对所述相邻区域中参考点进行数据预处理得到待预测点的若干预测参考点包括：
[0012]对所述相邻区域中的参考点进行存储处理；
[0013]从存储的所有参考点中获取待预测点的若干预测参考点。
[0014]在本专利技术的一个实施例中，从存储的所有参考点中获取待预测点的若干预测参考点包括：
[0015]选择预设参考亮度值附近的N个参考点作为预测参考点，N为大于0的整数；
[0016]若选择的预测参考点数量小于N时，计算填充参考色度值和填充参考亮度值，利用所述填充参考色度值和填充参考亮度值将预测参考点数量补充为N个。
[0017]在本专利技术的一个实施例中，从存储的所有参考点中获取待预测点的若干预测参考点还包括：
[0018]将存储的所有参考点按照参考亮度值进行排序处理；
[0019]从排序的所有参考点中获取待预测点的若干预测参考点。
[0020]在本专利技术的一个实施例中，获取编码块的相邻区域之前还包括：
[0021]将所述编码块进行划分得到若干子编码块；
[0022]获取所述子编码块的相邻区域，所述子编码块包括若干待预测点，所述相邻区域包括若干参考点；
[0023]对所述子编码块的相邻区域中参考点进行数据预处理得到所述子编码块中待预测点的若干预测参考点。
[0024]在本专利技术的一个实施例中，对每个所述子编码块进行训练采用的第一神经网络模型不相同。
[0025]在本专利技术的一个实施例中，还包括：
[0026]所述预测参考点的相关信息还包括预测参考点的位置信息；
[0027]所述待预测点的相关信息还包括待预测点的位置信息。
[0028]在本专利技术的一个实施例中，还包括：
[0029]所述神经网络模型包括若干子神经网络模型；
[0030]将所述预测参考点的相关信息和/或待预测点的相关信息分别输入所述若干子神经网络模型实现待预测点色度值的预测。
[0031]本专利技术的另一个实施例提供了一种基于神经网络的跨分量色度预测装置，包括：
[0032]数据获取模块，用于获取编码块的相邻区域，所述编码块包括若干待预测点，所述相邻区域包括若干参考点；
[0033]数据处理模块，用于对所述相邻区域中的参考点进行数据预处理得到待预测点的若干预测参考点；
[0034]数据预测模块，用于将所述预测参考点的相关信息和/或待预测点的相关信息输
入神经网络模型实现待预测点色度值的预测，其中，所述预测参考点的相关信息包括预测参考点的亮度值、预测参考点的色度值中的至少一种，所述待预测点的相关信息包括待预测点的亮度值、待预测点与预测参考点的亮度差值中的至少一种。
[0035]与现有技术相比，本专利技术的有益效果：
[0036]本专利技术提供的基于神经网络的跨分量色度预测方法，是通过数据预处理选择与当前像素相关性强的数据后，使用神经网络模型对预处理数据进行处理以得到更准确预测值的跨分量预测，由于对数据进行了预处理，参与运算的数据相关性强，运算复杂度低，且容易收敛，在视频编解码芯片中，使用统一的预测方法进行分量间预测，降低了编解码复杂度。
[0037]以下将结合附图及实施例对本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的跨分量色度预测方法，其特征在于，包括：获取编码块的相邻区域，所述编码块包括若干待预测点，所述相邻区域包括若干参考点；对所述相邻区域中的参考点进行数据预处理得到待预测点的若干预测参考点；将所述预测参考点的相关信息和/或待预测点的相关信息输入神经网络模型实现待预测点色度值的预测，其中，所述预测参考点的相关信息包括预测参考点的亮度值、预测参考点的色度值中的至少一种，所述待预测点的相关信息包括待预测点的亮度值、待预测点与预测参考点的亮度差值中的至少一种。2.根据权利要求1所述的基于神经网络的跨分量色度预测方法，其特征在于，获取的编码块的相邻区域包括上相邻区域、右上相邻区域、左相邻区域和左下相邻区域中的至少一种。3.根据权利要求1所述的基于神经网络的跨分量色度预测方法，其特征在于，对所述相邻区域中参考点进行数据预处理得到待预测点的若干预测参考点包括：对所述相邻区域中的参考点进行存储处理；从存储的所有参考点中获取待预测点的若干预测参考点。4.根据权利要求3所述的基于神经网络的跨分量色度预测方法，其特征在于，从存储的所有参考点中获取待预测点的若干预测参考点包括：选择预设参考亮度值附近的N个参考点作为预测参考点，N为大于0的整数；若选择的预测参考点数量小于N时，计算填充参考色度值和参考亮度值，利用所述填充参考色度值和填充参考亮度值将预测参考点数量补充为N个。5.根据权利要求3所述的基于神经网络的跨分量色度预测方法，其特征在于，从存储的所有参考点中获取待预测点的若干预测参考点还包括：将存储的所有参考点按照参考亮度值进行排序处理；从排序的所有参考点中获取待预测点的若干预测参考点...

【专利技术属性】
技术研发人员：马彦卓，霍俊彦，万帅，杨付正，王丹妮，冉启宏，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：