一种基于深度学习的帧内色度预测方法技术

本发明专利技术公开了一种基于深度学习的帧内色度预测方法，基于神经网络的跨分量预测方案，适用于H.266/VVC视频编码标准，该预测方法的输入为重建的亮度分量和临近已重建的亮度和色度分量，输出为当前编码块的色度分量，为了充分利用VVC在进行帧内色度预测时的相关特性，本发明专利技术设计了基于三个分支的注意力神经网络结构，包括跨分量边界分支、亮度卷积分支、注意力模块以及预测分支，分别用于提取临近亮度分量与色度分量的特征，以充分利用已重建临近块的信息；提取已重建亮度分量的特征，充分学习分量间的相关性；将跨分量边界分支和亮度卷积分支提取的特征，利用注意力机制的方式进行融合；通过已处理的融合分支预测UV分量的预测值。

【技术实现步骤摘要】

本专利技术属于视频压缩，具体涉及一种基于深度学习的帧内色度预测方法。

技术介绍

1、视频应用已经深入到人类社会的各个领域，包括视频会议、数字电视、网络直播、在线教育、远程监测和远程医疗等。同时，超高清视频、高动态范围视频、360度视频和体积视频等视频格式的应用也变得越来越普遍。视频应用的多样性以及丰富多彩的视频格式，导致视频数据量呈爆炸式增长，增加了存储和传输的压力，同时也给视频编码技术提出了更高的要求。长期以来，视频编码技术一直在不断更新。

2、高级视频压缩算法往往复杂且计算量大，导致编码和解码时间大大增加。因此，尽管带来了高编码增益，但它们在实践中的应用潜力有限。在当前最先进的解决方案中，新一代视频编码标准h.266/vvc的目标是在相同感知质量的情况下提高30-50％的压缩率。与之前的编码标准类似，vvc标准依旧采用了混合编码框架其中包括变换量化、熵编码、预测以及环路滤波等模块。混合视频编码框架的一个基本组成部分——帧内预测，通过从其临近像素中已经重建的样本预测当前块的样本来利用帧内的空间冗余。vvc允许以相当多的信令数据为代价在亮度分量本文档来自技高网...

【技术保护点】

1.一种基于深度学习的帧内色度预测方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种基于深度学习的帧内色度预测方法，其特征在于：所述步骤S2中的深度可分离卷积，是通过深度卷积对输入图像数据的每个通道进行卷积运算，再通过逐点卷积对生成的多通道特征图进行线性组合，以提取空间特征和沿通道维度合并特征：

3.根据权利要求1所述的一种基于深度学习的帧内色度预测方法，其特征在于：所述步骤S3中，基于通道注意力机制的跨分量边界特征处理，将跨分量边界分支的特征S2输入到全局平均池化层进行池化操作，全局平均池化层对每个通道的特征进行平均；然后，将得到的结果依次输入两个全连...

【技术特征摘要】

1.一种基于深度学习的帧内色度预测方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种基于深度学习的帧内色度预测方法，其特征在于：所述步骤s2中的深度可分离卷积，是通过深度卷积对输入图像数据的每个通道进行卷积运算，再通过逐点卷积对生成的多通道特征图进行线性组合，以提取空间特征和沿通道维度合并特征：

3.根据权利要求1所述的一种基于深度学习的帧内色度预测方法，其特征在于：所述步骤s3中，基于通道注意力机制的跨分量边界特征处理，将跨分量边界分支的特征s2输入到全局平均池化层进行池化操作，全局平均池化层对每个通道的特征进行平均；然后，将得到的结果依次输入两个全连接层并进行激活操作，得到相应维度的输出结果为s3；最后将输入特征s2和经激活后的权重矩阵s3点乘，使通道注意力加权得到跨分量边界特征si。

4.根据权利要求1所述的一种基于深度学习的帧内色度预测方法，其特征在于：所述步骤s3中，基于自注意力机制的特征融合，包括如下步骤：

5.根据权利要求4所述的一种基于深度学习的帧内色度预测方法，其特征在于：所述步骤s3.1中，将跨分量边界分支的特征si与滤波器wf进行卷积，得到h维矩阵f；将亮度分支的特征xi与滤波器wg进行卷积...

【专利技术属性】
技术研发人员：潘嘉浩，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：