【技术实现步骤摘要】
本专利技术涉及视频编码领域中的码率控制优化技术问题，尤其是涉及一种基于神经网络的i(intra)帧多功能视频编码(versatile video coding，vvc)码率控制优化方法。
技术介绍
1、随着终端设备智能化的不断发展，视频信息逐渐成为多媒体处理领域的焦点。目前已经提出了几种视频编码标准，包括h.264/avc、h.265/hevc和h.266/vvc。在这些标准中，被称为多功能视频编码(vvc)的新一代视频编码标准于2020年正式标准化。与高效视频编码(hevc)相比，vvc展示了在保持同等视频质量的同时实现降低近50％比特率的能力。为了实现这一点，vvc扩展了混合编码框架，并引入了一系列创新的编码技术。
2、随着vvc的压缩性能逐渐接近理论极限，下一代视频编码标准的发展方向成为研究人员关注的焦点。一方面，研究人员不断探索和优化基于vvc的技术，以获得优越的编码性能。另一方面，一些研究人员将基于学习的图像处理和编码的概念转移到现有的视频编码框架中。利用神经网络的学习能力，研究在特定模块中实现性能增强。例如，基于学习的方法已被证明在环路滤波、帧内/帧间预测、熵编码和快速算法等领域是有效的，显示出巨大的研究潜力。
3、码率控制作为h.266/vvc视频编码标准的核心模块之一，不仅能够实现尽可能精准的目标比特分配，同样对压缩视频失真的最小化、压缩视频质量的连贯性、降低系统延时等方面也具有一定的意义和价值。vvc针对hevc中的码率控制模型进行优化，其中针对不同的配置文件，扩充了帧组(group o
4、然而，在已有的基于学习的码率控制算法中，通过拟合获得预测编码参数在训练过程中需要花费大量的时间和复杂度。此外，建立视频内容特征和分配位之间的直接关系仍然是一个挑战。为了解决这些问题，本课题组进行探索研究，引入了基于高效神经网络的码率控制算法，该算法利用神经网络直接对视频内容特征及其对应的预测比特进行建模，大大降低了训练的复杂性。通过对vvc中码率控制模型进行以上改进后，可以在满足精准目标比特分配的前提下，提升编码视频的主客观性能，进而达到码率控制优化的目的，这正是本专利技术的任务所在。
技术实现思路
1、本专利技术专利针对vvc的i帧码率控制模型，提出了一种基于学习的码率控制模型。具体包括以下过程步骤：
2、(1)构建视频内容特征与预测比特之间的网络模型，具体如下：
3、如附图2所示，提出的网络以原始视频帧x为输入，大小为128×128，输出是预测比特为标量y。该网络由两个关键阶段组成:特征提取和比特预测。在特征提取模块中，使用10个卷积子模块，每个子模块包括一个卷积层、归一化层、线性层和平均池化层。为了捕获更深层次的特征信息，利用五个卷积层，逐渐将输出通道从64增加到1024。同时，最后5个卷积层逐步将输出通道减少到1个，保证了网络的稳定性和特征的细化。随后，在比特预测模块中，将提取的特征展开为一维特征，然后通过三个全连接层，两个线性层穿插，最后得到预测的比特数。
4、(2)将上述神经网络输出的预测比特用来指导帧级和ctu级的比特分配，具体如下：
5、在帧级比特分配中，该神经网络可以对帧内的每个ctu进行映射，得到相应的预测比特bitpre。根据每个ctu的预测比特数，可以计算出当前帧的比特数bitcurframe为:
6、
7、这里，nctu表示当前帧中包含的ctu个数。同时，在ctu级的比特分配中，直接将网络预测得到的比特数作为每个ctu的比特数，如下式所示：
8、bitcurctu＝bitpre (2)
9、其中，bitcurctu表示当前ctu的比特数。
10、本专利技术与现有技术相比所具有的优点及有益技术效果：
11、(1)本专利技术提出的一种基于神经网络的i帧vvc码率控制优化方法，与vvc默认的码率控制算法相比，本专利技术所提码控方法的编码性能高于vvc标准算法对应的码控模型的编码性能；
12、(2)本专利技术提出的一种基于神经网络的i帧vvc码率控制优化方法，利用了视频内容特征的先验信息，对i帧的编码比特进行预测，将比特误差控制在较小的范围内并获得较高的主观质量。
本文档来自技高网...【技术保护点】
1.一种基于神经网络的I帧VVC码率控制优化方法，其特征在于基于神经网络的I帧VVC码率控制的整体框架：
2.如权利要求1所述的基于神经网络的I帧VVC码率控制的整体框架，其特征在于建立视频帧内容特性与预测比特之间的关系的过程。
3.如权利要求1所述的基于神经网络的I帧VVC码率控制的整体框架，其特征在于将神经网络输出的预测比特指导帧级和CTU级的比特分配的过程。
【技术特征摘要】
1.一种基于神经网络的i帧vvc码率控制优化方法，其特征在于基于神经网络的i帧vvc码率控制的整体框架：
2.如权利要求1所述的基于神经网络的i帧vvc码率控制的整体框架，其特征在于建...
【专利技术属性】
技术研发人员：何小海，赵则明，毕晓东，熊淑华，杨红，陈洪刚，吴小强，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。