【技术实现步骤摘要】
本申请属于视频压缩，尤其涉及视频质量增强、压缩方法、装置、终端及介质。
技术介绍
1、视频压缩，又称视频编码，其目的在于消除视频信号之间的冗余信息，从而实现更高效的存储和传输。近年来，超高清视频内容数据呈现爆炸式增长，相比之下存储以及带宽的提升则较为缓慢，因而实现更高效的视频压缩算法有着重要意义。
2、目前所采用的视频压缩方法，以光流为运动表示形式，通过运动估计和运动补偿方式进行时域预测，进而消除时域冗余。但是作为运动信息表示形式的光流需要进行编码传输，需要占据一定的码率，因此，在视频压缩的码率不变的情况下，压缩后的视频质量有所降低。
3、因此，有必要提出一种质量增强方法，在视频压缩时对需要质量增强的帧进行质量增强，以提高视频压缩后的视频质量。
技术实现思路
1、本申请实施例提供了视频质量增强、压缩方法、装置、终端及介质，可以解决由于作为运动信息表示的光流需要进行编码传输，占据一定码率，导致视频压缩后视频质量有所降低的问题。
2、第一方面，本申请实施例提供了一种视频质量增强方法，包括：
3、获取解码运动信息，解码运动信息是视频文件中的原始帧和原始帧对应的参考帧之间的运动信息经过编解码后得到的；
4、将目标帧、解码运动信息以及目标参考帧输入预设的运动估计网络，通过运动估计网络得到目标帧与目标参考帧之间的运动偏移量；
5、其中，目标参考帧是根据目标帧的类型确定的，目标参考帧为目标帧的相邻帧；运动估计网络是以视频帧和
6、基于运动偏移量，对目标参考帧中的像素进行帧间对齐，得到目标帧的增强帧。
7、上述方法通过运动估计网络对输入帧以及解码运动信息进行学习，相对于以往的熵编码方式，其提取图像的特征、挖掘图像的深层表达能力、对高维数据的处理能力有所增强，提高了编码效率以及特征提取的准确度。另外，本实施例在对目标帧进行质量增强时，运动偏移量是根据运动估计网络获取得到的，无需进行编码传输，降低码率的占用，提高视频压缩时的质量。
8、在第一方面的一种可能的实现方式中，通过运动估计网络得到目标帧与目标参考帧之间的运动偏移量的步骤包括：
9、以解码运动信息作为先验知识输入运动估计网络，得到置信度满足预设条件的运动偏移量。
10、上述方法中，以解码运动信息作为先验知识输入运动估计网络中，将解码运动信息作为运动估计网络进行特征提取的参考，使机器学习的过程中可以根据关键特征进行拟合，得到置信度更高的运动偏移量，以提高帧间对齐效率。
11、在第一方面的一种可能的实现方式中，通过运动估计网络得到目标帧与目标参考帧之间的运动偏移量的步骤包括：
12、通过运估计模型对目标帧和目标参考帧中的像素进行学习，得到每个像素对应的目标帧与目标参考帧的多组运动残差；
13、根据各组运动残差和解码运动信息得到多组运动偏移量。
14、上述方法针对于目标帧的每一个像素学习多组运动残差，从多个参考点进行采样，并复用解码运动信息，进而实现更加高效的运动补偿和运动估计，实现有参考的质量增强，进而提高遮挡等复杂场景的预测性能。通过获取目标帧和目标参考帧的运动残差，消除目标帧和目标参考帧之间的信息冗余。通过复用解码运动信息，提高了数据的利用率。
15、在第一方面的一种可能的实现方式中，每组运动残差对应一置信度，基于运动偏移量，对目标参考帧中的像素进行帧间对齐，得到目标帧的增强帧的步骤包括：
16、基于多组运动偏移量和对应的置信度，对目标参考帧进行卷积，提取得到时域对齐的参考特征；
17、重建参考特征，得到目标帧的像素残差；
18、根据像素残差对目标帧进行增强，得到增强帧。
19、上述方法通过基于不同的运动偏移量和置信度，对目标参考帧进行卷积，得到时域对齐的参考特征，提高所得到的参考特征的质量，通过对高质量的参考特征进行重建，得到像素残差，根据像素残差，进而对目标帧进行补偿，使在对目标帧进行增强时，其参考的可信度更高，进一步提高质量增强性能。
20、在第一方面的一种可能的实现方式中，对目标参考帧进行卷积，提取得到时域对齐的参考特征的步骤包括：
21、利用可变形卷积对目标参考帧进行卷积，提取得到时域对齐的参考特征。
22、上述方法通过具有参数多样性的可变形卷积对目标参考帧进行处理，根据运动偏移量进行学习，实现了对目标帧中形变较大的物体的卷积和学习，提高特征获取的质量。
23、在第一方面的一种可能的实现方式中，重建参考特征，得到目标帧的像素残差的步骤包括：
24、将时域对齐的参考特征送入重建网络，得到目标帧的像素残差。
25、第二方面，本申请实施例提供了一种视频压缩方法，包括：
26、获取视频文件的原始帧和原始帧对应的参考帧；
27、以参考帧作为时域参考进行预测，得到预测帧；
28、对预测帧进行质量增强得到预测增强帧；
29、计算原始帧与预测帧增强帧的残差，得到预测残差；
30、编码预测残差得到重建帧；
31、对重建帧进行质量增强得到重建增强帧；
32、输出重建增强帧作为视频压缩结果；
33、其中，质量增强的过程包括：
34、获取解码运动信息，解码运动信息是原始帧和原始帧对应的参考帧之间的运动信息经过编解码后得到的；
35、将目标帧、解码运动信息以及目标参考帧输入预设的运动估计网络，通过运动估计网络得到目标帧与目标参考帧之间的运动偏移量；
36、其中，目标参考帧是根据目标帧的类型确定的，目标参考帧为目标帧的相邻帧；运动估计网络是以视频帧和视频帧的相邻帧作为输入，得到视频帧和相邻帧之间像素块的相对位移的机器学习模型；
37、基于运动偏移量，对目标参考帧中的像素进行帧间对齐，得到目标增强帧；
38、其中，目标帧为预测帧或重建帧，当目标帧为预测帧时，目标增强帧为预测增强帧；当目标帧为重建帧时，目标增强帧为重建增强帧。
39、上述方法通过对采用深度学习的方法对预测帧和重建帧进行质量增强，无需通过光流进行运动补偿，避免光流信息的传输对于码率的占用，使压缩后的视频可占用码率增加，提高了视频压缩质量，同时，本实施例，通过同时对预测帧和重建帧进行质量增强，并联合视频编码和视频增强，在对预测帧进行质量增强后再进行计算预测残差，提高了视频的压缩性能与压缩质量。
40、第三方面，本申请实施例提供了一种视频质量增强装置，包括：
41、信息获取模块，用于获取解码运动信息，解码运动信息是视频文件中的原始帧和原始帧对应的参考帧之间的运动信息经过编解码后得到的；
42、运动估计模块，用于将目标帧、解码运动信息以及目标参考帧输入本文档来自技高网...
【技术保护点】
1.一种视频质量增强方法，其特征在于，包括：
2.如权利要求1所述的视频质量增强方法，其特征在于，所述通过所述运动估计网络得到所述目标帧与所述目标参考帧之间的运动偏移量的步骤包括：
3.根据权利要求1或2所述的视频质量增强方法，其特征在于，所述通过所述运动估计网络得到所述目标帧与所述目标参考帧之间的运动偏移量的步骤包括：
4.根据权利要求3所述的视频质量增强方法，其特征在于，每组所述运动残差对应一置信度，所述基于所述运动偏移量，对所述目标参考帧中的像素进行帧间对齐，得到所述目标帧的增强帧的步骤包括：
5.根据权利要求4所述的视频质量增强方法，其特征在于，所述对所述目标参考帧进行卷积，提取得到时域对齐的参考特征的步骤包括：
6.根据权利要求4所述的视频质量增强方法，其特征在于，所述重建所述参考特征，得到目标帧的像素残差的步骤包括：
7.一种视频压缩方法，其特征在于，包括：
8.一种视频质量增强装置，其特征在于，包括：
9.一种视频压缩装置，其特征在于，包括：
10.一种终端设
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项或如权利要求7所述的方法。
...【技术特征摘要】
1.一种视频质量增强方法，其特征在于，包括：
2.如权利要求1所述的视频质量增强方法，其特征在于，所述通过所述运动估计网络得到所述目标帧与所述目标参考帧之间的运动偏移量的步骤包括：
3.根据权利要求1或2所述的视频质量增强方法，其特征在于，所述通过所述运动估计网络得到所述目标帧与所述目标参考帧之间的运动偏移量的步骤包括：
4.根据权利要求3所述的视频质量增强方法，其特征在于，每组所述运动残差对应一置信度，所述基于所述运动偏移量，对所述目标参考帧中的像素进行帧间对齐，得到所述目标帧的增强帧的步骤包括：
5.根据权利要求4所述的视频质量增强方法，其特征在于，所述对所述目标参考帧进行卷积，提取得到时域对齐的参考特征的步骤包...
【专利技术属性】
技术研发人员：王荣刚，杨佳宇，高文，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。