使用用于帧间预测的基于深度学习的环路滤波器的视频编码方法和设备技术

公开了用于使用用于帧间预测的基于深度学习的环路滤波器的视频编码方法和设备

【技术实现步骤摘要】
【国外来华专利技术】使用用于帧间预测的基于深度学习的环路滤波器的视频编码方法和设备


[0001]本公开涉及使用用于帧间预测的基于深度学习的环路滤波器的视频编码方法和设备
。

技术介绍

[0002]该部分中的陈述仅提供与本公开相关的背景信息，并且不一定构成现有技术
。
[0003]由于视频数据与音频或静态图像数据相比具有大量数据，因此视频数据在没有压缩的处理的情况下需要大量硬件资源
(
包括存储器
)
来存储或传输视频数据
。
[0004]因而，编码器通常用于压缩和存储或传输视频数据
。
解码器接收压缩的视频数据，对接收到的压缩的视频数据进行解压缩，并播放解压缩后的视频数据
。
视频压缩技术包括
H.264/AVC、
高效视频编码
(HEVC)
和通用视频编码
(VVC)
，其与
HEVC
相比具有约
30
％或更大的改进的编码效率
。
[0005]然而，由于图像尺寸
、
分辨率和帧率逐渐增加，所以要编码的数据量也增加
。
因而，需要提供比现有压缩技术更高的编码效率和改进的图像增强效果的新压缩技术
。
[0006]近来，基于深度学习的图像处理技术已经被应用于现有的编码基本技术
。
编码效率可通过将基于深度学习的图像处理技术应用于现有编码技术来改善，具体来说，例如压缩技术，例如帧间预测
、
帧内预测
、
环路滤波器
、
变换等
。
代表性的应用实例包括基于由深度学习模型生成的虚拟参考帧的帧间预测，并且包括基于去噪模型的环路滤波器
。
[0007]具体地，由于预测帧
(P
帧
)
和双向预测帧
(B
帧
)
即使在单个视频序列内也根据帧间不同的量化参数
(QP)
值造成不同水平的图像失真，因此需要适应于这种情况的环路滤波器
。
因此，需要提供具有被应用于帧间预测的基于深度学习的环路滤波器的视频编码
/
解码，以提高编码效率
。
[0008][
现有技术
][0009][
非专利文献
][0010](
非专利文献
1)Learning Deformable Kernels for Image and Video Denoising,Learning Deformable Kernels for Image and Video Denoising,arxiv:(190)4.06903。
[0011](
非专利文献
2)Ren Yang,Mai Xu,Zulin Wang,Tianyi Li,Multi
‑
Frame Quality Enhancement for Compressed Video,CVPR 2018,arxiv
：
(180)3.04680。
[0012](
非专利文献
3)Fuzhi Yang,Huan Yang,Jianlong Fu,Hongtao Lu,Baining Guo,Learning Texture Transformer Network for Image Super
‑
Resolution,CVPR 2020,arxiv:2006.04139。

技术实现思路

[0013]【
技术问题
】
[0014]本公开致力于提供一种使用用于
P
帧和
B
帧的帧间预测的基于深度学习的环路滤波器以便根据存在于
P
帧和
B
帧中的量化参数
(QP)
值来减轻各种水平的图像失真的视频编码方法和设备
。
[0015]【
技术方案
】
[0016]本公开的至少一个方面提供了一种用于视频质量增强的设备
。
该设备包括输入单元，输入单元配置为获得重构的当前帧和解码的量化参数
。
该设备还包括：量化参数预处理器，量化参数预处理器配置为通过使用基于深度学习的嵌入函数，从量化参数计算嵌入矢量
。
可替换地，量化参数预处理器配置为通过使用基于深度学习的估计模型来估计由于量化参数而引起的图像失真
。
设备还包含去噪器，去噪器配置为通过使用基于深度学习的去噪模型从当前帧移除量化噪声而生成增强帧
。
去噪模型利用所计算的嵌入矢量或所估计的图像失真来生成增强帧
。
[0017]本公开的另一方面提供一种由计算设备执行的用于增强当前帧的图像质量的方法
。
该方法包括获得重构的当前帧和解码的量化参数
。
该方法还包括通过使用基于深度学习的嵌入函数从量化参数计算嵌入矢量
。
可替换地，该方法还包括通过使用基于深度学习的估计模型来估计由于量化参数引起的图像失真
。
该方法还包含通过使用基于深度学习的去噪模型从当前帧移除量化噪声来生成增强帧
。
生成增强帧包括使去噪模型利用所计算的嵌入矢量或所估计的图像失真
。
[0018]【
有益效果
】
[0019]如上所述，本公开提供一种利用用于对
P
帧和
B
帧进行帧间预测的基于深度学习的环路滤波器的视频编码方法和设备
。
因此，通过根据
P
帧和
B
帧中存在的
QP
值减轻不同水平的图像失真，提高了编码效率
。
附图说明
[0020]图1是示出可实施本公开的技术的视频编码设备的框图
。
[0021]图2示出用于使用四叉树加二叉树三叉树
(QTBTTT)
结构来分割块的方法
。
[0022]图
3a
和图
3b
示出包括广角帧内预测模式的多个帧内预测模式
。
[0023]图4是示出当前块的邻近块
。
[0024]图5是示出可实施本公开的技术的视频解码设备的框图
。
[0025]图6是示出根据随机接入
(RA)
模式的分层编码结构的示图
。
[0026]图7是示出根据本公开的至少一个实施方式的视频质量增强设备的示图
。
[0027]图
8a
和图
8b
是示出利用单个网络的单视频压缩伪像去除网络
(S
‑
VCARN)
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种用于视频质量增强的设备，包括：输入单元，配置为获得已经被重构的当前帧和已经被解码的量化参数；量化参数预处理器，配置为通过使用基于深度学习的嵌入函数从所述量化参数计算嵌入矢量，或者配置为通过使用基于深度学习的估计模型来估计由于所述量化参数而引起的图像失真；以及去噪器，配置为通过使用基于深度学习的去噪模型从所述当前帧去除量化噪声来生成增强帧，其中，所述去噪模型利用所计算的所述嵌入矢量或所估计的所述图像失真来生成所述增强帧
。2.
根据权利要求1所述的设备，其中，所述当前帧是由视频编码设备根据帧间预测重构的
P
帧
(
预测帧
)
或
B
帧
(
双向预测帧
)。3.
根据权利要求1所述的设备，其中，所述嵌入函数包括：嵌入层和多个全连接层
。4.
根据权利要求1所述的设备，其中，所述嵌入函数将所述量化参数的全部或部分
、
用于计算率失真的拉格朗日因子
、
所述当前帧的临时层
、
所述当前帧的类型或其任何组合作为输入
。5.
根据权利要求1所述的设备，其中，所述去噪模型包括
RB(
残差块
)
和卷积层的级联结构并且使用所述级联结构来生成所述增强帧，并且每个
RB
是在输入和输出之间具有跳跃路径的卷积块
。6.
根据权利要求5所述的设备，其中，所述去噪器配置为将由所述卷积层中的预设卷积层生成的特征乘以所述嵌入矢量的绝对值
。7.
根据权利要求1所述的设备，其中，所述去噪模型包括：
U
网络，所述
U
网络是配置为用于从所述当前帧生成内核的偏移的深度学习模型；采样器，配置为通过使用所述偏移对所述当前帧进行采样；卷积层，配置为从输入图像
、
所述
U
网络的输出特征图和采样的当前帧生成校准内核；以及输出卷积层，配置为通过使用所述校准内核将卷积应用于所述采样的当前帧以生成所述增强帧
。8.
根据权利要求7所述的设备，其中，所述去噪器配置为将所述校准内核乘以所述嵌入矢量的绝对值
。9.
根据权利要求1所述的设备，其中，所述估计模型包括：
U
网络，配置为从所述当前帧提取噪声图；分类器，配置为在
...

【专利技术属性】
技术研发人员：姜制远，金娜莹，李订炅，朴胜煜，
申请(专利权)人：起亚株式会社梨花女子大学校产学协力团，
类型：发明
国别省市：