基于块级超分辨率的视频编码制造技术

一种将视频数据编码为比特流的方法包括：从具有第一分辨率的视频帧的多个视频块中确定当前块和一个或多个参考块，该一个或多个参考块包括用于预测该当前块的原始样本的参考样本；基于下采样方案确定该当前块的预测样本，该确定包括：计算具有低于该第一分辨率的第二分辨率的第一低分辨率块的样本，以及基于该第一低分辨率块的样本预测具有该第二分辨率的一个或多个第二低分辨率块的样本，该第一低分辨率块和该一个或多个第二低分辨率块的样本限定了该当前块的预测样本；以及基于该当前块的原始样本和该当前块的预测样本确定残差块的残差样本；将该残差块的样本变换成比特流；以及将与该当前块相关联的元数据嵌入到该比特流中，该元数据用于向解码器装置发信号通知该当前块的预测样本基于该下采样方案。

【技术实现步骤摘要】
【国外来华专利技术】基于块级超分辨率的视频编码
本专利技术涉及基于块级超分辨率的视频编码，并且具体地但非排他地，涉及用于基于超分辨率的视频编码的方法和系统、一种包括用于基于超分辨率的视频编码的模块的编码器装置和解码器装置、以及一种用于执行这种方法的计算机程序产品。
技术介绍
在视频编码标准化中，MPEG/ITU联合小组传统上采用混合视频编码系统(例如AVC和HEVC)。混合系统包括运动预测和基于视频块的变换编码的组合。在此，视频块(或简称为块)是指视频标准的基本处理单元。在不同的编码标准中，视频块以不同方式命名，例如，在H.264/AVC中，块被称为宏块，在HEVC中，块被称为编码树单元(CTU)，并且在VP9和AV1中，编码块被称为超级块。混合视频编码系统旨在利用视频帧中视频样本的冗余。特别地，运动预测利用连续帧之间的时间冗余和给定帧内像素的空间相关性，而所谓的变换编码对信号分量进行去相关。与前几代的其他编码标准(诸如H.264/AVC(MPEG-4部分10))相比，现有技术的编码标准(诸如HEVC、AV1和当前开发的VVC(多功能视频编码))具有显著更高的压缩本文档来自技高网...

【技术保护点】
1.一种将视频帧的块编码为比特流的方法，该方法包括：/n编码器装置的处理器确定需要被编码的当前块的原始样本的集合，并确定一个或多个重构块的参考样本，该一个或多个重构块中的每一个被编码并随后被解码，该当前块和这些重构块是该视频帧的一部分，该视频帧具有第一分辨率；/n该处理器基于该原始样本的集合和下采样方案、优选地基于该下采样方案的空间采样点阵，来确定原始样本的子集；/n该处理器基于这些参考样本确定第一预测样本，这些第一预测样本形成具有低于该第一分辨率的第二分辨率的第一低分辨率预测块，这些第一预测样本限定了针对该原始样本的子集的预测；/n该处理器基于这些第一预测样本确定一个或多个第二低分辨率预测块...

【技术特征摘要】
【国外来华专利技术】20180413 EP 18167361.71.一种将视频帧的块编码为比特流的方法，该方法包括：
编码器装置的处理器确定需要被编码的当前块的原始样本的集合，并确定一个或多个重构块的参考样本，该一个或多个重构块中的每一个被编码并随后被解码，该当前块和这些重构块是该视频帧的一部分，该视频帧具有第一分辨率；
该处理器基于该原始样本的集合和下采样方案、优选地基于该下采样方案的空间采样点阵，来确定原始样本的子集；
该处理器基于这些参考样本确定第一预测样本，这些第一预测样本形成具有低于该第一分辨率的第二分辨率的第一低分辨率预测块，这些第一预测样本限定了针对该原始样本的子集的预测；
该处理器基于这些第一预测样本确定一个或多个第二低分辨率预测块的第二预测样本，该一个或多个第二低分辨率预测块中的每一个具有该第二分辨率，这些第一预测样本和一个或多个第二预测样本形成该当前块的预测样本；
该处理器基于该原始样本的集合和该当前块的预测样本确定残差块的残差样本；以及
该处理器将这些残差样本变换成该比特流，该比特流包括用于向解码器装置发信号通知在对该当前块的编码期间使用了下采样方案的元数据。


2.根据权利要求1所述的方法，其中，基于这些参考样本确定第一预测样本包括：
基于这些参考样本中的一个或多个参考样本之间的函数关系，确定该原始样本的子集的候选预测样本；
基于该当前块的原始样本以及这些候选预测样本，确定第一低分辨率残差块的残差样本；
基于该低分辨率残差块的残差样本以及这些候选预测样本，确定该第一低分辨率块的重构样本，这些重构样本限定了这些第一预测样本。


3.根据权利要求2所述的方法，其中，基于视频编码标准的帧内预测模式或基于预测算法，确定这些参考样本中的一个或多个参考样本之间的该函数关系，该预测算法例如是机器学习算法或基于训练后的神经网络的算法。


4.根据权利要求1至3中任一项所述的方法，其中，基于这些第一预测样本确定一个或多个第二低分辨率预测块的第二预测样本包括：
基于插值算法以及这些第一预测样本的至少一部分确定该一个或多个第二低分辨率块之一的预测样本。


5.根据权利要求1至4中任一项所述的方法，其中，该元数据包括一个或多个第一参数，例如(二元)标志，用于向解码器装置发信号通知该当前块的预测样本是基于预定的下采样方案来确定的；和/或其中，该元数据包括一个或多个第二参数，用于向解码器装置发信号通知该当前块的预测样本是如何基于这些参考样本来确定的；和/或其中，该元数据包括一个或多个第三参数，用于向解码器装置发信号通知一个或多个第二低分辨率块的预测样本是如何基于该第一低分辨率块的预测样本来确定的。


6.根据权利要求1至5中任一项所述的方法，其中，该视频帧是帧内预测I帧、帧间预测P帧、双向预测B帧或超帧。


7.一种将比特流解码为视频帧的块的方法，该方法包括：
解码器装置的处理器接收包括残差块的经编码残差样本的比特流，这些残差样本与当前块的原始样本的集合相关联，该当前块是具有第一分辨率的视频帧的一部分；并且该比特流包括与残差块的经编码残差样本相关联的元数据，该元数据用于向该解码器装置发信号通知在对该当前块的编码期间使用了下采样方案；
该处理器基于该下采样方案、优选地基于该下采样方案的空间采样点阵以及一个或多个重构块的参考样本来确定第一低分辨率预测块的第一预测样本，该一个或多个重构块中的每一个被编码并随后被解码，该第一低分辨率预测块具有低于该第一分辨率的第二分辨率；
该处理器基于这些第一预测样本确定一个或多个第二低分辨率预测块的第二预测样本，该一个或多个第二低分辨率预测块中的每一个具有该第二分辨率；
该处理器基于该第一低分辨率块的第一预测样本和该一个或多个第二低分辨率块的第二预测样本确定该当前块的预测样本；
该处理器基于该当前块的预测样本以及这些残差样本确定该当前块的重构样本。


8.根据权利要求7所述的方法，其中，基于这些参考样本确定第一预测样本包括：
基于这些参考样本中的一个或多个参考样本之间的函数关系，确定该原始样本的子集的候选预测样本；
基于该当前块的原始样本以及这些候选预测样本，确定第一低分辨率残差块的残差样本；
基于该低分辨率残差块的残差样本以...

【专利技术属性】
技术研发人员：A·达西尔瓦普拉塔斯加布里尔，E·托马斯，
申请(专利权)人：皇家KPN公司，荷兰应用自然科学研究组织，
类型：发明
国别省市：荷兰;NL