使用基于深度学习的帧间预测的视频编码与解码制造技术

本实施例提供一种视频编码或解码方法，该方法用于对当前块执行现有的帧间预测以生成运动矢量和预测样本，并基于运动矢量、参考样本、预测样本等使用基于深度学习的视频预测网络(VPN)为当前块生成增强预测样本以提高编码效率。效率。效率。

【技术实现步骤摘要】
【国外来华专利技术】使用基于深度学习的帧间预测的视频编码与解码


[0001]本专利技术涉及视频(图像)的编码或解码。更具体地，本专利技术涉及一种视频编码或解码方法，该方法用于对当前块执行现有的帧间预测以生成运动矢量和预测样本，并基于运动矢量、参考样本、预测样本等使用基于深度学习的视频预测网络(VPN)为当前块生成增强预测样本以提高编码效率。

技术介绍

[0002]下面的描述仅提供与本专利技术有关的背景信息但不构成现有技术。
[0003]由于视频数据与音频或静止图像数据相比具有大量数据，因此需要包括存储器在内的大量硬件资源以在不进行压缩处理的情况下存储或传输视频数据。
[0004]相应地，编码器通常用于压缩和存储或传输视频数据；解码器接收压缩的视频数据，对接收到的压缩的视频数据进行解压，并且播放解压后的视频数据。视频压缩技术包括H.264/AVC、高效视频编码(HEVC)和与HEVC相比编码效率提高了约30％以上的通用视频编码(VVC)。
[0005]然而，由于图像尺寸、分辨率和帧速率逐渐增加，因此待编码的数据量也随之增加。因此，需要一种相比本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频解码设备，包括：熵解码器，被配置为根据比特流解码当前块的运动矢量和残差值；帧间预测器，被配置为使用所述运动矢量指示的参考图片中的参考样本来生成所述当前块的第一预测样本；视频预测网络即VPN，被配置为使用所述运动矢量、所述参考样本和所述第一预测样本中的全部或部分生成第二预测样本；以及加法器，被配置为将所述残差值与所述第二预测样本相加以生成所述当前块的重建块。2.根据权利要求1所述的视频解码设备，其中所述VPN包括基于深度神经网络的第一视频重建模型，所述第一视频重建模型接收作为输入的所述第一预测样本且生成所述第二预测样本，并且被训练使得所述第二预测样本接近所述当前块的原始视频。3.根据权利要求1所述的视频解码设备，其中所述VPN包括基于深度神经网络的第二视频重建模型，所述第二视频重建模型接收作为输入的所述第一预测样本、过去参考样本、未来参考样本和所述运动矢量，并生成所述第二预测样本，并且被训练使得所述第二预测样本接近所述当前块的原始视频。4.根据权利要求1所述的视频解码设备，其中所述运动矢量通过应用高级运动矢量预测模式即AMVP模式或合并模式获取，并且基于从所述视频编码设备接收到的标志来确定是否应用所述VPN。5.根据权利要求1所述的视频解码设备，其中在所述当前块的帧间预测模式为AMVP模式或合并模式，且使用所述VPN预测所述当前块的周围块时，将与运动矢量候选列表中的所述周围块相对应的运动矢量的优先级设置为高。6.根据权利要求1所述的视频解码设备，其中在执行根据合并模式的帧间预测时，所述帧间预测器从运动矢量候选列表中选择周围块，并使用与所选择的周围块相对应的运动矢量指示的参考图片中的参考样本来生成所述当前块的第一预测样本，并且所述VPN使用所述运动矢量、所述参考样本和所述第一预测样本中的全部或部分生成虚拟块，并将所述虚拟块用作所述当前块的第二预测样本。7.根据权利要求6所述的视频解码设备，其中在所述运动矢量候选列表中包括的除现有周围块之外的所述虚拟块被选择并用作所述第二预测样本时，使用添加到所述运动矢量候选列表的新索引来指示所述虚拟块，并且将所述虚拟块的运动矢量设置为零矢量。8.一种视频解码设备，包括：熵解码器，被配置为根据比特流解码当前块的运动矢量和残差值；帧间预测器，被配置为使用所述运动矢量指示的参考图片中的参考样本来生成所述当前块的第一预测样本；视频预测网络即VPN，被配置为使用所述运动矢量或所述当前块的周围块的运动矢量生成多个第一运动矢量，并基于所述多个第一运动矢量根据所述参考样本或所述第一预测样本生成第二预测样本；以...

【专利技术属性】
技术研发人员：姜制遠，朴胜煜，林和平，
申请(专利权)人：起亚株式会社梨花女子大学校产学协力团，
类型：发明
国别省市：