基于可变系数深度学习的帧间预测方法技术

本实施例提供一种帧间预测方法，该方法：使可变系数深度学习模型自适应地学习视频的特征；将学习生成的可变系数深度学习模型参数从视频编码装置发送到视频解码装置；以及参考由可变系数深度学习模型生成的虚拟参考帧。由可变系数深度学习模型生成的虚拟参考帧。由可变系数深度学习模型生成的虚拟参考帧。

【技术实现步骤摘要】
【国外来华专利技术】基于可变系数深度学习的帧间预测方法


[0001]本公开涉及一种包括在视频编码或解码装置中的基于可变系数深度学习的帧间预测方法。

技术介绍

[0002]下面的描述仅提供与本公开相关的背景信息，不构成现有技术。
[0003]由于视频数据与音频数据或静止图像数据相比具有大的数据量，因此需要包括存储器的大量硬件资源，以存储或发送视频数据而不进行压缩处理。
[0004]因此，通常在存储或发送视频数据时使用编码器来压缩视频数据并存储或发送，并且解码器接收压缩后的视频数据，对接收的压缩视频数据进行解压，并播放解压缩后的视频数据。视频压缩技术包括H.264/AVC、高效视频编码(HEVC)和多功能视频编码(VVC)，与HEVC相比，VVC的编码效率提高了约30％以上。
[0005]然而，由于图像大小、分辨率和帧速率逐渐增加，因此需要编码的数据量也增加。因此，需要一种提供比现有压缩技术更高的编码效率和改进的图像增强效果的新压缩技术。
[0006]最近，一种基于深度学习的视频处理技术被应用于现有的编码元件技术。基于深度学习的视频处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由视频解码装置执行的视频解码方法，包括：从比特流中解码可变系数值、仿射预测标志和编码模式，其中，所述仿射预测标志指示是否对当前块应用仿射运动预测，所述编码模式是所述当前块的运动信息的编码模式并指示合并模式或高级运动矢量预测(AMVP)模式；通过利用插值模型，基于参考帧生成虚拟参考帧，其中，通过所述可变系数值设置包括在所述插值模型中的可变系数网络；以及当所述编码模式为所述合并模式时，基于所述虚拟参考帧和所述参考帧生成所述当前块的合并候选。2.根据权利要求1所述的视频解码方法，其中，所述插值模型是下列模型中的一种：深度学习模型，从所述参考帧直接生成所述虚拟参考帧；深度学习模型，从所述参考帧生成掩码，然后基于所述掩码对所述参考帧执行加权和以生成所述虚拟参考帧；以及深度学习模型，从所述参考帧生成光流，然后基于所述光流扭转所述参考帧以生成所述虚拟参考帧。3.根据权利要求1所述的视频解码方法，其中，所述视频编码装置利用基于由所述插值模型生成的推断帧和原始帧之间的差值的损失函数来更新所述插值模型的所述可变系数网络以生成所述可变系数值。4.根据权利要求1所述的视频解码方法，其中，所述插值模型进一步包括固定系数网络，并且所述固定系数网络的固定系数值经过基于整个原始参考帧的预训练生成并根据预定的协议设置。5.根据权利要求4所述的视频解码方法，其中，所述插值模型的所述可变系数网络连接到所述固定系数网络的后端。6.根据权利要求1所述的视频解码方法，其中，按帧单位或至少一个图片组(GOP)单位对所述可变系数值进行解码。7.根据权利要求1所述的视频解码方法，其中，生成所述合并候选包括：搜索空间合并候选；以及在考虑所述虚拟参考帧的情况下搜索时间合并候选。8.根据权利要求7所述的视频解码方法，其中，当所述时间合并候选的参考帧和存在与所述当前块相同位置的块的图片都是虚拟参考帧时，将零运动矢量设置为所述合并候选。9.根据权利要求1所述的视频解码方法，进一步包括：当所述仿射预测标志为真并且所述编码模式为所述AMVP模式时，生成仿射AMVP候选，其中，生成所述仿射AMVP候选包括：在考虑所述虚拟参考帧的情况下添加继承的仿射A...

【专利技术属性】
技术研发人员：姜制远，金挪茔，李订炅，朴胜煜，林和平，
申请(专利权)人：起亚株式会社梨花女子大学校产学协力团，
类型：发明
国别省市：