用于神经图像压缩中的内容自适应在线训练的方法和设备技术

技术编号:36761971 阅读:47 留言:0更新日期:2023-03-04 10:57
本公开内容的各方面提供了用于视频解码的方法、设备和非暂态计算机可读存储介质。该设备可以包括处理电路系统。处理电路系统被配置成对编码比特流中的用于视频解码器中的神经网络的神经网络更新信息进行解码。神经网络被配置有预训练参数。神经网络更新信息对应于要重构的编码图像并且指示与所述预训练参数中的预训练参数对应的替换参数。处理电路系统被配置成基于替换参数更新视频解码器中的神经网络。处理电路系统被配置成基于用于编码图像的更新的神经网络对编码图像进行解码。像的更新的神经网络对编码图像进行解码。像的更新的神经网络对编码图像进行解码。

【技术实现步骤摘要】
【国外来华专利技术】用于神经图像压缩中的内容自适应在线训练的方法和设备
[0001]相关申请的交叉引用
[0002]本申请要求于2022年4月26日提交的美国专利申请第17/729,994号,“METHOD AND APPARATUS FOR CONTENT

ADAPTIVE ONLINE TRAINING IN NEURAL IMAGE COMPRESSION”的优先权的权益,该美国专利申请要求于2021年4月30日提交的美国临时申请第63/182,396号,“CONTENT

ADAPTIVE ONLINE TRAINING IN NEURAL IMAGE COMPRESSION”的优先权的权益。在先申请的公开内容在此通过引用整体并入。


[0003]本公开内容描述了总体上涉及视频编码的实施方式。

技术介绍

[0004]本文中提供的
技术介绍
描述的目的在于总体上呈现本公开内容的背景。就在该
技术介绍
部分中描述的工作的程度而言,目前署名的专利技术人的工作以及在提交时可能未以其他方式描述为现有技术的描述的各方面既没有本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频解码器中的视频解码的方法,包括:对编码比特流中的用于所述视频解码器中的神经网络的神经网络更新信息进行解码,所述神经网络被配置有预训练参数,所述神经网络更新信息对应于要重构的编码图像并且指示与所述预训练参数中的预训练参数对应的替换参数;基于所述替换参数更新所述视频解码器中的神经网络;以及基于用于所述编码图像的所更新的神经网络对所述编码图像进行解码。2.根据权利要求1所述的方法,其中所述神经网络更新信息还指示用于所述视频解码器中的一个或更多个剩余神经网络的一个或更多个替换参数,并且所述方法还包括基于所述一个或更多个替换参数更新所述一个或更多个剩余神经网络。3.根据权利要求1所述的方法,其中所述编码比特流还指示一个或更多个编码比特,所述一个或更多个编码比特被用来确定用于对所述编码图像进行解码的上下文模型,所述视频解码器包括主解码器网络、上下文模型网络、熵参数网络和超解码器网络,所述神经网络是所述主解码器网络、所述上下文模型网络、所述熵参数网络和所述超解码器网络中的一者,所述方法还包括:使用所述超解码器网络对所述一个或更多个编码比特进行解码,以及基于所述上下文模型网络可用的所述编码图像的经量化的潜在和一个或更多个所解码的比特使用所述上下文模型网络和所述熵参数网络来确定上下文模型,并且对所述编码图像进行解码包括使用所述主解码器网络和所述上下文模型对所述编码图像进行解码。4.根据权利要求1所述的方法,其中所述预训练参数是预训练偏置项。5.根据权利要求1所述的方法,其中所述预训练参数是预训练权重系数。6.根据权利要求1所述的方法,其中所述神经网络更新信息指示与用于所述神经网络的所述预训练参数中的多个预训练参数对应的多个替换参数,所述多个预训练参数包括所述预训练参数,并且所述多个预训练参数包括一个或更多个预训练偏置项以及一个或更多个预训练权重系数,并且所述更新包括基于包括所述替换参数的所述多个替换参数来更新所述视频解码器中的所述神经网络。7.根据权利要求1所述的方法,其中所述神经网络更新信息指示所述替换参数与所述预训练参数之间的差,并且所述方法还包括根据所述差和所述预训练参数的和确定所述替换参数。8.根据权利要求1所述的方法,还包括:基于所更新的神经网络对所述编码比特流中的另外的编码图像进行解码。9.一种用于视频解码的设备,包括处理电路系统,所述处理电路系统被配置成:
对编码比特流中的用于视频解码器中的神经网络的神经网络更新信息进行解码,所述神经网络被配置有预训练参数,所述神经网络更新信息对应于要重构的编码图像并且指示与所述预训练参数中的预训练参数对应的替换参数;基于所述替换参数更新所述视频解码器中的神经网络;以及基于用于所述编码图像的所更新的神经网络对所述编码图像进行解码。10.根据权利要求9所述的设备,其中所述神经网络更新信息还包括用于所述视频解码器中的一个或更多个剩余神经网络的一个或更多个替换参数,并且所述处理电路系统被配置成基于所述一个或更多个替换参数更新所述一个或更多个剩余神经网络。11.根据权利要求9所述的设备,其中所述编码比...

【专利技术属性】
技术研发人员:丁鼎蒋薇王炜刘杉
申请(专利权)人:腾讯美国有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1