替换式端到端视频编解码制造技术

一种在视频编码器处进行视频编码的方法，包括接收图片，并通过执行优化过程，确定所述图片的替换表示，其中，所述执行优化过程用于调整所述图片的所述替换表示的元素，以基于端到端(E2E)优化框架对编码所述图片的所述替换表示的率失真性能进行优化。所述E2E优化框架是预训练的基于人工神经网络(ANN)的视频编解码框架。对所述图片的所述替换表示进行编码以生成码流。生成码流。生成码流。

【技术实现步骤摘要】
【国外来华专利技术】替换式端到端视频编解码
通过引用合并
[0001]本公开要求于2021年4月15日提交的美国专利申请第17/231,537号“替代式端到端视频编解码(Substitutional End
‑
to
‑
End Video Coding)”的优先权，该申请要求于2020年5月12日提交的美国临时申请第63/023,687号“替代式端到端图像压缩(Substitutional End
‑
to
‑
End Image Compression)”，以及2020年5月18日提交的美国临时申请第63/026,397号“具有比特率约束的替换式端到端图像压缩(Substitutional End
‑
to
‑
End Image Compression with Bitrate Constraint)”的优先权。这些在先申请的公开内容通过引用全部并入本文。


[0002]本公开描述了总体上涉及基于人工神经网络的视频编解码的实施例。
背景技术
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在视频编码器处进行视频编码的方法，其特征在于，包括：接收图片；通过执行优化过程，确定所述图片的替换表示，其中，所述执行优化过程用于调整所述图片的所述替换表示的元素，以基于端到端(E2E)优化框架对编码所述图片的所述替换表示的率失真性能进行优化，所述E2E优化框架是预训练的基于人工神经网络(ANN)的视频编解码框架；以及对所述图片的所述替换表示进行编码以生成码流。2.根据权利要求1所述的方法，其中，所述确定所述图片的所述替换表示，包括：执行所述优化过程来调整所述图片的所述替换表示的所述元素，以相对于所述图片的所述替换表示的所述元素的值来优化损失函数。3.根据权利要求2所述的方法，其中，所述执行优化过程，包括：基于包括步长和迭代次数的超参数来执行所述优化过程，所述步长或所述迭代次数根据输入到所述视频编码器的图片预先确定。4.根据权利要求2所述的方法，其中，所述执行优化过程，包括：基于包括步长和迭代次数的超参数执行所述优化过程，所述步长或所述迭代次数根据输入到所述视频编码器的图片进行调整。5.根据权利要求2所述的方法，其中，所述优化过程的当前迭代，包括：执行梯度下降以调整所述图片的所述替换表示的所述元素的当前值，以使所述损失函数最小化；以及使用所述图片的所述替换表示的所述元素的已调整的当前值作为所述优化过程的下一次迭代的输入。6.根据权利要求2所述的方法，其中，所述损失函数包括比特率度量和失真度量的加权和，所述加权和用于基于所述E2E优化框架，对所述图片的所述替换表示进行编码。7.根据权利要求6所述的方法，其中，所述失真度量包括当基于所述E2E优化框架编码所述图片的所述替换表示时，所述图片与所述图片的所述替换表示的重建图片之间的差异。8.根据权利要求6所述的方法，进一步包括：基于所述E2E优化框架调整所述加权和中的权衡系数，以调整用于对所述图片进行编码的比特率。9.根据权利要求6所述的方法，其中，所述比特率度量包括目标比特率与用于基于所述E2E优化框架对所述图片的所述替换表示进行编码的比特率之间的差异，并且所述方法进一步包括：调整所述加权和中的所述目标比特率，以调整用于使用所述E2E优化框架对所述图片进行编码的比特率。10.根据权利要求6所述的方法，其中，所述失真度量基于目标失真度量类型，所述目标失真度量类型与用于优化所述E2E优化框架的失真度量类型不同。11.根据权利要求6所述的方法，其中，所述失真度量基于目标失真度量类型，所述目标失真度量类型与用于优化所述E2E优...

【专利技术属性】
技术研发人员：王啸，蒋薇，王炜，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：