一种可变码率视频压缩方法、系统、装置及存储介质制造方法及图纸

本发明专利技术提供可变码率视频压缩方法、系统、装置及存储介质，包括：将参考帧图像通过卷积神经网络，得到参考帧的第一特征图，通过尺度缩放及可导量化得到参考帧的第二特征图，并进行逆缩放，得到重构的参考帧。将预测帧图像通过卷积神经网络，得到预测帧的第一特征图，通过尺度缩放及量化得到预测帧的第二特征图。将预测帧的第二特征图与参考帧的第二特征图相减，得到特征图残差；利用参考帧的第二特征图作为先验信息，对特征图残差进行无损熵编码，并传输至解码端；将特征图残差与参考帧的第二特征图相加并逆缩放后，通过卷积神经网络得到重构的预测帧。本发明专利技术利用尺度因子将特征图进行尺度缩放，从而得到不同码率质量对应的特征图。图。图。

【技术实现步骤摘要】
一种可变码率视频压缩方法、系统、装置及存储介质


[0001]本专利技术属于图像处理领域，其涉及运用时域和空域上下文信息的端到端优化的可变码率视频压缩方案，具体是一种可变码率视频压缩方法、系统、装置及存储介质。

技术介绍

[0002]端到端优化是一种普遍应用于图像压缩和视频压缩的技术，它利用卷积神经网络将压缩建模为一个率失真双向优化问题，能够联合优化各个模块。可变码率方案能够通过单一模型，针对输入的图像或视频序列输出不同质量不同码率的输出图像或视频序列。经过对现有技术的文献检索发现，Lu等人在2019年的《IEEE Conference on Computer Vision and Pattern Recognition》(CVPR)会议上发表的“DVC:An End
‑
to
‑
End Deep Video Compression Framework”提出了第一个端到端的视频编码框架，其将传统框架中的变换、运动估计、运动补偿以及熵编码等模块都利用深度卷积神经网络实现。Abdelaziz等人在2019年《IEEE本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可变码率视频压缩方法，其特征在于，包括：可变码率帧内编解码：在编码端，将参考帧图像通过卷积神经网络，得到参考帧第一特征图，并通过特征图尺度缩放及量化得到参考帧第二特征图；经过无损熵编码并传输；在解码端，将所述参考帧第二特征图进行逆缩放后，通过卷积神经网络得到重构的参考帧；可变码率帧间编码：在编码端，将预测帧图像通过卷积神经网络，得到预测帧第一特征图，并通过特征图尺度缩放及量化得到预测帧第二特征图；将所述预测帧第二特征图与所述参考帧第二特征图相减，得到特征图残差；帧间残差熵编码：基于所述参考帧第二特征图，对所述特征图残差进行无损熵编码，并传输至解码端；可变码率帧间解码：在解码端，将所述特征图残差与所述参考帧第二特征图相加并逆缩放后，通过卷积神经网络得到重构的预测帧。2.根据权利要求1所述的一种可变码率视频压缩方法，其特征在于，所述可变码率帧内编解码，包括：将参考帧图像通过卷积神经网络，提取得到参考帧第一特征图；将所述参考帧第一特征图与尺度因子相乘得到所述参考帧第二特征图；对所述参考帧第二特征图，通过添加均匀噪声的方式模拟量化，生成参考帧量化第二特征图；对于所述参考帧量化第二特征图，利用无损熵编码进行编码传输；在解码端，将所述参考帧量化第二特征图与尺度逆因子相乘，得到重构的参考帧第一特征图；将所述重构的参考帧第一特征图通过卷积神经网络，得到重构的参考帧图像。3.根据权利要求1所述的一种可变码率视频压缩方法，其特征在于，所述可变码率帧间编码，包括：将预测帧图像通过卷积神经网络，提取得到预测帧第一特征图；将所述预测帧第一特征图与尺度因子相乘得到所述预测帧第二特征图；对于所述预测帧第二特征图，通过添加均匀噪声的方式模拟量化，生成预测帧量化第二特征图；将参考帧的第二特征图与预测帧的第二特征图相减，得到待编码的特征图残差。4.根据权利要求1所述的可变码率视频压缩方法，其特征在于，所述帧间残差熵编码，包括：将所述参考帧第二特征图和所述预测帧第二特征图进行拼接后，通过卷积神经网络，得到超先验信息；将所述超先验信息通过卷积神经网络，得到重构的超先验信息；对于所述重构的超先验信息，通过添加均匀噪声的方式模拟量化，生成量化的超先验信息；根据所述参考帧第二特征图，以及所述特征图残差进行建模，得到用于编码特征残差的上下文信息；根据构造分布，估计所述量化的超先验信息编码所需码率L
BPP
‑
H
；根据高斯分布均值与方差，估计所述特征图残差编码所需码率L
BPP
‑<...

【专利技术属性】
技术研发人员：戴文睿，李涵，李劭辉，李成林，邹君妮，陈思衡，郑伟诗，熊红凯，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：