【技术实现步骤摘要】
【国外来华专利技术】用于视频编码中基于深度神经网络的帧间预测的方法和设备
相关申请的交叉引用
[0001]本申请基于并要求于2020年12月29日提交的美国临时专利申请第63/131,625号以及于2021年9月16日提交的美国专利申请第17/476,928号的优先权，所述申请的公开内容通过引用以其整体并入本文。
技术介绍
[0001]未压缩的数字视频可以包括一系列图片，每个图片具有例如1920
×
1080亮度样本和相关联的色度样本的空间维度。所述一系列图片可以具有例如每秒60个图片或60Hz的固定的或可变的图片速率(也被非正式地称为帧速率)。未压缩的视频具有显著的比特率要求。例如，每样本8比特的1080p60 4:2:0视频(60Hz帧速率下的1920
×
1080亮度样本分辨率)需要接近于1.5Gbit/s的带宽。一小时的这样的视频需要大于600千兆字节(GByte)的存储空间。
[0002]传统的视频编码标准例如H.264/高级视频编码(H.264/AVC)、高效视频编码(HEVC)和通用视频编码(VVC)...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种使用基于神经网络的帧间预测进行视频编码的方法，所述方法由至少一个处理器执行，并且所述方法包括：基于输入帧生成中间流；利用所述中间流通过执行所述输入帧的后向变形来生成重建帧；基于所述输入帧、所述中间流和所述重建帧生成融合图和残差图；基于当前参考帧、第一参考帧和第二参考帧使用第一神经网络生成具有多个级别的特征图；通过细化所述当前参考帧、所述第一参考帧和所述第二参考帧来基于来自所生成的特征图中的对准特征生成预测帧；基于所述预测帧生成最终残差；以及通过将所述最终残差添加至所述当前参考帧来计算增强帧作为输出。2.根据权利要求1所述的方法，其中，所述中间流被迭代地更新并且对应的像素被从两个输入帧移动至潜在的中间帧中的相同位置。3.根据权利要求1所述的方法，还包括通过根据所述融合图对所述重建帧进行线性组合并将所组合的重建帧与所述残差图相加来生成所述当前参考帧。4.根据权利要求1所述的方法，其中，所述第一参考帧是按输出顺序在所述当前参考帧之前的参考帧，以及所述第二参考帧是按所述输出顺序在所述当前参考帧之后的参考帧。5.根据权利要求1所述的方法，还包括确定所述特征图中的特征的权重，其中，所述权重强调用于生成后续最终残差的特征子集。6.根据权利要求1所述的方法，还包括：计算针对所述多个级别的偏移；执行可变形卷积以生成针对所述多个级别的补偿特征；以及基于所生成的补偿特征中的至少一个和所述偏移来生成所述对准特征。7.根据权利要求1所述的方法，还包括：执行卷积以获得融合注意图；基于所述注意图和所述对准特征生成注意特征；基于所述注意图和所述注意特征使用第二神经网络生成对准帧；以及合成所述对准帧以获得所述预测帧。8.一种用于使用基于神经网络的帧间预测进行视频编码的设备，所述设备包括：至少一个存储器，其被配置成存储程序代码；以及至少一个处理器，其被配置成读取所述程序代码并如所述程序代码所指示的进行操作，所述程序代码包括：第一生成代码，其被配置成使所述至少一个处理器基于输入帧生成中间流；第二生成代码，其被配置成使所述至少一个处理器利用所述中间流执行所述输入帧的后向变形以生成重建帧；融合代码，其被配置成使所述至少一个处理器基于所述输入帧、所述中间流和所述重建帧生成融合图和残差图；第三生成代码，其被配置成使所述至少一个处理器基于当前参考帧、第一参考帧和第二参考帧使用第一神经网络生成具有多个级别的特征图；
预测代码，其被配置成使所述至少一个处理器通过细化所述当前参考帧、所述第一参考帧和所述第二参考帧来基于来自所生成的特征图中的对准特征对帧进行预测；残差代码，其被配置成使所述至少一个处理器基于所预测的帧生成最终残差；以及第四生成代码，其被配置成使所述至少一个处理器通过将所述最终残差添加至所述当前参考帧来生成增强帧作为输出。9.根据权利要求8所述的设备，还包括更新代码，所述更新代码被配置成使所述至少一个处理器迭代地更新所述中间流并将对应的像素从两个输入帧移动至潜在的中间帧中的相同位置。10.根据权利要求8所述的设备，还包括参考帧代码，所述参考帧代码被配置成使所述至少一个处理器通过根据所述融合图对所述重建帧进行线性组合并将所组合的重建帧与所述残差图相加来生成所述当前参考帧。11.根据权利要求8所述的设备，其中，所述第一参考帧是按输出顺序在所述当前参...
【专利技术属性】
技术研发人员：李泽强，崔秉斗，王炜，蒋薇，许晓中，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。