用于视频编码的用虚拟参考图片进行帧间图片预测的方法和装置制造方法及图纸

执行视频序列的当前图片的帧间图片预测的方法由至少一个处理器执行，且该方法包括：确定当前图片是否使用虚拟参考图片，以及基于确定当前图片使用虚拟参考图片，对于当前图片，从与虚拟参考图片最邻近的相邻参考图片生成虚拟参考图片，将所生成的虚拟参考图片存储在已解码图片缓冲器中，以及将所生成的虚拟参考图片添加到活动参考图片列表中。该方法还包括：基于添加了虚拟参考图片的活动参考图片列表，执行当前图片的帧间图片预测。执行当前图片的帧间图片预测。

Method and apparatus for inter frame picture prediction using virtual reference pictures for video coding

【技术实现步骤摘要】
【国外来华专利技术】用于视频编码的用虚拟参考图片进行帧间图片预测的方法和装置
[0001]相关申请的交叉引用
[0002]本申请要求在美国专利商标局于2020年9月24日提交的编号为63/082,784的美国临时专利申请、于2020年9月25日提交的编号为63/083,527的美国临时专利申请、于2021年5月25日提交的编号为17/329,751的美国专利申请的优先权，前述申请的公开内容通过引入并入本文。


[0003]与实施例一致的方法和装置涉及视频编码，更具体地，涉及用于视频编码的使用虚拟参考图片进行图片帧间预测的方法和装置。

技术介绍

[0004]使用具有运动补偿的帧间图片预测来进行视频编码和解码已经有几十年了。未压缩的数字视频可以包括一系列图片，每个图片具有例如为1920
×
1080的亮度样本和相关的色度样本的空间大小。该一系列图片可以具有例如每秒60幅图片或60Hz的固定的或可变的图片速率(也非正式地也称为帧率)。未压缩的视频具有很高的位速率要求。例如，每样本8位的1080p60 4：2：0的视频(60Hz帧率的1920
×
1080亮度样本分辨率)需要接近1.5Gbit/s带宽。一小时的此类视频需要600GB以上的存储空间。
[0005]视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩可以有助于减少上述带宽或存储空间需求，在某些情况下可以减小两个数量级或大于两个数量级。可以采用无损压缩和有损压缩，以及它们的组合。无损压缩是指可以从已压缩的原始信号中重建原始信号的精确副本的技术。当使用有损压缩时，已重建的信号可能与原始信号不同，但是原始信号和已重建的信号之间的失真足够小，以使已重建的信号可用于预期的应用。在视频的情况下，广泛使用有损压缩。可容忍的失真量取决于应用，例如某些消费流式应用的用户相比电视分布应用的用户来说可以容忍更高的失真。可达到的压缩率可以反映：更高的可允许/可容忍的失真可以产生更高的压缩率。
[0006]视频编码器和解码器可利用来自若干广泛类别的技术，包括例如运动补偿、变换、量化和熵编码，下面将介绍其中的一些。

技术实现思路

[0007]根据实施例，一种执行视频序列的当前图片的帧间图片预测的方法由至少一个处理器执行且该方法包括：确定当前图片是否使用虚拟参考图片，以及基于确定当前图片使用虚拟参考图片，对于当前图片，从与虚拟参考图片最邻近的相邻参考图片生成虚拟参考图片，将所生成的虚拟参考图片存储在已解码图片缓冲器中，以及将所生成的虚拟参考图片添加到活动参考图片列表中。该方法还包括：基于添加了虚拟参考图片的活动参考图片列表，执行当前图片的帧间图片预测。
[0008]根据实施例，一种用于执行视频序列的当前图片的帧间图片预测的装置包括至少一个存储器以及至少一个处理器，至少一个存储器被配置为存储计算机程序代码，至少一个处理器被配置为访问至少一个存储器并根据计算机程序代码进行操作。计算机程序代码包括：第一确定代码，被配置为使至少一个处理器确定当前图片是否使用虚拟参考图片；生成代码，被配置为使至少一个处理器基于确定当前图片使用虚拟参考图片，对于当前图片，从与虚拟参考图片最邻近的相邻参考图片生成虚拟参考图片；存储代码，被配置为使至少一个处理器将所生成的虚拟参考图片存储在已解码图片缓冲器中；添加代码，被配置为使至少一个处理器将生成的虚拟参考图片添加到活动参考图片列表中；以及执行代码，被配置为使至少一个处理器基于添加了虚拟参考图片的活动参考图片列表，执行当前图片的帧间图片预测。
[0009]根据实施例，一种非瞬态计算机可读存储介质存储指令，该指令当由至少一个处理器执行以进行视频序列的当前图片的帧间图片预测时，使得至少一个处理器：确定当前图片是否使用虚拟参考图片，以及基于确定当前图片使用虚拟参考图片，对于当前图片，从与虚拟参考图片最邻近的相邻参考图片生成虚拟参考图片，将所生成的虚拟参考图片存储在已解码图片缓冲器中，以及将所生成的虚拟参考图片添加到活动参考图片列表中。所述指令当由至少一个处理器执行时，还使至少一个处理器基于添加了虚拟参考图片的活动参考图片列表，执行当前图片的帧间图片预测。
附图说明
[0010]图1是根据实施例的通信系统的简化框图的示意图。
[0011]图2是根据实施例的流式系统的简化框图的示意图。
[0012]图3是根据实施例的解码器的简化框图的示意图。
[0013]图4是根据实施例的编码器的简化框图的示意图。
[0014]图5A是根据实施例的虚拟参考图片生成和插入到参考图片列表中的示意图。
[0015]图5B是根据实施例的虚拟参考图片生成处理的示意图。
[0016]图6A是根据实施例的用虚拟参考图片对已编码视频流进行解码的方法的流程图。
[0017]图6B是根据实施例的用虚拟参考子图片对已编码视频流进行解码的方法的流程图。
[0018]图7是根据实施例的计算机系统的示意图。
[0019]图8是根据实施例的仿射预测模式的示意图。
[0020]图9是根据实施例的解码器侧运动矢量细化的示意图。
具体实施方式
[0021]在压缩原始视频数据时，利用帧间/帧内相关来减少编码比特流中的冗余数据。特别地，帧间图片预测技术已经广泛应用于用运动估计和补偿来消除帧间图片冗余。通过对目标和背景的运动进行补偿，更准确的预测可以降低残差数据的熵。在各种视频编码框架和标准中，利用更多前向或后向的参考图片提供了更有效的压缩。然而，尽管许多具有运动补偿的有效算法提高了编码效率，但帧间预测后的残差数据仍然保留，增加了编码比特的大小。在本公开中，为了减少残差数据并提高编码效率，从其他已解码参考图片生成更准确
的参考图片。借助于突出的算法或神经网络处理，生成的参考图片可以为视频压缩带来更准确的预测。
[0022]图1是根据实施例的通信系统(100)的简化框图的示意图。
[0023]系统(100)可以包括通过网络(150)互连的至少两个终端(110
‑
120)。对于数据的单向传输，第一终端(110)可以在本地位置对视频数据进行编码，以通过网络(150)传输到另一终端(120)。第二终端(120)可以从网络(150)接收另一终端的已编码视频数据，对已编码数据进行解码并显示恢复的视频数据。可以在媒体服务应用等中执行单向数据传输。
[0024]图1示出了第二终端对(130，140)，该第二终端对(130，140)用于支持例如在视频会议期间可能发生的编码视频的双向传输。对于数据的双向传输，每个终端(130，140)可以对在本地位置采集的视频数据进行编码，以通过网络(150)传输到另一终端。每个终端(130，140)还可以接收由另一终端发送的已编码视频数据，可以对已编码数据进行解码，并且可以在本地显示装置上显示恢复的视频数据。
[0025]在图1中，终端(110
‑
140)可被示出为服务器、个人计本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于执行视频序列的当前图片的帧间图片预测的方法，所述方法由至少一个处理器执行，所述方法包括：确定所述当前图片是否使用虚拟参考图片；基于确定所述当前图片使用所述虚拟参考图片：对于所述当前图片，从与所述虚拟参考图片最邻近的相邻参考图片生成所述虚拟参考图片；将所生成的虚拟参考图片存储在已解码图片缓冲器中；以及将所生成的虚拟参考图片添加到活动参考图片列表中；以及基于添加了所述虚拟参考图片的所述活动参考图片列表，执行所述当前图片的所述帧间图片预测。2.根据权利要求1所述的方法，还包括：基于确定所述当前图片不使用所述虚拟参考图片，确定针对所述当前图片生成的所述虚拟参考图片是否用于后续的图片。3.根据权利要求2所述的方法，还包括：基于确定所述虚拟参考图片用于所述后续的图片：针对所述后续的图片，从所述相邻参考图片生成所述虚拟参考图片；将所生成的虚拟参考图片存储在所述已解码图片缓冲器中；以及将所生成的虚拟参考图片添加到非活动参考图片列表中。4.根据权利要求2所述的方法，还包括：基于确定所述虚拟参考图片不用于所述后续的图片，仅将一个或多个已解码参考图片添加到所述活动参考图片列表中。5.根据权利要求1所述的方法，还包括：基于确定所述当前图片不使用所述虚拟参考图片，用存储在所述已解码图片缓冲器中的一个或多个已解码参考图片对所述当前图片进行解码。6.根据权利要求1所述的方法，还包括：基于确定所述当前图片使用所述虚拟参考图片，确定针对所述当前图片生成的所述虚拟参考图片是否被划分为多个虚拟子图片。7.根据权利要求6所述的方法，还包括：基于确定所述虚拟参考图片未被划分为所述多个虚拟子图片：针对所述当前图片，从所述相邻参考图片生成所述虚拟参考图片；将所生成的虚拟参考图片存储在所述已解码图片缓冲器中；以及用存储在所述已解码图片缓冲器中的一个或多个已解码参考图片对所述当前图片进行解码。8.根据权利要求6所述的方法，还包括：基于确定所述虚拟参考图片被划分为所述多个虚拟子图片：针对所述当前图片，从所述相邻参考图片生成虚拟参考子图片；对所生成的虚拟参考子图片的边界进行平滑；基于所述边界被平滑的所述虚拟参考子图片，合成所述虚拟参考图片；将所合成的虚拟参考图片存储在所述已解码图片缓冲器中；以及用存储在所述已解码图片缓冲器中的一个或多个已解码参考图片对所述当前图片进行解码。9.根据权利要求1所述的方法，其中，所述针对所述当前图片，生成所述虚拟参考图片
包括：估计所述相邻参考图片中的光流；对所述相邻参考图片中的所估计的光流进行补偿；以及增强所述光流得到补偿的所述相邻参考图片中的细节，以生成所述虚拟参考图片。10.一种用于执行视频序列的当前图片的帧间图片预测的装置，所述装置包括：至少一个存储器，被配置为存储计算机程序代码；以及至少一个处理器，被配置为访问所述至少一个存储器并根据所述计算机程序代码进行操作，所述计算机程序代码包括：第一确定代码，被配置为使所述至少一个处理器确定所述当前图片是否使用虚拟参考图片；生成代码，被配置为使所述至少一个处理器基于确定所述当前图片使用所述虚拟参考图片，对于所述当前图片，从与所述虚拟参考图片最邻近的相邻参考图片生成所述虚拟参考图片；存储代码，被配置为使所述至少一个处理器将所生成的虚拟参考图片存储在已解码图片缓冲器中；添加代码，被配置为使所述至少一个处理器将所生成的虚拟参考图片添加到活动参考图片列表中；以及执行代码，被配置为使所述至少一个处理器基于添加了所述虚拟参考图片的所述活动参考图片列表，执行所述当前图片的所述帧间图片预测。11.根据权利要求10所述的装置，还包括：第二确定代码，被配置为使所述至少一个处理器基于确定所述当...

【专利技术属性】
技术研发人员：崔秉斗，李泽强，王炜，许晓中，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：