具有限制的参考帧获取的帧间预测方法以及相关的帧间预测装置制造方法及图纸

一种帧间预测方法，包含执行参考帧获取来得到第一帧组合中第一帧的帧间预测所使用的至少一参考帧，并且依据该至少一参考帧执行第一帧的帧间预测。第一帧的帧间预测所使用的该至少一参考帧被故意地限制为包含从该第一帧组合的至少一个第二帧的重建数据获得至少一个第一参考帧。该第一帧组合包含至少一第一帧与至少一第二帧，该至少一第一帧包含该第一帧，该第一帧组合中的多个帧具有相同的画面内容但具有不同的分辨率。

【技术实现步骤摘要】
优先权声明本申请主张在2015年6月18日提出申请的美国临时专利申请第62/181,421号的权利，且上述美国专利申请以引用方式并入本文中。
本专利技术与视频编码以及视频解码的帧间预测相关，具体来说，本专利技术是有关于限制帧获取的帧间预测的方法以及相关的帧间预测装置。
技术介绍
传统的视频编码标准通常采用基于区块的编码技术，来利用空间以及时间的冗余。举例来说，基本的途径是将当前帧划分为多个区块、在每一区块执行预测、产生每一区块的冗余、并且执行转换、量化、扫描以及熵编码来编码每一区块的冗余。此外，当前帧的一个重建帧在编码循环中被产生，以提供参考像素数据，用于编码后续帧。举例来说，逆扫描、逆量化以及逆转换可能在编码循环中使用，来恢复当前帧的每一区块的冗余。当选择帧间预测模式时，执行基于一个或者多个参考帧(即先前帧的重建帧)的帧间预测，来找到当前帧的每一区块的预测采样。当前帧的每一区块是通过从当前帧的每一区块的初始采样中减去当前帧的每一区块的预测采样来产生。此外，当前帧的重建帧的每一区块是通过将当前帧的每一区块的预测采样加上当前帧的每一区块的恢复的冗余来产生的。视频解码器用来执行视频编码器所执行的视频编码的逆操作。因此，视频解码器也执行帧间预测来找到待解码的当前帧的每一区块的预测采样。依据H.264视频编码标准，在一个单独编码的比特流中的每一帧的分辨率不能改变。依据Google提出的VP8视频编码标准，在一个单独编码的比特流中的帧内帧(关键帧)的分辨率可以变化。依据Google提出的VP9视频编码标准，连续的帧内帧的分辨率可以变化。这个特征也称为分辨率参考帧(resolution reference frame，RRF)。在网页实时通信(Web Real-Time Communication，WebRTC)应用中，需要时间可伸缩性(scalability)以及空间可伸缩性来满足不同的网络带宽的需求。当时间可伸缩性被使能(enable)时，一个单独编码的比特流可提供具有相同分辨率但对应不同时间层次的多个帧。因此，当解码多个时间层次时，获得一个较高的帧率。当空间可伸缩性被使能时，一个单独编码的比特流可提供具有相同画面内容但对应不同分辨率的多个帧。因此，当解码一个具有较大的空间层次索引的空间层次时，获得一个较高的分辨率。然而，当时间可伸缩性与空间可伸缩性都被使能时，帧内预测的参考帧重建变得复杂，对于参考帧缓冲器来说，这将导致需要一个缓冲大量参考帧的缓冲器以及一个复杂的缓冲管理设计。因此，需要一种创新性的参考帧重建，其适用于空间以及时间可伸缩性，并且能够放松对参考帧缓冲器的需求。
技术实现思路
本专利技术的目的之一是提供一种帧间预测方法以及相关的帧内预测装置，其具有限制的参考帧获取。本专利技术的一实施例提供了一种帧间预测方法。该帧间预测方法包含针对第一帧组合中的第一帧，执行参考帧获取，并且依据获得的至少一参考帧执行第一帧的帧间预测。其中该第一帧的帧间预测所使用的至少一个参考帧是故意地限制为包含至少一个第一参考帧，该第一参考帧是从该第一帧组合中的至少一第二帧的重建数据获得，该第一帧组合包含具有该第一帧的至少一第一帧、以及至少一第二帧，并且该第一帧组合中的多个帧具有相同的画面内容但是具有不同的分辨率。本专利技术的另一实施例提供了一种帧间预测方法。该帧间预测方法包含针对第一帧组合中的第一帧，执行参考帧获取，并且依据获得的至少一参考帧执行第一帧的帧间预测。其中该第一帧组合包含多个帧，该多个帧具有相同的画面内容但具有不同的分辨率，其中该第一帧的帧间预测所使用的至少一参考帧被故意地限制为包含来自第二帧组合的至少一第二帧的重建数据的至少一第一参考帧，该第二帧组合包含多个帧，该多个帧具有相同的画面内容但具有不同的分辨率，该第一帧组合中的一个帧以及该第二帧组合中的一个帧具有相同的分辨率，并且该至少一第一参考帧包含一个参考帧，该参考帧的分辨率与该第一帧的分辨率不同。本专利技术的另一实施例提供了一种帧间预测装置。该帧间预测装置包含参考帧获取电路与帧间预测电路。参考帧获取电路，用来针对第一帧组合中的第一帧执行参考帧获取，其中该第一帧的帧间预测所使用的至少一个参考帧是被该参考帧获取电路故意地限制为包含至少一个第一参考帧，该第一参考帧是从该第一帧组合中的至少一第二帧的重建数据获得，该第一帧组合包含具有该第一帧的至少一第一帧、以及至少一第二帧，并且该第一帧组合中的多个帧具有相同的画面内容但是具有不同的分辨率。该帧间预测电路依据该至少一参考帧执行该第一帧的帧间预测。本专利技术的另一实施例提供了一种帧间预测装置。该帧间预测装置包含参考帧获取电路与帧间预测电路。参考帧获取电路，针对第一帧组合中的第一帧执行参考帧获取，该第一帧组合包含多个帧，该多个帧具有相同的画面内容但具有不同的分辨率，其中该第一帧的帧间预测所使用的至少一参考帧被该参考帧获取电路故意地限制为包含来自第二帧组合的至少一第二帧的重建数据的至少一第一参考帧，该第二帧组合包含多个帧，该多个帧具有相同的画面内容但具有不同的分辨率，该第一帧组合中的一个帧以及该第二帧组合中的一个帧具有相同的分辨率，并且该至少一第一参考帧包含一个参考帧，该参考帧的分辨率与该第一帧的分辨率不同。帧间预测电路依据该至少一参考帧执行该第一帧的帧间预测。本专利技术的提供的帧间预测方法以及相关的帧内预测装置，其具有限制的参考帧获取，从而降低对参考帧缓冲器的要求。附图说明图1是依据本专利技术的实施例的帧间预测装置的示意图；图2是依据本专利技术的实施例的第一参考帧结构的示意图；图3是依据本专利技术的实施例的第二参考帧结构的示意图；图4是依据本专利技术的实施例的第三参考帧结构的示意图；图5是依据本专利技术的实施例的第四参考帧结构的示意图；图6是依据本专利技术的实施例的第五参考帧结构的示意图；图7是依据本专利技术的实施例的第六参考帧结构的示意图。具体实施方式整个说明书和权利要求书采用确定的术语来指代特定的部件。正如本领域的技术人员将理解的是，制造商可以使用不同的名称来指代某一部件。本文件无意于区分那些名称不同但功能相同的部件。在下面的说明书和权利要求书中，用开放式方式使用术语“包含”和“包括”，因此应当被解释为“包含，但是不限于……”。同样地，术语“耦合”既可以表示间接电气连接也可以表示直接电气连接。因此，如果一个设备与另一个设备耦合，其连接可以是通过直接电气连接或者是通过其他设备和连接件的间接电气连接。本专利技术的主要内容是在参考帧获取(例如参考帧选择)时施加一个限制，其用来获得(例如选择)一个或者多个参考帧来进行在时间以及/或者空间扫描下编码/解码帧的帧间预测。由于参考帧的获取(例如参考帧的选择)被故意的限制，用来缓冲参考帧(例如先前编码的/解码的帧的重建数据)的参考帧缓冲器的数量可减少，以放松对实施时间以及/或者空间扫描的参考帧缓冲器的需求。此外，编码/解码不同的时间以及/空间层所需的存储器频宽的要求也降低。所提出的时间以及/或者空间扫描的参考帧重建的具体细节将在以下段落中详细说明。图1是依据本专利技术的一实施例的帧间预测装置的示意图。在一个实施例中，帧间预测装置100可以是视频编码器的一部分。在另一个举例说明中，帧间预测装置100可以是视频解码器的一部分。如图1所示，本文档来自技高网...

【技术保护点】
一种帧间预测方法，包含：针对第一帧组合中的第一帧，执行参考帧获取，其中该第一帧的帧间预测所使用的至少一个参考帧是限制为包含至少一个第一参考帧，该第一参考帧是从该第一帧组合中的至少一第二帧的重建数据获得，该第一帧组合包含具有该第一帧的至少一第一帧、以及至少一第二帧，并且该第一帧组合中的多个帧具有相同的画面内容但是具有不同的分辨率；以及依据该至少一参考帧执行该第一帧的帧间预测。

【技术特征摘要】
2015.06.18 US 62/181,421;2016.05.04 US 15/145,8071.一种帧间预测方法，包含：针对第一帧组合中的第一帧，执行参考帧获取，其中该第一帧的帧间预测所使用的至少一个参考帧是限制为包含至少一个第一参考帧，该第一参考帧是从该第一帧组合中的至少一第二帧的重建数据获得，该第一帧组合包含具有该第一帧的至少一第一帧、以及至少一第二帧，并且该第一帧组合中的多个帧具有相同的画面内容但是具有不同的分辨率；以及依据该至少一参考帧执行该第一帧的帧间预测。2.根据权利要求1所述的帧间预测方法，其特征在于，该至少一第一参考帧包含仅仅一个单独的参考帧。3.根据权利要求1所述的帧间预测方法，其特征在于，其中该至少一第一帧包含多个第一帧，并且每一第一帧的帧间预测是基于相同的至少一第一参考帧执行的。4.根据权利要求3所述的帧间预测方法，其特征在于，该至少一第二帧包含仅仅一个帧，并且在该第一帧组合中的所有帧中，该仅仅一个帧具有最小的分辨率。5.根据权利要求1所述的帧间预测方法，其特征在于，该第一帧的帧间预测是在具有零运动向量的预测模式下执行的。6.根据权利要求1所述的帧间预测方法，其特征在于，该至少一第二帧中的每一个的分辨率小于该第一帧的分辨率。7.根据权利要求1所述的帧间预测方法，其特征在于，该第一帧的帧间预测是使用分辨率参考帧来执行的。8.根据权利要求1所述的帧间预测方法，其特征在于，该至少一第一参考帧包含多个不同的参考帧。9.根据权利要求1所述的帧间预测方法，其特征在于，该至少一参考帧进一步限制为包含至少一第二参考帧，该第二参考帧是从第二帧组合的至少一个帧的重建数据获得，该第二帧组合中的多个帧具有相同的图像内容但具有不同的分辨率，并且该第一帧组合中的多个帧中的一个与该第二帧组合中的多个帧中的一个具有相同的分辨率。10.根据权利要求9所述的帧间预测方法，其特征在于，该第二帧组合对应一个时间层，该时间层的时间层索引与该第一帧组合对应的一个时间层的时间层索引相同。11.根据权利要求9所述的帧间预测方法，其特征在于，该第二帧组合对应一个时间层，该时间层的时间层索引小于该第一帧组合对应的时间层的时间层索引。12.根据权利要求9所述的帧间预测方法，其特征在于，该至少一个第一参考帧仅对应一个单独的参考帧，并且该至少一个第二参考帧包含仅仅一个单独的参考帧。13....

【专利技术属性】
技术研发人员：吴东兴，周汉良，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71