视频中的画面的鲁棒编码和解码制造技术

本实施例在视频比特流中引入了一种新型随机访问点，其可以用于随机访问操作，但是与IRAP画面相比可以以较低比特成本的编码形式来表示。随机访问点是依赖型随机访问点(DRAP)画面，并且使用IRAP画面和/或根据解码顺序的在先DRAP画面作为DRAP画面作为仅有的参考画面将其编码和解码为时间预测画面。DRAP画面构成视频比特流中的随机访问点。

【技术实现步骤摘要】
【国外来华专利技术】
本实施例总体上涉及视频编码和视频解码，具体涉及在该视频编码和视频解码期间引入和使用依赖型随机访问点。
技术介绍
通过互联网、广播网络和移动网络发送的视频数据量每年都在增加。这种趋势受到了如Netflix、Hulu和YouTube等OTT(overthetop)服务的使用量增加以及对高质量视频和更灵活的看电视和其他视频服务的方式的需求增长的推动。为了跟上视频日益增加的比特率需求，良好的视频压缩至关重要。最近，JCT-VC与MPEG合作开发了第1版的高效率视频编码(HEVC)视频编解码器，与其前身AVC/H.264相比，可以有效地针对相同质量将比特率降低一半。HEVC(也称为H.265)是利用时间和空间预测的基于块的视频编解码器。使用来自当前画面内的帧内(I)预测来实现空间预测。仅由帧内编码块组成的画面被称为I画面。在块一级使用帧间预测(P)(也称为单预测性预测)或双向帧间预测(B)(也称为双预测性预测)来实现时间预测。在帧间预测中，从单个在先解码的画面进行预测。在双向帧间预测中，从两个预测的组合进行预测，这两个预测可以参考相同的在先解码的画面或两个不同的在先解码的画面。在先解码的画面在当前画面之前被解码，并且按显示时间(输出顺序)可以在当前画面之前或之后。包含至少一个帧间编码块但不包含双向编码帧间块的画面被称为P画面。包含至少一个双向帧间块的画面被称为B画面。P画面和B画面两者也可以包含帧内编码块。对于典型的块，与帧间编码相比，帧内编码比特成本通常要高得多，而帧间编码通常比双预测性编码成本更高。瞬时解码刷新(IDR)画面是以下I画面：对于该I画面，后续画面可以不参考在IDR画面之前的画面。净随机访问(CRA)画面是以下I画面：其允许随机访问跳过超前(RASL)画面参考依解码顺序在CRA画面之后且依显示或输出顺序在CRA画面之前的画面。在解码开始于CRA画面的情况下，RASL画面必须被丢弃，因为它们被允许根据在CRA画面之前的画面进行预测，而其在CRA画面用于随机访问时可能不可用于预测。断链访问(BLA)画面是用于指示比特流中的拼接点的I画面。可以通过将第一比特流中的CRA画面的画面类型改变为BLA画面以及将流拼接在另一比特流的适当位置处来执行比特流拼接操作。帧内随机访问点(IRAP)画面可以是IDR、CRA或BLA画面中的任何一个。所有IRAP画面保证依照解码和输出顺序在IRAP后的画面不参考依照解码顺序在IRAP画面之前的任何画面。比特流的第一个画面必须是IRAP画面，但在整个比特流中可能有许多其他IRAP画面。IRAP画面提供了调谐到视频比特流的可能性，例如当开始观看电视或从一个电视频道切换到另一个电视频道时。IRAP画面还可以用于在视频剪辑中进行搜索，例如通过使用视频播放器的控制条来移动播放位置。此外，在视频比特流中存在差错或丢失的情况下，IRAP画面提供视频的刷新。特殊的屏幕内容服务(例如屏幕共享和屏幕监控)正变得越来越流行。屏幕内容对视频编码提出了不同于一般视频内容的要求。屏幕内容通常包括具有锐利边缘的窗口、图形和文本、不同的颜色，并且往往具有长时间不更新的视频画面区域。图1示出了具有窗口的典型屏幕内容场景。对于该特定场景，背景和一些窗口(如浏览器窗口和命令行窗口)很少改变，而左上角的视频窗口和左下角的Matlab仿真可以针对每个画面而改变。在第1版HEVC的开发期间，没有明确解决屏幕内容编码的特殊特性。因此，JCT-VC现在正在开发HEVC的扩展，明确针对屏幕内容编码。如上所述，可以使用以周期性方式插入的IRAP画面来实施差错鲁棒性。对于低延迟视频场景，使用周期性帧内块更新的也是常见的，其以周期性方式刷新使用帧内块编码的视频图像的每个块，一次刷新一个块或几个块。随着时间推移，视频图像中的所有块已被帧内刷新。然而，对于运动视频，差错仍然可能长时间地传播，因为帧内块并不都同时被更新。在HEVC及其前身中，编码画面可以被划分为片，其中每个片可以包含一个或多个编码树单元(CTU)。每个片与其他片独立地编码。尽管片工具的主要优势是提供并行编码和解码，但该工具还提供一定程度的差错鲁棒性，因为差错不会越过片边界传播。在屏幕内容场景中，周期性IRAP和周期性帧内块更新的问题是所有块都被刷新，无论该块自从上次刷新以来是否已改变。对于具有长时间未更新的部分的视频(例如屏幕内容)，这种编码方式在比特方面变得不必要地高成本，因为帧内编码在比特成本方面通常非常高。关于周期性帧内块更新的另一问题是，运动视频中产生的差错可能随时间传播，因为通常一次仅更新几个块。
技术实现思路
总体目的是提供一种有效的视频编码和视频解码。具体目的是在视频比特流中提供一种新型随机访问点。本文公开的实施例满足这些目的和其他目的。实施例的一个方面涉及一种对视频比特流进行解码的方法，包括对视频比特流的帧内随机访问点(IRAP)画面进行解码。该方法还包括使用IRAP画面和/或视频比特流中根据解码顺序在依赖型随机接入点(DRAP)画面之前的在先DRAP画面作为该DRAP画面的仅有的参考画面，将视频比特流的DRAP画面解码为时间预测画面。DRAP画面构成视频比特流中的随机访问点。实施例的相关方面定义了一种对视频比特流进行解码的解码器。解码器被配置为对视频比特流的IRAP画面进行解码。解码器还被配置为使用IRAP画面和/或视频比特流中根据解码顺序的在先DRAP画面作为DRAP画面的仅有的参考画面，将视频比特流的DRAP画面解码为时间预测画面。DRAP画面构成视频比特流中的随机访问点。实施例的另一相关方面定义了一种对视频比特流进行解码的解码器，该解码器包括用于对视频比特流的IRAP画面进行解码的IRAP解码器。解码器还包括DRAP解码器，所述DRAP解码器使用IRAP画面和/或视频比特流中根据解码顺序的在先DRAP画面作为DRAP画面的仅有的参考画面，将视频比特流的DRAP画面解码为时间预测画面。DRAP画面构成视频比特流中的随机访问点。实施例的另一方面涉及一种对视频流进行编码的方法。该方法包括使用IRAP画面和/或视频流中根据解码顺序的在先DRAP画面作为DRAP画面的仅有的参考画面，将视频流的DRAP画面编码为时间预测画面。DRAP画面构成视频流的编码画面的视频比特流中的随机访问点。实施例的相关方面定义了一种对视频流进行编码的编码器。编码器被配置为对视频流的IRAP画面进行编码。该编码器还被配置为使用IRAP画面和/或视频流中根据解码顺序的在先DRAP画面作为DRAP画面的仅有的参考画面，将所述视频流的DRAP画面编码为时间预测画面。DRAP画面构成视频流的编码画面的视频比特流中的随机访问点。实施例的另一相关方面定义了一种对视频流进行编码的编码器。该编码器包括对视频流的IRAP画面进行编码的IRAP编码器。该编码器还包括DRAP编码器，所述DRAP编码器使用IRAP画面和/或视频流中根据解码顺序的在先DRAP画面作为DRAP画面的仅有的参考画面，将视频流的DRAP画面编码为时间预测画面。DRAP画面构成视频流的编码画面的视频比特流中的随机访问点。实施例的另一方面涉及一种包括指令的计算机程序，所述指令当被处理器执行时使得所述处理本文档来自技高网...

【技术保护点】
一种对视频比特流中的画面进行解码的方法，所述方法包括：对所述视频比特流的帧内随机访问点IRAP画面进行解码(S1)；以及使用所述IRAP画面和/或所述视频比特流中根据解码顺序在依赖型随机访问点DRAP画面之前的在先DRAP画面作为所述DRAP画面的仅有的参考画面，将所述视频比特流的所述DRAP画面解码(S2)为时间预测画面，其中所述DRAP画面构成所述视频比特流中的随机访问点。

【技术特征摘要】
【国外来华专利技术】2014.06.18 US 62/013,5811.一种对视频比特流中的画面进行解码的方法，所述方法包括：对所述视频比特流的帧内随机访问点IRAP画面进行解码(S1)；以及使用所述IRAP画面和/或所述视频比特流中根据解码顺序在依赖型随机访问点DRAP画面之前的在先DRAP画面作为所述DRAP画面的仅有的参考画面，将所述视频比特流的所述DRAP画面解码(S2)为时间预测画面，其中所述DRAP画面构成所述视频比特流中的随机访问点。2.根据权利要求1所述的方法，其中，解码(S2)所述DRAP画面包括：使用所述视频比特流中根据所述解码顺序最接近的在先IRAP画面作为所述DRAP画面的所述仅有的参考画面来解码(S2)所述DRAP画面。3.根据权利要求1或2所述的方法，其中，解码(S2)所述DRAP画面包括：使用所述IRAP画面和/或所述在先DRAP画面作为所述DRAP画面的所述仅有的参考画面，将所述DRAP画面的块解码(S2)为跳过块；或将所述DRAP画面的块解码(S2)为帧内块。4.根据权利要求3所述的方法，其中，解码(S2)所述DRAP画面包括：将所述DRAP画面中的至少一个片的块解码(S10)为帧内块；以及使用所述IRAP画面和/或所述在先DRAP画面作为所述DRAP画面的所述仅有的参考画面，将所述DRAP画面中的至少一个片的块解码(S11)为跳过块。5.根据权利要求1至4中任一项所述的方法，还包括：对所述视频比特流中按照输出顺序和解码顺序在所述DRAP画面之后的至少一个非随机访问点“非RAP”画面进行解码(S20)，所述至少一个非RAP画面不使用所述视频比特流中按照解码顺序在所述DRAP画面之前的任何非RAP画面作为参考画面。6.一种对视频流中的画面进行编码的方法，所述方法包括：对所述视频流的帧内随机访问点IRAP画面进行编码(S30)；以及使用所述IRAP画面和/或所述视频流中根据解码顺序在依赖型随机访问点DRAP画面之前的在先DRAP画面作为所述DRAP画面的仅有的参考画面，将所述视频比特流的所述DRAP画面编码(S31)为时间预测画面，其中所述DRAP画面构成所述视频流的编码画面的视频比特流中的随机访问点。7.根据权利要求6所述的方法，其中，编码(S31)所述DRAP画面包括：使用所述视频流中根据所述解码顺序的最接近的在先IRAP画面作为所述DRAP画面的所述仅有的参考画面来编码(S31)所述DRAP画面。8.根据权利要求6或7所述的方法，其中，编码(S31)所述DRAP画面包括：使用所述IRAP画面和/或所述在先DRAP画面作为所述DRAP画面的所述仅有的参考画面，将所述DRAP画面的块编码(S31)为跳过块；或将所述DRAP画面的块编码(S31)为帧内块。9.根据权利要求8所述的方法，其中，编码(S31)所述DRAP画面包括：将所述DRAP画面中的至少一个片的块编码(S40)为帧内块；以及使用所述IRAP画面和/或所述在先DRAP画面作为所述DRAP画面的所述仅有的参考画面，将所述DRAP画面中的至少一个片的块编码(S41)为跳过块。10.根据权利要求6至9中任一项所述的方法，还包括：对根据所述解码顺序存在于所述IRAP画面和所述DRAP画面之间的中间画面进行编码(S50)。11.根据从属于权利要求8或9的权利要求10所述的方法，其中，编码(S31)所述DRAP画面包括：如果所述IRAP画面中的同位块与所述中间画面中的相应同位块相同或差别不超过定义的阈值，则使用所述IRAP画面作为所述DRAP画面的所述仅有的参考画面将所述DRAP画面的块编码(S31)为跳过块，否则将所述DRAP画面的所述块编码为帧内块。12.根据权利要求8至10中任一项所述的方法，其中，编码(S31)所述DRAP画面包括：如果所述IRAP画面中的同位块与在所述IRAP画面之前的另一IRAP画面中或在所述另一IRAP画面和所述IRAP画面之间的中间画面中的相应同位块相同或差别不超过定义的阈值，则使用所述IRAP画面作为所述DRAP画面的所述仅有的参考画面将所述DRAP画面的块编码(S31)为跳过块，否则将所述DRAP画面的所述块编码为帧内块。13.根据权利要求6至12中任一项所述的方法，还包括：对所述视频流中按照输出顺序和解码顺序在所述DRAP画面之后的至少一个非随机访问点“非RAP”画面进行编码(S50)，所述至少一个非RAP画面不使用所述视频流中按照解码顺序在所述DRAP画面之前的任何非RAP画面作为参考画面。14.根据权利要求6至13中任一项所述的方法，还包括：将所述IRAP画面的标识符包括到所述DRAP画面的参考画面集之中，所述参考画面集信号通知所述IRAP画面作为短期参考画面或者长期参考画面。15.根据权利要求6至14中任一项所述的方法，还包括：以第一周期性间隔对所述视频流的IRAP画面执行(S30)编码；以及以比所述第一周期性间隔短的第二周期性间隔对所述视频流的DRAP画面执行(S31)编码。16.一种对视频比特流中的画面进行解码的解码器(100，110，120)，其中，所述解码器(100，110，120)被配置为对所述视频比特流的帧内随机访问点IRAP画面进行解码；以及所述解码器(100，110，120)被配置为使用所述IRAP画面和/或所述视频比特流中根据解码顺序在依赖型随机访问点DRAP画面之前的在先DRAP画面作为所述DRAP画面的仅有的参考画面，将所述视频比特流的所述DRAP画面解码(S2)为时间预测画面，其中所述DRAP画面构成所述视频比特流中的随机访问点。17.根据权利要求16所述的解码器，其中，所述解码器(100，110，120)被配置为：使用所述视频比特流中根据所述解码顺序的最接近的在先IRAP画面作为所述DRAP画面的所述仅有的参考画面来解码所述DRAP画面。18.根据权利要求16或17所述的解码器，其中，所述解码器(100，110，120)被配置为：使用所述IRAP画面和/或所述在先DRAP画面作为所述DRAP画面的所述仅有的参考画面，将所述DRAP画面的块解码为跳过块；或将所述DRAP画面的块解码为帧内块。19.根据权利要求18所述的解码器，其中所述解码器(100，110，120)被配置为将所述DRAP画面中的至少一个片的块解码为帧内块；以及所述解码器(100，110，120)被配置为使用所述IRAP画面和/或所述在先DRAP画面作为所述DRAP画面的所述仅有的参考画面，将所述DRAP画面中的至少一个片的块解码为跳过块。20.根据权利要求16至19中任一项所述的解码器，其中，所述解码器(100，110，120)被配置为：对所述视频比特流中按照输出顺序和解码顺序在所述DRAP画面之后的至少一个非随机访问点“非RAP”画面进行解码，所述至少一个非RAP画面不使用所述视频比特流中按照解码顺序在所述DRAP画面之前的任何非RAP画...

【专利技术属性】
技术研发人员：马丁·彼得松，乔纳坦·萨缪尔森，理卡尔德·肖伯格，雅各布·斯特罗姆，余若洋，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典;SE