【技术实现步骤摘要】
【国外来华专利技术】
本申请的实施例涉及视频比特流、视频编码器、视频解码器、用于将视频序列编码成视频比特流的方法以及用于从视频比特流解码视频序列的方法。另外的实施例涉及在360度视频流式传输中处置运动矢量、运动矢量卷绕(wrap-around)和/或开放gop流切换。
技术介绍
1、在360度视频或全向视频中，诸如等矩形投影(erp)之类的一些投影格式具有以下属性：所描绘的对象随着时间移动朝向并通过一个垂直图像边界，再次进入相对的垂直图像边界上的图像平面。在vvc，经运动补偿的预测模式(称为卷绕运动补偿)可用于利用投影格式的该特性来提高编码效率。这是通过允许运动矢量完全或部分卷绕垂直图像边界(或图像内某个其他定义的垂直位置)并提供增强的预测块信号(例如同时来自两个图像边界的采样位置的复合预测信号)来实现的。图6示出了卷绕运动补偿原理的图示，其中描绘了当前块的位置(实线)及其参考块的位置(虚线)。可以看出，参考块的样本部分位于右图像边界之外，在这种情况下，来自左图像边界的样本用于生成预测信号。
2、例如，这种360度视频流式传输场景可以通过http流式传输来实现。在过去十年中，编码视频的http流式传输已成为视频分发的重要途径，并且ott服务提供商如今可以通过公共互联网达到数亿用户。诸如基于http的动态自适应流式传输(dash)之类的标准协议使得服务提供商能够通过让服务器以时间分段的形式以各种比特率提供媒体来将媒体流式传输到客户端。然后，客户端设备能够通过根据可用的网络带宽及其解码能力以动态和自适应的方式在特定片段的所提供的变体中进行选择
3、在流式传输场景的另一示例中，360度视频的不同部分(例如erp)以不同的分辨率提供，旨在以高质量提供用户可能消费的部分，而以较低质量提供其他部分仅作为回退选项。这样，需要流式传输的数据量可以减少。此外，在这种情况下，提供给解码器的图像的分辨率可以变化。
4、激增的较早代编解码器(诸如avc和hevc)不提供使用不同分辨率的参考图像所需的参考图像重采样(rpr)功能。因此，在分辨率切换之后，当在这种开放式gop结构下执行时，由于来自较早片段的参考图像在所需分辨率中不可用，因此片段的一些图像不能被正确解码，这导致在从丢弃的图像的片段切换时的不恒定帧率播出。克服开放gop分辨率切换的问题的一些方法包括采用对hevc解码过程的规范改变，或者使用提供rpr功能的hevc(shvc)的较少激增的可伸缩扩展。然而，这些方法目前不能实现在http流式传输中大量采用开放gop编码。
5、通用视频编码(vvc)标准的最新版本1是由itu-t的视频编码专家组和iso/iec的子委员会29(也称为运动图像专家组)的合作工作显现的最新视频编码标准。与较早代编解码器相比，除了提供显著增长的编码效率之外，vvc还在初始主10简档中包含了许多应用驱动的功能，诸如rpr。在vvc开发期间，rpr主要在具有低延迟编码结构的对话场景中进行研究，其中对等待时间和缓冲器大小的现实世界要求为插入帧内编码图像以进行分辨率切换的可行性设置了严格的限制。
技术实现思路
1、然而，vvc中的rpr也可以为流式传输域的视频编码的编码效率提供大量益处。
2、手头有一种能够可靠处理运动矢量的概念是有利的，特别是在流式传输场景中可靠处理运动矢量卷绕。特别地，在使用诸如vvc的编解码器的http流式传输中的开放gop分辨率切换的上下文中，具有处理运动矢量卷绕的概念将是有利的。
3、因此，一个目的是提供一种视频编码概念，其使得能够实现例如在不同视频比特流表示之间切换的情况下在分段视频比特流形成的背景下可靠地使用运动矢量卷绕编码工具。
4、这个目的通过本申请的独立权利要求的主题来实现。本申请的有利方面是从属权利要求的主题。下面参照附图描述本申请的示例实施例。
本文档来自技高网...【技术保护点】
1.一种用于解码来自数据流(14)的视频的视频解码器(20)，其被配置为解码来自数据流的指示(930)，所述指示对视频的图像序列有效并且指示图像序列内的某些或所有RASL图像(912)以排除一个或多个编码工具的预定集合(940)的方式被编码，所述预定集合包括卷绕运动补偿工具。
2.根据权利要求1所述的视频解码器，其中所述视频解码器支持经运动补偿的时间帧间预测，根据所述经运动补偿的时间帧间预测，解码器基于参考图像(122)的参考块(111、112)获得用于解码图像(121)的帧间预测块(10)的帧间预测信号，并且根据所述经运动补偿的时间帧间预测，所述运动矢量(131、132)指示参考块(111、112)在参考图像(121)内相对于图像(121)内的帧间预测块(10)的位置(10')的位置，并且
3.根据权利要求2所述的视频解码器，其中，根据卷绕运动补偿工具，如果由用于经运动补偿的时间帧间预测的运动矢量指示的参考块超过图像的图像内容边界，则超过图像内容边界的参考块的一部分被映射到位于相对图像内容边界的参考图像的一部分，和/或超过图像内容边界的运动矢量的一部分在
4.根据权利要求1-3中任一项所述的视频解码器，其中所述指示包含在补充增强信息消息中。
5.根据权利要求1-4中任一项所述的视频解码器，其中所述解码器被配置为支持参考图像重采样。
6.根据权利要求4所述的视频解码器，其中，根据所述参考图像重采样，帧间预测块的参考图像经受样本重采样，以弥合所述参考图像和其中包含所述帧间预测块的图像之间的缩放窗口大小偏差或采样分辨率偏差，从而为所述帧间预测块提供帧间预测信号。
7.根据权利要求1-6中任一项所述的视频解码器，其中所述解码器被配置为支持帧内预测块解码模式和帧间预测块解码模式。
8.根据权利要求1-7中任一项所述的视频解码器，其中所述图像序列包括按编码次序连续的图像，并且其中所述图像序列按编码次序从IRAP图像开始。
9.根据权利要求8所述的视频解码器，其中，所述图像序列在按编码次序紧接在IDR图像之前的图像处结束，或者其中，所述图像序列在被指示为序列结束图像的图像处结束。
10.根据权利要求1-9中任一项所述的视频解码器，其中一个或多个编码工具的集合包括一个或多个可解激活的编码工具，其中每一个在其对图像块的应用方面可通过数据流内的配置信令以图像或切片为单位解激活。
11.根据权利要求1-10中任一项所述的视频解码器，其中，所述指示指示图像序列内的所有RASL图像是以排除一个或多个编码工具的预定集合的方式编码的。
12.根据权利要求1-11中任一项所述的视频解码器，其中，所述指示指示所述图像序列内的某些RASL图像是以排除一个或多个编码工具的预定集合的方式编码的，其中所述某些RASL图像包括所有RASL图像，其具有按解码次序在CRA图像之前的参考图像，所述CRA图像与相应的RASL图像相关联，和/或充当后续图像的时间运动矢量预测参考图像，和/或不属于最高时间层。
13.根据权利要求1-12中任一项所述的视频解码器，其中一个或多个编码工具的集合还包括基于交叉分量线性模型的预测工具和解码器侧运动矢量细化工具。
14.根据权利要求1-13中任一项所述的视频解码器，其中一个或多个编码工具的集合还包括基于交叉分量线性模型的预测工具(100)。
15.根据权利要求13或14所述的视频解码器，其中，根据基于交叉分量线性模型的预测工具，使用线性模型(106)从图像块(10a)的亮度分量(104)预测图像块(10a)的色度分量(102)，所述线性模型的参数从图像块的已解码邻域(112)中的亮度和色度极值(110)确定(108)。
16.根据权利要求1-15中任一项所述的视频解码器，其中一个或多个编码工具的集合包括解码器侧运动矢量细化工具(400)。
17.根据权利要求13或16所述的视频解码器，其中所述解码器侧运动矢量细化工具用于通过在信号发送的运动矢量处及其周围的运动矢量候选中执行最佳匹配搜索来细化信号发送的运动矢量，从而改进在所述数据流中编码的信号发送的运动矢量(402)，以根据参考图像(404)对预定的帧间预测块(10d)进行帧间预测。
18.根据权利要求17所述的视频解码器，其中所述解码器侧运动矢量细化工具被配置为使用相对于所述参考图像的所述帧间预测块的已解码邻域来执行最佳匹配搜索。
19.根据权利要求13或16所述的视频解码器，其中所述解码器侧运动矢量细化工具被配置为通过在包括和围绕信号发送的运动矢...
【技术特征摘要】
【国外来华专利技术】
1.一种用于解码来自数据流(14)的视频的视频解码器(20)，其被配置为解码来自数据流的指示(930)，所述指示对视频的图像序列有效并且指示图像序列内的某些或所有rasl图像(912)以排除一个或多个编码工具的预定集合(940)的方式被编码，所述预定集合包括卷绕运动补偿工具。
2.根据权利要求1所述的视频解码器，其中所述视频解码器支持经运动补偿的时间帧间预测，根据所述经运动补偿的时间帧间预测，解码器基于参考图像(122)的参考块(111、112)获得用于解码图像(121)的帧间预测块(10)的帧间预测信号，并且根据所述经运动补偿的时间帧间预测，所述运动矢量(131、132)指示参考块(111、112)在参考图像(121)内相对于图像(121)内的帧间预测块(10)的位置(10')的位置，并且
3.根据权利要求2所述的视频解码器，其中，根据卷绕运动补偿工具，如果由用于经运动补偿的时间帧间预测的运动矢量指示的参考块超过图像的图像内容边界，则超过图像内容边界的参考块的一部分被映射到位于相对图像内容边界的参考图像的一部分，和/或超过图像内容边界的运动矢量的一部分在相对图像内容边界处继续。
4.根据权利要求1-3中任一项所述的视频解码器，其中所述指示包含在补充增强信息消息中。
5.根据权利要求1-4中任一项所述的视频解码器，其中所述解码器被配置为支持参考图像重采样。
6.根据权利要求4所述的视频解码器，其中，根据所述参考图像重采样，帧间预测块的参考图像经受样本重采样，以弥合所述参考图像和其中包含所述帧间预测块的图像之间的缩放窗口大小偏差或采样分辨率偏差，从而为所述帧间预测块提供帧间预测信号。
7.根据权利要求1-6中任一项所述的视频解码器，其中所述解码器被配置为支持帧内预测块解码模式和帧间预测块解码模式。
8.根据权利要求1-7中任一项所述的视频解码器，其中所述图像序列包括按编码次序连续的图像，并且其中所述图像序列按编码次序从irap图像开始。
9.根据权利要求8所述的视频解码器，其中，所述图像序列在按编码次序紧接在idr图像之前的图像处结束，或者其中，所述图像序列在被指示为序列结束图像的图像处结束。
10.根据权利要求1-9中任一项所述的视频解码器，其中一个或多个编码工具的集合包括一个或多个可解激活的编码工具，其中每一个在其对图像块的应用方面可通过数据流内的配置信令以图像或切片为单位解激活。
11.根据权利要求1-10中任一项所述的视频解码器，其中，所述指示指示图像序列内的所有rasl图像是以排除一个或多个编码工具的预定集合的方式编码的。
12.根据权利要求1-11中任一项所述的视频解码器，其中，所述指示指示所述图像序列内的某些rasl图像是以排除一个或多个编码工具的预定集合的方式编码的，其中所述某些rasl图像包括所有rasl图像，其具有按解码次序在cra图像之前的参考图像，所述cra图像与相应的rasl图像相关联，和/或充当后续图像的时间运动矢量预测参考图像，和/或不属于最高时间层。
13.根据权利要求1-12中任一项所述的视频解码器，其中一个或多个编码工具的集合还包括基于交叉分量线性模型的预测工具和解码器侧运动矢量细化工具。
14.根据权利要求1-13中任一项所述的视频解码器，其中一个或多个编码工具的集合还包括基于交叉分量线性模型的预测工具(100)。
15.根据权利要求13或14所述的视频解码器，其中，根据基于交叉分量线性模型的预测工具，使用线性模型(106)从图像块(10a)的亮度分量(104)预测图像块(10a)的色度分量(102)，所述线性模型的参数从图像块的已解码邻域(112)中的亮度和色度极值(110)确定(108)。
16.根据权利要求1-15中任一项所述的视频解码器，其中一个或多个编码工具的集合包括解码器侧运动矢量细化工具(400)。
17.根据权利要求13或16所述的视频解码器，其中所述解码器侧运动矢量细化工具用于通过在信号发送的运动矢量处及其周围的运动矢量候选中执行最佳匹配搜索来细化信号发送的运动矢量，从而改进在所述数据流中编码的信号发送的运动矢量(402)，以根据参考图像(404)对预定的帧间预测块(10d)进行帧间预测。
18.根据权利要求17所述的视频解码器，其中所述解码器侧运动矢量细化工具被配置为使用相对于所述参考图像的所述帧间预测块的已解码邻域来执行最佳匹配搜索。
19.根据权利要求13或16所述的视频解码器，其中所述解码器侧运动矢量细化工具被配置为通过在包括和围绕信号发送的运动矢量对的运动矢量对候选中执行最佳匹配搜索来细化在数据流中编码的一对信号发送的运动矢量(402)，以根据一对参考图像(404)对预定的帧间双预测块(10d)进行帧间预测，所述一对参考图像在时间上位于所述预定的帧间双预测块(10d)的图像之前和之后。
20.一种用于将视频编码成数据流的视频编码器(1010)，其被配置成将指示编码到数据流中，所述指示对视频的图像序列有效并且指示图像序列内的某些或所有rasl图像是以排除一个或多个编码工具的预定集合的方式编码的，所述预定集合包括卷绕运动补偿工具。
21.根据权利要求20所述的视频编码器，其中所述视频编码器支持经运动补偿的时间帧间预测，根据所述经运动补偿的时间帧间预测，所述编码器获得用于基于参考图像的参考块对图像的帧间预测块进行编码的帧间预测信号，并且根据所述经运动补偿的时间帧间预测，运动矢量指示参考块在参考图像内相对于图像内的帧间预测块的位置的位置，并且
22.根据权利要求21所述的视频编码器，其中，根据卷绕运动补偿...
【专利技术属性】
技术研发人员：R·斯库平，C·巴特尼克，A·维科夫斯基，Y·桑切斯德拉富恩特，C·赫尔格，B·布罗斯，T·席尔，T·威甘德，D·马佩，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。