用于视频编码和解码的装置、方法及计算机程序制造方法及图纸

技术编号:19248483 阅读:41 留言:0更新日期:2018-10-24 10:11
一种方法包括:获得包括运动受限图块集的全图轨道或比特流;以及基于运动受限图块集,构造或生成指令以构造符合全图的图块集轨道或比特流。

Apparatus, method and computer program for video coding and decoding

One method includes: obtaining a full-graph orbit or bit stream including a set of motion-constrained blocks; and constructing or generating instructions based on a set of motion-constrained blocks to construct a block set orbit or bit stream conforming to the full-graph.

【技术实现步骤摘要】
【国外来华专利技术】用于视频编码和解码的装置、方法及计算机程序
本专利技术涉及用于视频编码和解码的装置、方法及计算机程序。
技术介绍
在许多显示情境中,仅需要显示部分图,而仅需要解码剩余图但不显示。这些显示情境例如包括具有约100度视场的典型头戴式显示器(HMD)显示器,而用于HMD消费的输入视频通常覆盖整个360度。典型的平板观看环境显示高达40度的视场。当在这样的显示器上显示宽FOV内容(例如,“鱼眼”)时,可优选显示空间子集而不是整个图。传统上,编码图需要被完全解码,因为它们具有很强的空间依赖性(例如,帧内预测)、熵编码依赖性、环路滤波依赖性和时空依赖性(指向不同图部分的运动矢量)。运动受限图块集使能与其它图块集独立地解码图块集;然而,由于编码图块集可以与比特流中的其它编码数据交织,并且由于参数集和报头(例如,切片片段报头)用于整个比特流,因此需要专用解码过程以解码特定的运动受限图块集,而同时省略其它图块的解码。在用于360度视频的传统流传输布置中,完整的360度视频被传输。例如,整个等矩形全景被传输。然而,在许多显示环境中(诸如HMD上的消费),一次仅显示360度视频的一个子集。因此,流传输比特率用于未显示的图区域。这可能导致网络和/或接入链路拥塞和重新缓冲的风险和/或对显示的图区域的一部分使用相对低的质量。
技术实现思路
现在为了至少缓解上述问题,本文引入了一种用于生成视频比特流的改进的方法。根据第一方面的一种方法包括:获得包括运动受限图块集的全图轨道或比特流;以及基于运动受限图块集,构造符合全图的图块集轨道或比特流。根据第二方面的一种方法包括:获得包括运动受限图块集的全图轨道或比特流;以及基于所述运动受限图块集,生成指令以构造符合全图的图块集轨道或比特流。根据实施例,运动受限图块集的特征在于:包含在一个或多个切片片段中,切片片段还包含在运动受限图块集以外的图块,所述构造或者生成指令以构造包括:将在运动受限图块集的右侧的图块列添加到符合全图的图块集轨道或比特流中或者添加到构造符合全图的图块集轨道或比特流的指令中。根据实施例,所述方法还包括用所添加的图块列中的图块来控制切片片段的终止。根据实施例,所述方法还包括在所添加的图块列的最后一个图块中指示切片片段的终止。根据实施例,所述方法还包括将关于一致性裁剪窗口的信息添加到符合全图的图块集轨道或比特流中或者添加到构造符合全图的图块集轨道或比特流的指令中,其中,一致性裁剪窗口导致解码以从解码输出中排除所添加的图块列。根据实施例,运动受限图块集的特征在于:包含在一个或多个切片片段中,切片片段还包含在运动受限图块集以外的图块,所述构造或者生成指令以构造包括:识别运动受限图块集内的最右侧图块,最右侧图块不是包含最右侧图块的第一切片片段的最后一个图块;以及修改最右侧图块,以使其导致第一切片的终止。根据第三方面的一种方法包括:获得所构造的符合全图的图块集或比特流,或者获得构造符合全图的图块集轨道或比特流的指令;以及在媒体呈现描述中生成从符合全图的图块集轨道形成的第一呈现(Representation)的信息。根据实施例,所述方法还包括:在媒体呈现描述中生成从符合全图的轨道或比特流形成的第二呈现的信息;将第一呈现和第二呈现关联到媒体呈现描述中的同一参考空间中;以及指示在媒体呈现描述中第一呈现相对于第二呈现的位置和大小。根据实施例,构造符合全图的图块集轨道的指令包括从全图轨道或比特流中提取基本单元的一部分的提取器。根据实施例,所述基本单元是网络抽象层(NAL)单元。根据实施例,构造或生成指令以构造符合全图的图块集轨道或比特流包括当与全图轨道或比特流中的参数集和/或切片片段报头相比较时,完全或部分地重写所述参数集和/或切片片段报头。根据实施例,构造符合全图的图块集轨道或比特流的指令导致片段或子片段序列。根据第四方面的一种方法包括:从媒体呈现描述和/或媒体文件中获得第一符合全图的图块集轨道的第一特性;基于第一特性,确定获得第一符合全图的图块集轨道的一部分或全部;以及获得第一符合全图的图块集轨道的一部分或全部。根据实施例,所述方法还包括解码和播放第一符合全图的图块集轨道的一部分或全部。根据实施例,所述方法还包括在第一特性内获得覆盖空间区域的信息或者覆盖视场和视图定向两者的信息,其中,所述确定基于覆盖空间区域或者覆盖视场和视图定向两者。根据一个实施例,所述方法还包括:从媒体呈现描述和/或从媒体文件中获得第二符合全图的图块集轨道的第二特性;从第一和第二特性中断定与第一符合全图的图块集轨道相比,第二符合全图的图块集轨道具有更低的空间分辨率、比特率、图像质量、每颜色分量的位深、动态范围和/或色域;从第一和第二特性断定第一和第二符合全图的图块集轨道表示内容的不同空间部分;基于上述断定,确定获得第二符合全图的图块集轨道的一部分或全部;以及获得第二符合全图的图块集轨道的一部分或全部。进一步的方面至少包括被设置为执行上述方法的装置和计算机程序产品/存储在非暂时性存储器介质上的代码。附图说明为了更好地理解本专利技术,现在将通过示例的方式参考附图,其中:图1示意性地示出采用本专利技术的实施例的电子设备;图2示意性地示出适用于采用本专利技术的实施例的用户设备;图3进一步示意性地示出使用无线和有线网络连接连接的采用本专利技术的实施例的电子设备;图4示意性地示出适用于实现本专利技术的实施例的编码器;图5示出在DASH中使用的层次数据模型的示例;图6a和图6b示出根据本专利技术的实施例的生成用于构造比特流的指令以及构造比特流的流程图。图7示出本专利技术的各种实施例的基础概念;图8示出运动受限图块集的划分的示例;图9示出根据实施例的生成用于构造符合全图的图块集轨道的指令的过程;图10示出根据实施例的文件结构的示例;图11a和图11b示出根据实施例的在文件中布置不同轨道的数据块的示例,以及根据实施例的构造器运算符的示例;图12示出根据实施例的MPD生成的示例;图13示出将实施例应用于具有不同空间分辨率的相同内容的不同版本的示例;图14示出将实施例应用于具有不同空间分辨率的相同内容的不同伸缩层的示例;图15示出应用于立体视频编码的实施例的示例;图16示出应用于具有视点间预测的立体视频编码的实施例的示例;图17示出根据实施例的分段器提示生成的示例;图18示出根据实施例的分段器提示轨道或分段器文件的示例;图19示出根据实施例的服务器或分段器的操作;图20示出涉及生成预构造图块集轨道的实施例的示例;图21示出根据实施例的在文件中布置预构造图块集轨道和全图轨道的数据块的示例;图22示出适用于实现本专利技术的实施例的解码器的示意图;图23示出其中可实现各种实施例的示例性多媒体通信系统的示意图。具体实施方式以下进一步详细描述了用于降低流传输可伸缩视频比特流的下游比特率的适用的装置和可能的机制。在这方面,首先参考图1和图2,其中图1示出了根据示例性实施例的视频编码系统的框图,作为示例性装置或电子设备50的示意性框图,其可以集成根据本专利技术的实施例的编解码器。图2示出了根据示例性实施例的装置的布局。接下来将解释图1和图2中的元件。电子设备50例如可以是无线通信系统的移动终端或用户设备。然而,应当理解,本专利技术的实施例可以在可能需要编码和解码或编码或解码视频图像的任何电本文档来自技高网...

【技术保护点】
1.一种方法,包括:获得(600)包括运动受限图块集的全图轨道或比特流;其特征在于:基于所述运动受限图块集,构造(602)或生成指令以构造符合全图的图块集轨道或比特流,其中,所述符合全图的图块集轨道能够使用全图轨道的解析和解码过程作为任意全图轨道播放,所述符合全图的比特流能够使用全图比特流的解码过程被解码为任意全图轨道;以及在所述指令中包括提取器结构,所述提取器结构包括从全图轨道中提取运动受限图块集的构造器结构。

【技术特征摘要】
【国外来华专利技术】2016.02.17 FI 201651141.一种方法,包括:获得(600)包括运动受限图块集的全图轨道或比特流;其特征在于:基于所述运动受限图块集,构造(602)或生成指令以构造符合全图的图块集轨道或比特流,其中,所述符合全图的图块集轨道能够使用全图轨道的解析和解码过程作为任意全图轨道播放,所述符合全图的比特流能够使用全图比特流的解码过程被解码为任意全图轨道;以及在所述指令中包括提取器结构,所述提取器结构包括从全图轨道中提取运动受限图块集的构造器结构。2.根据权利要求1所述的方法,其中,所述运动受限图块集的特征在于:包含在一个或多个切片片段中,所述切片片段还包含在所述运动受限图块集以外的图块,所述构造或者生成指令以构造包括:将在所述运动受限图块集的右侧的图块列添加到所述符合全图的图块集轨道或比特流中或者添加到构造符合全图的图块集轨道或比特流的所述指令中。3.根据权利要求2所述的方法,还包括:用所添加的图块列中的图块来控制切片片段的终止。4.根据权利要求2所述的方法,还包括:在所添加的图块列中的最后一个图块中指示切片片段的终止。5.根据权利要求2所述的方法,还包括:将关于一致性裁剪窗口的信息添加到所述符合全图的图块集轨道或比特流中或者添加到构造符合全图的图块集轨道或比特流的所述指令中,其中,所述一致性裁剪窗口导致解码以从解码输出中排除所添加的图块列。6.根据权利要求1所述的方法,其中,所述运动受限图块集的特征在于:包含在一个或多个切片片段中,所述切片片段还包含在所述运动受限图块集以外的图块,所述构造或者生成指令以构造包括:识别所述运动受限图块集内的最右侧图块,所述最右侧图块不是包含所述最右侧图块的第一切片片段的最后一个图块;以及修改所述最右侧图块,以使其导致所述第一切片的终止。7.根据权利要求1所述的方法,其中,构造符合全图的图块集轨道的所述指令包括从所述全图轨道或比特流中提取基本单元的一部分的提取器。8.根据权利要求7所述的方法,其中,所述基本单元是网络抽象层(NAL)单元。9.根据权利要求7或8所述的方法,还包括:在所述提取器结构中包括内联构造器结构,所述内联构造器结构包括网络抽象层报头和切片片段报头中的一个或两者。10.根...

【专利技术属性】
技术研发人员:M·汉努卡塞拉A·阿明卢A·扎雷
申请(专利权)人:诺基亚技术有限公司
类型:发明
国别省市:芬兰,FI

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1