一种编解码视频数据的方法及装置制造方法及图纸

技术编号:20182369 阅读:37 留言:0更新日期:2019-01-23 02:17
本发明专利技术提供了解码视频数据的方法及装置,其用于处理包括与至少一个球面区域相关的多媒体体验的表示的多媒体数据。多媒体数据的至少一个视频部分和多媒体数据的至少一个额外多媒体部分与球面区域相关。多媒体数据、至少一个视频部分和至少一个额外多媒体部分呈现与球面区域相关的多媒体体验。本发明专利技术还提供了编码视频数据的方法及装置。本发明专利技术增强了视觉体验。

A Method and Device for Coding and Decoding Video Data

The present invention provides a method and device for decoding video data for processing multimedia data including representation of multimedia experience related to at least one spherical area. At least one video portion of multimedia data and at least one additional multimedia portion of multimedia data are related to spherical regions. Multimedia data, at least one video portion and at least one additional multimedia portion present a multimedia experience related to a spherical area. The invention also provides a method and device for encoding video data. The invention enhances the visual experience.

【技术实现步骤摘要】
一种编解码视频数据的方法及装置
此处描述的技术一般涉及视频编解码,且具体而言,涉及呈现球面区域体验,例如,虚拟现实(virtualreality,VR)视窗体验,包括分组(group)球面区域呈现信息(sphereregionpresentationinformation)的技术。
技术介绍
存在不同类型的3D内容和多向内容。例如,全景视频是一种类型的视频,其是使用一组摄像机集合来捕捉的,而不像仅使用单个摄像机捕捉的传统单向视频那样。例如,摄像机可以被放置在特定中心点周围,使得每个摄像机捕捉场景的球面覆盖上的视频的一部分,以捕捉360度视频。来自于多个摄像机的视频可以被缝合、可能地旋转以及投影,以生成表示球面内容的已投影二维图像。例如,等角投影可以被使用以将球面映射成二维图像。随后,这可以被进一步处理,例如,使用二维编码和压缩技术。最后,使用特定传送机制(例如,拇指驱动器、数字视盘(digitalvideodisk,DVD)、文件下载、数字广播和/或在线流),已编码且已压缩内容被存储并传送。这种视频可以用于VR和/或3D视频。在客户端侧,当客户端处理视频时,视频解码器解码已编码且已压缩视频,并执行逆投影以将内容恢复到球面上。随后,用户可以观看已渲染内容,例如,使用头戴式观看设备。根据表示用户观看内容所处的角度的用户的视窗,内容通常被渲染。视窗也可以包括表示观看区域的分量,其可以描述观看者在特定角度所观看的区域的大小和形状。当视频处理不以基于视窗的方式进行,以使得视频编码器和/或视频解码器不了解用户实际上将要观看的内容时,整体编码、传送和解码的流程将处理整个球面内容。例如,由于所有球面内容均被编码、传送且解码,这可以允许用户在任何特定视窗和/或区域处观看内容。然而,处理所有球面内容可能是计算密集的,且会消耗较大带宽。例如,对于在线流应用,处理所有球面内容会比必要时将更大的负担施加在网络带宽上。因此,当带宽资源和/或计算资源有限时,很难保持用户体验。一些技术仅处理用户正在观看的内容。例如,如果用户正在观看顶端区域(例如,北极),则无需传送内容的底部(例如,南极)。如果用户改变视窗,则内容可以相应地被改变以用于新的视窗。又例如,对于自由视点TV(freeviewpointTV,FTV)应用(例如,其使用多个摄像机捕捉场景的视频),内容可以基于用户在哪个角度观看该场景而被传送。例如,如果用户正在观看来自于一个视窗(例如,摄像机和/或相邻摄像机)的内容,则可能无需传送其他视窗的内容。
技术实现思路
根据本专利技术的实施例,提供了装置、系统及方法,以用于指定球面区域,以增强视窗体验。一些实施例涉及一种解码视频数据的解码方法。该方法包括:接收包括与至少一个球面区域相关的多媒体体验的表示的多媒体数据;确定与球面区域相关的多媒体数据的至少一个视频部分和多媒体数据的至少一个额外多媒体部分;以及将至少一个视频部分和至少一个额外多媒体部分一起进行渲染,以呈现与球面区域相关的多媒体体验。在一些示例中,确定至少一个视频部分和至少一个额外多媒体部分包括:识别指定与球面区域相关的至少一个视频部分和至少一个额外多媒体部分的元数据,其中元数据位于已推导视窗视频轨道中;以及基于元数据,确定至少一个视频部分和至少一个额外多媒体部分。在一些示例中,确定至少一个视频部分和至少一个额外多媒体部分包括:识别指定与球面区域相关的至少一个视频部分和至少一个额外多媒体部分的元数据,其中元数据位于具有相同轨道分组标识符的相同类型的轨道分组组合中;以及基于元数据,确定至少一个视频部分和至少一个额外多媒体部分。在一些示例中,识别至少一个额外多媒体部分包括:识别音频轨道、文本轨道和标题轨道中的一个或多个。在一些示例中,该方法包括:识别与球面区域相关的额外特征,其中额外特征包括球面区域间过渡效应,球面区域间过渡效应包括表示从球面区域到第二球面区域的过渡的过渡效应的数据。过渡效应可以包括如下中的一个或多个:过渡的周期;球面区域的位置到第二球面区域的位置的范围;过渡的音频效应;以及过渡的视频效应。一些实施例涉及一种用于解码视频数据的装置。装置包括与存储器通讯的处理器,处理器被配置成执行存储在存储器中的多个指令,使得处理器:接收包括与至少一个球面区域相关的多媒体体验的表示的多媒体数据;确定与球面区域相关的多媒体数据的至少一个视频部分和多媒体数据的至少一个额外多媒体部分;以及将至少一个视频部分和至少一个额外多媒体部分一起进行渲染,以呈现与球面区域相关的多媒体体验。在一些示例中,确定至少一个视频部分和至少一个额外多媒体部分包括:识别指定与球面区域相关的至少一个视频部分和至少一个额外多媒体部分的元数据,其中元数据位于已推导视窗视频轨道中;以及基于元数据,确定至少一个视频部分和至少一个额外多媒体部分。在一些示例中,确定至少一个视频部分和至少一个额外多媒体部分包括:识别指定与球面区域相关的至少一个视频部分和至少一个额外多媒体部分的元数据,其中元数据位于具有相同轨道分组标识符的相同类型的轨道分组组合中;以及基于元数据,确定至少一个视频部分和至少一个额外多媒体部分。在一些示例中,识别至少一个额外多媒体部分包括:识别音频轨道、文本轨道和标题轨道中的一个或多个。在一些示例中,多个指令还使得处理器:识别与球面区域相关的额外特征,其中额外特征包括球面区域间过渡效应,球面区域间过渡效应包括表示从球面区域到第二球面区域的过渡的过渡效应的数据。过渡效应可以包括如下中的一个或多个:过渡的周期;球面区域的位置到第二球面区域的位置的范围;过渡的音频效应;以及过渡的视频效应。一些实施例涉及一种编码视频数据的方法。该方法包括:编码包括与至少一个球面区域相关的多媒体体验的表示的多媒体数据;编码与球面区域相关的多媒体数据的至少一个视频部分和多媒体数据的至少一个额外多媒体部分;以及提供编码的多媒体数据、至少一个视频部分和至少一个额外多媒体部分,以呈现与球面区域相关的多媒体体验。在一些示例中,编码至少一个视频部分和至少一个额外多媒体部分包括:编码指定与球面区域相关的至少一个视频部分和至少一个额外多媒体部分的元数据,其包括:将元数据编码到已推导视窗视频轨道中。在一些示例中,编码至少一个视频部分和至少一个额外多媒体部分包括:编码指定与球面区域相关的至少一个视频部分和至少一个额外多媒体部分的元数据,其包括:将元数据编码到具有相同轨道分组标识符的相同类型的轨道分组组合中。在一些示例中,该方法包括:编码与球面区域相关的额外特征,其中额外特征包括球面区域间过渡效应,球面区域间过渡效应包括表示从球面区域到第二球面区域的过渡的过渡效应的数据。一些实施例涉及一种编码视频数据的装置。该装置包括与存储器通讯的处理器,处理器被配置成执行存储在存储器中的多个指令,使得处理器:编码包括与至少一个球面区域相关的多媒体体验的表示的多媒体数据;编码与球面区域相关的多媒体数据的至少一个视频部分和多媒体数据的至少一个额外多媒体部分;以及提供编码的多媒体数据、至少一个视频部分和至少一个额外多媒体部分,以呈现与球面区域相关的多媒体体验。在一些示例中,编码至少一个视频部分和至少一个额外多媒体部分包括:编码指定与球面区域相关的至少一个视频部分和至少一个额本文档来自技高网
...

【技术保护点】
1.一种解码视频数据的方法,其特征在于,所述方法包括:接收包括与至少一个球面区域相关的多媒体体验的表示的多媒体数据;确定与所述球面区域相关的所述多媒体数据的至少一个视频部分和所述多媒体数据的至少一个额外多媒体部分;以及将所述至少一个视频部分和所述至少一个额外多媒体部分一起进行渲染,以呈现与所述球面区域相关的所述多媒体体验。

【技术特征摘要】
2017.07.12 US 62/531,379;2018.07.03 US 16/026,6321.一种解码视频数据的方法,其特征在于,所述方法包括:接收包括与至少一个球面区域相关的多媒体体验的表示的多媒体数据;确定与所述球面区域相关的所述多媒体数据的至少一个视频部分和所述多媒体数据的至少一个额外多媒体部分;以及将所述至少一个视频部分和所述至少一个额外多媒体部分一起进行渲染,以呈现与所述球面区域相关的所述多媒体体验。2.如权利要求1所述的解码视频数据的方法,其特征在于,确定所述至少一个视频部分和所述至少一个额外多媒体部分包括:识别指定与所述球面区域相关的所述至少一个视频部分和所述至少一个额外多媒体部分的元数据,其中所述元数据位于推导的视窗视频轨道中;以及基于所述元数据,确定所述至少一个视频部分和所述至少一个额外多媒体部分。3.如权利要求1所述的解码视频数据的方法,其特征在于,确定所述至少一个视频部分和所述至少一个额外多媒体部分包括:识别指定与所述球面区域相关的所述至少一个视频部分和所述至少一个额外多媒体部分的元数据,其中所述元数据位于具有相同轨道分组标识符的相同类型的轨道分组组合中;以及基于所述元数据,确定所述至少一个视频部分和所述至少一个额外多媒体部分。4.如权利要求1所述的解码视频数据的方法,其特征在于,确定所述至少一个额外多媒体部分包括:识别音频轨道、文本轨道和标题轨道中的一个或多个。5.如权利要求1所述的解码视频数据的方法,其特征在于,还包括:识别与所述球面区域相关的额外特征,其中所述额外特征包括球面区域间过渡效应,所述球面区域间过渡效应包括表示从所述球面区域到第二球面区域的过渡的过渡效应的数据指示。6.如权利要求5所述的解码视频数据的方法,其特征在于,所述过渡效应包括如下中的一个或多个:过渡的周期;所述球面区域的位置到所述第二球面区域的第二位置的范围;过渡的音频效应;以及过渡的视频效应。7.一种用于解码视频数据的装置,其特征在于,所述装置包括与存储器通讯的处理器,所述处理器被配置成执行存储在所述存储器中的多个指令,使得所述处理器:接收包括与至少一个球面区域相关的多媒体体验的表示的多媒体数据;确定与所述球面区域相关的所述多媒体数据的至少一个视频部分和所述多媒体数据的至少一个额外多媒体部分;以及将所述至少一个视频部分和所述至少一个额外多媒体部分一起进行渲染,以呈现与所述球面区域相关的所述多媒体体验。8.如权利要求7所述的用于解码视频数据的装置,其特征在于,确定所述至少一个视频部分和所述至少一个额外多媒体部分包括:识别指定与所述球面区域相关的所述至少一个视频部分和所述至少一个额外多媒体部分的元数据,其中所述元数据位于推导的视窗视频轨道中;以及基于所述元数据,确定所述至少一个视频部分和所述至少一个额外多媒体部分。9.如权利要求7所述的用于解码视频数据的装置,其特征在于,确定所述至少一个视频部分和所述至少一个额外多媒体部分包括:识别指定与所述球面区域相关的所述至少一个视频部分和所述至少一个额外多媒体部分的元数据,其中所述元数据位于具有相同轨道分组标识符的相同类型的轨道分组组合中;以及基于所述元数据,确定所述至少一个视频部分和所述至少一个额外多媒体部分。10.如权利要求7所述的用于解码视频数据的装置,其特征在于,确定所述至少一个额外多媒体部...

【专利技术属性】
技术研发人员:王新陈鲁林赵帅
申请(专利权)人:联发科技新加坡私人有限公司
类型:发明
国别省市:新加坡,SG

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1