The present invention provides a method and device for decoding video data for processing multimedia data including representation of multimedia experience related to at least one spherical area. At least one video portion of multimedia data and at least one additional multimedia portion of multimedia data are related to spherical regions. Multimedia data, at least one video portion and at least one additional multimedia portion present a multimedia experience related to a spherical area. The invention also provides a method and device for encoding video data. The invention enhances the visual experience.
【技术实现步骤摘要】
一种编解码视频数据的方法及装置
此处描述的技术一般涉及视频编解码,且具体而言,涉及呈现球面区域体验,例如,虚拟现实(virtualreality,VR)视窗体验,包括分组(group)球面区域呈现信息(sphereregionpresentationinformation)的技术。
技术介绍
存在不同类型的3D内容和多向内容。例如,全景视频是一种类型的视频,其是使用一组摄像机集合来捕捉的,而不像仅使用单个摄像机捕捉的传统单向视频那样。例如,摄像机可以被放置在特定中心点周围,使得每个摄像机捕捉场景的球面覆盖上的视频的一部分,以捕捉360度视频。来自于多个摄像机的视频可以被缝合、可能地旋转以及投影,以生成表示球面内容的已投影二维图像。例如,等角投影可以被使用以将球面映射成二维图像。随后,这可以被进一步处理,例如,使用二维编码和压缩技术。最后,使用特定传送机制(例如,拇指驱动器、数字视盘(digitalvideodisk,DVD)、文件下载、数字广播和/或在线流),已编码且已压缩内容被存储并传送。这种视频可以用于VR和/或3D视频。在客户端侧,当客户端处理视频时,视频解码器解码已编码且已压缩视频,并执行逆投影以将内容恢复到球面上。随后,用户可以观看已渲染内容,例如,使用头戴式观看设备。根据表示用户观看内容所处的角度的用户的视窗,内容通常被渲染。视窗也可以包括表示观看区域的分量,其可以描述观看者在特定角度所观看的区域的大小和形状。当视频处理不以基于视窗的方式进行,以使得视频编码器和/或视频解码器不了解用户实际上将要观看的内容时,整体编码、传送和解码的流程将处理整个 ...
【技术保护点】
1.一种解码视频数据的方法,其特征在于,所述方法包括:接收包括与至少一个球面区域相关的多媒体体验的表示的多媒体数据;确定与所述球面区域相关的所述多媒体数据的至少一个视频部分和所述多媒体数据的至少一个额外多媒体部分;以及将所述至少一个视频部分和所述至少一个额外多媒体部分一起进行渲染,以呈现与所述球面区域相关的所述多媒体体验。
【技术特征摘要】
2017.07.12 US 62/531,379;2018.07.03 US 16/026,6321.一种解码视频数据的方法,其特征在于,所述方法包括:接收包括与至少一个球面区域相关的多媒体体验的表示的多媒体数据;确定与所述球面区域相关的所述多媒体数据的至少一个视频部分和所述多媒体数据的至少一个额外多媒体部分;以及将所述至少一个视频部分和所述至少一个额外多媒体部分一起进行渲染,以呈现与所述球面区域相关的所述多媒体体验。2.如权利要求1所述的解码视频数据的方法,其特征在于,确定所述至少一个视频部分和所述至少一个额外多媒体部分包括:识别指定与所述球面区域相关的所述至少一个视频部分和所述至少一个额外多媒体部分的元数据,其中所述元数据位于推导的视窗视频轨道中;以及基于所述元数据,确定所述至少一个视频部分和所述至少一个额外多媒体部分。3.如权利要求1所述的解码视频数据的方法,其特征在于,确定所述至少一个视频部分和所述至少一个额外多媒体部分包括:识别指定与所述球面区域相关的所述至少一个视频部分和所述至少一个额外多媒体部分的元数据,其中所述元数据位于具有相同轨道分组标识符的相同类型的轨道分组组合中;以及基于所述元数据,确定所述至少一个视频部分和所述至少一个额外多媒体部分。4.如权利要求1所述的解码视频数据的方法,其特征在于,确定所述至少一个额外多媒体部分包括:识别音频轨道、文本轨道和标题轨道中的一个或多个。5.如权利要求1所述的解码视频数据的方法,其特征在于,还包括:识别与所述球面区域相关的额外特征,其中所述额外特征包括球面区域间过渡效应,所述球面区域间过渡效应包括表示从所述球面区域到第二球面区域的过渡的过渡效应的数据指示。6.如权利要求5所述的解码视频数据的方法,其特征在于,所述过渡效应包括如下中的一个或多个:过渡的周期;所述球面区域的位置到所述第二球面区域的第二位置的范围;过渡的音频效应;以及过渡的视频效应。7.一种用于解码视频数据的装置,其特征在于,所述装置包括与存储器通讯的处理器,所述处理器被配置成执行存储在所述存储器中的多个指令,使得所述处理器:接收包括与至少一个球面区域相关的多媒体体验的表示的多媒体数据;确定与所述球面区域相关的所述多媒体数据的至少一个视频部分和所述多媒体数据的至少一个额外多媒体部分;以及将所述至少一个视频部分和所述至少一个额外多媒体部分一起进行渲染,以呈现与所述球面区域相关的所述多媒体体验。8.如权利要求7所述的用于解码视频数据的装置,其特征在于,确定所述至少一个视频部分和所述至少一个额外多媒体部分包括:识别指定与所述球面区域相关的所述至少一个视频部分和所述至少一个额外多媒体部分的元数据,其中所述元数据位于推导的视窗视频轨道中;以及基于所述元数据,确定所述至少一个视频部分和所述至少一个额外多媒体部分。9.如权利要求7所述的用于解码视频数据的装置,其特征在于,确定所述至少一个视频部分和所述至少一个额外多媒体部分包括:识别指定与所述球面区域相关的所述至少一个视频部分和所述至少一个额外多媒体部分的元数据,其中所述元数据位于具有相同轨道分组标识符的相同类型的轨道分组组合中;以及基于所述元数据,确定所述至少一个视频部分和所述至少一个额外多媒体部分。10.如权利要求7所述的用于解码视频数据的装置,其特征在于,确定所述至少一个额外多媒体部...
【专利技术属性】
技术研发人员:王新,陈鲁林,赵帅,
申请(专利权)人:联发科技新加坡私人有限公司,
类型:发明
国别省市:新加坡,SG
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。