编解码方法及装置制造方法及图纸

技术编号:22367026 阅读:49 留言:0更新日期:2019-10-23 05:38
本发明专利技术提供一种被配置为对视频数据进行编码和/或解码的方法,装置和计算机可读介质。视频数据可以包括感兴趣的区域。视频数据可包括与视频数据相关联的区域结构,其基于球体指定感兴趣区域的一个或多个层面,例如坐标层面,尺寸层面,范围层面或其组合。该区域结构包括指示区域结构是否包括指示应用于与该区域结构相关联的一组采样中的每一个的感兴趣区域的一个或多个全局层面的数据。可以基于区域结构是否包括指示感兴趣区域的一个或多个全局层面的数据的指示数据来确定视频数据中的感兴趣区域。本发明专利技术提出的编解码方法及装置,可改善编解码效率。

Encoding and decoding method and device

【技术实现步骤摘要】
编解码方法及装置
本专利技术涉及视频编码。具体而言,本专利技术涉及视频内容中的视口(viewports)和/或感兴趣区域,包括用于视频内容的二维(2D),三维(3D)和/或六维(6D)坐标系中发信(signaling)的矩形和球形区域。
技术介绍
存在各种类型的视频内容,例如2D内容,3D内容和多向内容(multi-directionalcontent)。例如,全向视频(omnidirectionalvideo)是使用一组摄像机捕获的一种视频,而不是像传统单向视频那样只使用一个摄像机。例如,可以将摄像机放置在特定中心点周围,使得每个摄像机捕获场景的球面覆盖上的一部分视频以捕获360度视频。来自多个相机的视频可以被缝合,旋转,并被投影以生成表示球形内容的投影的二维图像。例如,可以使用相等的矩形投影将球形图放入二维图像中。例如,这可以使用二维编码和压缩技术来完成。最终,使用期望的传送机制(例如,拇指驱动器,数字视频盘(DVD)和/或在线流传输)来存储和传送已编码和已压缩的内容。这种视频可以用于虚拟现实(virtualreality,VR)和/或3D视频。在客户端,当客户端处理内容时,视频解码器对编码的视频进行解码并执行反向投影以将内容放回到球体上。然后,用户可以查看所呈现的内容,例如使用头戴式观看设备。内容通常根据用户的视口进行渲染,视口表示用户查看内容的角度。视口还可以包括表示观看区域的组件,其可以描述观看者在特定角度观看的区域的大小和形状。当视频处理不是以视口相关的方式完成时,使得视频编码器不知道用户将实际观看什么,则整个编码和解码过程将处理整个球形内容。例如,这可以允许用户在任何特定视口和/或区域观看内容,因为所有球形内容都被传递和解码。然而,处理所有球形内容可能是计算密集型的并且可能消耗大量带宽。例如,对于在线流媒体应用,处理所有球形内容会给网络带宽带来很大负担。因此,当带宽资源和/或计算资源有限时,可能难以保持用户的体验。某些技术仅处理用户正在查看的内容。例如,如果用户正在观看前部(例如,或北极),则不需要传送内容的后部(例如,南极)。如果用户更改视口,则可以相应地为新视口传递内容。作为另一示例,对于自由视点TV(freeviewpointTV,FTV)应用(例如,使用多个相机捕获场景的视频),可以根据用户正在观看场景的角度来传送内容。例如,如果用户正在从一个视口(例如,相机和/或相邻相机)查看内容,则可能不需要为其他视口传送内容。
技术实现思路
根据所公开的主题,提供了一种编解码方法及装置,用于表示视频内容中的矩形和球形感兴趣区域(ROI)的装置,系统和方法,包括2D,3D和6D坐标系。一些实施例涉及用于解码视频数据的解码方法。该方法包括接收包括感兴趣区域的视频数据,确定与视频数据相关联的区域结构,该区域结构基于球体指定感兴趣区域的一个或多个层面。其中一个或多个层面包括感兴趣区域的坐标层面,感兴趣区域的尺寸层面,在感兴趣区域的范围层面或其组合。区域结构包括指示区域结构的一个或多个层面是否包括指示应用于与该区域结构相关联的一组采样中的每一个的感兴趣区域的一个或多个全局层面的数据的指示数据。该方法包括基于指示区域结构是否包括指示感兴趣区域的一个或多个全局层面的数据的指示数据,来确定视频数据中的感兴趣区域。在一些示例中,基于指示区域结构是否包括指示感兴趣区域的一个或多个全局层面的数据的指示数据来确定视频数据中的感兴趣区域包括:确定区域结构不指定感兴趣区域的第一全局坐标层面,并且对于与区域结构相关联的每个采样,确定感兴趣区域的采样的第一坐标层面。在一些示例中,基于指示区域结构是否包括指示感兴趣区域的一个或多个全局层面的数据的指示数据,来确定视频数据中的感兴趣区域包括确定区域结构包括指示感兴趣区域的方向和该感兴趣区域的范围的数据,其中方向和范围适用于与区域结构相关联的每个采样。确定区域结构包括指示感兴趣区域的范围的数据可以包括确定感兴趣区域的方位角和高度。确定区域结构可以包括指示感兴趣区域的范围的数据包括确定感兴趣区域的宽度和高度。一些示例可以包括确定区域结构包括指示感兴趣区域的位置的数据,以及确定感兴趣区域的位置,其中该位置适用于与区域结构相关联的每个采样。确定位置可以包括确定感兴趣区域的中心位置。在一些示例中,基于指示该区域结构是否包括指示该感兴趣区域的一个或多个全局层面的数据的指示数据,来确定该视频数据中的该感兴趣区域包括:确定该区域结构包括指示该感兴趣区域的位置和该感兴趣区域的大小的数据,以及确定该感兴趣区域的该位置和该大小,其中该位置和该大小适用于与该区域结构相关联的每个采样。一些实施例涉及用于编码视频数据的方法。该方法可以包括编码包括感兴趣区域的视频数据,包括编码与视频数据相关联的区域结构,该区域结构基于球体指定感兴趣区域的一个或多个层面,其中该一个或多个层面包括该感兴趣区域的坐标层面,该感兴趣区域的尺寸层面,该感兴趣区域的范围层面或其组合,区域结构包括指示区域结构的一个或多个层面是否包括指示应用于与区域结构相关联的一组采样中的每一个的该感兴趣区域的一个或多个全局层面的数据的指示数据。在一些示例中,对视频数据中的感兴趣区域进行编码包括:编码指示区域结构的数据,不指定感兴趣区域的第一全局层面,以及对于与区域结构相关联的每个采样,编码用于该感兴趣区域的采样的第一坐标层面。在一些示例中,对感兴趣区域进行编码包括编码指示感兴趣区域的方向和感兴趣区域的范围的数据,其中方向和范围适用于与区域结构相关联的每个采样。对指示感兴趣区域的范围的编码数据可以包括编码感兴趣区域的方位角和仰角。对指示感兴趣区域的范围的数据进行编码可以包括编码感兴趣区域的宽度和高度。一些示例可以包括在区域结构中编码指示感兴趣区域的位置的数据,其中该位置适用于与区域结构相关联的每个采样。对位置进行编码可以包括编码感兴趣区域的中心位置。在一些示例中,对区域结构进行编码可以包括编码指示感兴趣区域的位置和感兴趣区域的大小的数据,其中位置和大小适用于与区域结构相关联的每个采样。一些实施例涉及一种被配置为解码视频数据的装置。该装置包括与存储器通信的处理器。处理器被配置为执行存储在存储器中的指令,该指令使处理器接收包括感兴趣区域的视频数据,确定与视频数据相关联的区域结构,该区域结构基于球体指定感兴趣区域的一个或多个层面,其中,该一个或多个层面包括感兴趣区域的坐标层面,感兴趣区域的尺寸层面,感兴趣区域的范围层面或其某种组合,该区域结构包括指示是区域结构的一个或多个层面包括指示感兴趣区域的一个或多个全局层面的数据,其应用于与区域结构相关联的一组采样中的每一个,并且基于指示区域结构是否包括指示感兴趣区域的一个或多个全局层面的数据的指示数据,来确定该视频数据中的感兴趣区域。一些实施例涉及用于编码视频数据的装置。该装置可以包括与存储器通信的处理器,该处理器被配置为执行存储在存储器中的指令,该指令使得处理器对包括感兴趣区域的视频数据进行编码,包括编码与视频数据相关联的区域结构,区域结构基于球体指定感兴趣区域的一个或多个层面,其中一个或多个层面包括感兴趣区域的坐标层面,感兴趣区域的尺寸层面,在感兴趣区域的范围层面或其组合。区域结构包括指示区域结构的一个或多个层本文档来自技高网
...

【技术保护点】
1.一种解码方法,其特征在于,用于解码视频数据,该方法包括:接收包括感兴趣区域的该视频数据;确定与该视频数据相关联的区域结构,该区域结构基于球体指定该感兴趣区域的一个或多个层面,其中该一个或多个层面包括该感兴趣区域的坐标层面,该感兴趣区域的尺寸层面,该感兴趣区域的范围层面或其组合,该区域结构包括:指示该区域结构的一个或多个层面是否包括指示应用于与该区域结构相关联的一组采样中的每一个的该感兴趣区域的一个或多个全局层面的数据的指示数据;以及基于指示该区域结构是否包括指示该感兴趣区域的一个或多个全局层面的数据的该指示数据,来确定该视频数据中的该感兴趣区域。

【技术特征摘要】
2018.03.26 US 62/647,903;2019.03.14 US 16/353,9631.一种解码方法,其特征在于,用于解码视频数据,该方法包括:接收包括感兴趣区域的该视频数据;确定与该视频数据相关联的区域结构,该区域结构基于球体指定该感兴趣区域的一个或多个层面,其中该一个或多个层面包括该感兴趣区域的坐标层面,该感兴趣区域的尺寸层面,该感兴趣区域的范围层面或其组合,该区域结构包括:指示该区域结构的一个或多个层面是否包括指示应用于与该区域结构相关联的一组采样中的每一个的该感兴趣区域的一个或多个全局层面的数据的指示数据;以及基于指示该区域结构是否包括指示该感兴趣区域的一个或多个全局层面的数据的该指示数据,来确定该视频数据中的该感兴趣区域。2.如权利要求1所述的解码方法,其特征在于,基于指示该区域结构是否包括指示该感兴趣区域的一个或多个全局层面的数据的该指示数据,来确定该视频数据中的该感兴趣区域的步骤包括:确定该区域结构不指定该感兴趣区域的第一全局坐标层面;以及对于与该区域结构相关联的每个采样,确定该感兴趣区域的采样的第一坐标层面。3.如权利要求1所述的解码方法,其特征在于,基于指示该区域结构是否包括指示该感兴趣区域的一个或多个全局层面的数据的该指示数据,来确定该视频数据中的该感兴趣区域的步骤包括:确定该区域结构包括指示该感兴趣区域的方向和该感兴趣区域的范围的数据;以及确定该感兴趣区域的该方向和该范围,其中该方向和该范围适用于与该区域结构相关的每个采样。4.如权利要求3所述的解码方法,其特征在于,确定该区域结构包括指示该感兴趣区域的范围的数据包括确定该感兴趣区域的方位角和高度。5.如权利要求3所述的解码方法,其特征在于,确定该区域结构包括指示该感兴趣区域的范围的数据包括确定该感兴趣区域的宽度和高度。6.如权利要求3所述的解码方法,其特征在于,还包括:确定该区域结构包括指示该感兴趣区域的位置的数据;以及确定该感兴趣区域的位置,其中该位置适用于与该区域结构相关联的每个采样。7.如权利要求4所述的解码方法,其特征在于,确定该位置包括确定该感兴趣区域的中心位置。8.如权利要求1所述的解码方法,其特征在于,基于指示该区域结构是否包括指示该感兴趣区域的一个或多个全局层面的数据的该指示数据,来确定该视频数据中的该感兴趣区域包括:确定该区域结构包括指示该感兴趣区域的位置和该感兴趣区域的大小的数据;以及确定该感兴趣区域的该位置和该大小,其中该位置和该大小适用于与该区域结构相关联的每个采样。9.一种编码方法,其特征在于,用于编码视频数据,该方法包括:编码包括感兴趣区域的该视频数据,包括:编码与该视频数据相关联的区域结构,该区域结构基于球体指定该感兴趣区域的一个或多个层面,其中该一个或...

【专利技术属性】
技术研发人员:王新陈鲁林
申请(专利权)人:联发科技新加坡私人有限公司
类型:发明
国别省市:新加坡,SG

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1