具有所采用投影布局的语法元素信令的视频编码方法和装置以及相关的视频解码方法和装置制造方法及图纸

一种视频编码方法，包括：设置多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括分别位于所述360VR投影布局中的多个位置的多个三角形投影面；对具有由排列在所述360VR投影布局中的所述多个投影面所表示的360°图像内容的帧进行编码以生成比特流；对于包括在所述多个位置的至少一部分中的每一个位置，通过所述比特流发信至少一个语法元素，其中所述至少一个语法元素被设置以指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。

【技术实现步骤摘要】
【国外来华专利技术】具有所采用投影布局的语法元素信令的视频编码方法和装置以及相关的视频解码方法和装置相关参考本申请要求递交于2016年10月7日，号码为62/405,290的美国临时申请的优先权，其整体通过参考纳入其中。
技术介绍
本专利技术涉及视频编码和视频解码，更具体地，涉及具有所采用投影布局(projectionlayout)的语法元素信令(syntaxelementsignaling)的视频编码方法和装置以及相关的视频解码方法和装置。具有多个头戴式显示器(head-mounteddisplays，简称HMDs)的虚拟现实(VR)与各种各样的应用相关联，其向用户提供宽视场内容(widefieldofviewcontent)的能力可以用来提供沉浸式的视觉体验(immersivevisualexperiences)。必须在所有方向上捕获真实世界环境以生成对应于观察球(viewingsphere)的全景视频(omnidirectionalvideo)。随着多个相机平台(camerarig)和多个HMD的发展，由于展示如360°图像内容所需要的高比特率，VR内容的递送可能很快成为瓶颈。当全景视频的分辨率是4K或者更高的时候，数据压缩/编码对比特率的减小是关键的。通常，对应于观察球的全景视频被转换成由排列在360VR投影布局多个投影面所表示的具有360°图像内容的帧，然后所生产的帧被编码成比特流用于传输。如果所采用的360VR投影布局的配置是固定的而不允许进行任何调整，视频编码器对于该360°图像内容的编码具有较小的灵活性。因此，需要设计灵活的视频编码器，其被允许决定/选择360VR投影布局并且发信与所采用的该360VR投影布局有关的语法元素至视频解码器。
技术实现思路
本专利技术的目的之一是提供一种具有所采用投影布局的语法元素信令的视频编码方法和装置以及相关的视频解码方法和装置。根据本专利技术的第一方面，公开了一种示例性视频编码方法。该示例性视频编码方法包括：设置多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括分别位于所述360VR投影布局中的多个位置的多个三角形投影面；对具有由排列在所述360VR投影布局的所述多个投影面所表示的360°图像内容的帧进行编码以生成比特流；以及对于包括在所述多个位置的至少一部分中的每一个位置，通过所述比特流发信至少一个语法元素，其中所述至少一个语法元素被设置以指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。根据本专利技术的第二方面，公开了一种示例性视频编码方法。该示例性编码方法包括：对具有由排列在360°虚拟现实(360VR)投影布局中的多个投影面所表示的360°图像内容的帧进行编码以生成比特流，其中所述多个投影面包括多个三角形投影面；以及通过所述比特流发信第一语法元素，其中当预定义的投影布局被选择并用作为所述360VR投影布局的时候，所述第一语法元素被设置以指示所述预定义的投影布局的选择。根据本专利技术的第三方面，公开了一种示例性视频解码方法。该示例性解码方法包括：接收比特流，处理所述比特流以为包括在多个位置中的至少一部分中的每一个位置获得至少一个语法元素；参考为所述多个位置中的至少一部分所获得的至少多个语法元素以决定多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括分别位于所述360VR投影布局中的所述多个位置的多个三角形投影面，并且所述至少一个语法元素指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面；以及对所述比特流进行解码以生成具有由排列在所述360VR投影布局中的所述多个投影面表示的360°图像内容的解码帧。根据本专利技术的第四方面，公开了一种示例性视频解码方法。该示例性解码方法包括：接收比特流；处理所述比特流以获得第一语法元素；参考至少所述第一语法元素以决定多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括多个三角形投影面，以及当预定义的投影布局被选择并用作为所述360VR投影布局的时候，所述第一语法元素指示所述预定义的投影布局的选择；以及解码所述比特流以生成具有由排列在所述360VR投影布局的所述多个投影面表示的360°图像内容的解码帧。根据本专利技术的第五方面，公开了一种示例性视频编码器。该示例性视频编码器包括控制电路以及编码电路。所述控制电路用于设置多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括分别位于所述VR投影布局中的多个位置的多个三角形投影面。所述编码电路用于对具有由排列在所述360VR投影布局中的所述多个投影面表示的360°图像内容的帧进行编码以生成比特流，其中对于包括在所述多个位置的至少一部分中的每一个位置，所述编码电路进一步通过所述比特流发信至少一个语法元素，其中所述至少一个语法元素被设置以指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。根据本专利技术的第六方面，公开了一种示例性视频解码器。该示例性视频解码器包括控制电路以及解码电路。所述解码电路用于接收比特流，处理所述比特流以获得用于包括在多个位置的至少一部分中的每一个位置的至少一个语法元素，并且对所述比特流进行解码以生成具有由排列在所述360°虚拟现实(360VR)投影布局中的所述多个投影面所表示的360°图像内容的解码帧；所述控制电路用于参考为所述多个位置的至少一部分的所获得的至少多个语法元素以决定多个投影面的360°虚拟现实投影布局，其中所述多个投影面包括分别位于所述360VR投影布局中的所述多个位置的多个三角形投影面，以及所述至少一个语法元素指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。在阅读下面的附图和附图中所示的优选实施例的详细描述后，本专利技术的上述目的和其他目的对本领域普通技术人员将毫无疑问是显而易见的。附图说明图1示出了根据本专利技术一实施例的视频编码器。图2示出了根据本专利技术一实施例的视频解码器。图3示出了在图1所示的控制电路的控制下将要被填充到八面体(octahedron)投影布局的多个三角形投影面的多个三角形投影视图。图4示出了根据本专利技术一实施例的八面体投影布局。图5示出了根据本专利技术一实施例的设置八面体投影布局的配置的过程。图6示出了根据本专利技术一实施例的设置八面体投影布局的配置的另一过程。图7示出了根据本专利技术一实施例的另一个八面体投影布局。图8示出了根据本专利技术一实施例的又一个八面体投影布局。图9示出了在图1所示的控制电路的控制下将要被填充到四面体(tetrahedron)投影布局的多个三角形投影面的多三角形投影视图。图10示出了根据本专利技术一实施例的四面体投影布局。图11示出了在图1所示的控制电路的控制下将要被填充到二十面体(icosahedron)投影布局的多个三角形投影面的多三角形投影视图。本文档来自技高网...

【技术保护点】
1.一种视频编码方法，其特征在于，包括：设置多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括分别位于所述360VR投影布局中的多个位置的多个三角形投影面；对具有由排列在所述360VR投影布局中的所述多个投影面所表示的360°图像内容的帧进行编码以生成比特流；对于包括在所述多个位置的至少一部分中的每一个位置，通过所述比特流发信至少一个语法元素，其中所述至少一个语法元素被设置以指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。

【技术特征摘要】
【国外来华专利技术】2016.10.07 US 62/405,2901.一种视频编码方法，其特征在于，包括：设置多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括分别位于所述360VR投影布局中的多个位置的多个三角形投影面；对具有由排列在所述360VR投影布局中的所述多个投影面所表示的360°图像内容的帧进行编码以生成比特流；对于包括在所述多个位置的至少一部分中的每一个位置，通过所述比特流发信至少一个语法元素，其中所述至少一个语法元素被设置以指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。2.如权利要求1所述的视频编码方法，其特征在于，其中所述多个位置的数量为N；所述多个位置包括(N-1)个位置和剩余的位置；对于所述(N-1)个位置中的每一个，指示所述三角形投影视图的索引的语法元素通过所述比特流发信，所述三角形投影视图被填充到位于所述(N-1)个位置中的每一个对应的三角形投影面；以及对于所述剩余的位置，没有指示三角形投影视图的索引的语法元素通过所述比特流发信，所述三角形投影视图被填充到位于所述剩余的位置的对应的三角形投影面。3.如权利要求1所述的视频编码方法，其特征在于，其中所述多个位置的数量为N；以及对于所述多个位置中的M个位置的每一个，指示三角形投影视图的索引的语法元素通过所述比特流发信，所述三角形投影视图被填充到位于所述M个位置的每一个的对应的三角形投影面，其中所发信的多个语法元素表明用于所述M个位置的多个索引具有相同的比特长度，并且M＝N或(N-1)。4.如权利要求1所述的视频编码方法，其特征在于，其中对于包括在所述多个位置的至少一部分中的所述每一个位置，从多个三角形投影视图的视图阵列中选择所述三角形投影视图，所述三角形投影视图被填充到位于所述每一个位置的所述对应的三角形投影面，并且由所述视图阵列中的所述三角形投影视图的阵列索引设置所述三角形投影视图的所述索引，其中在为所述每一个位置选择所述三角形投影视图以后，通过从所述视图阵列中移除所述三角形投影视图来更新所述视图阵列；分别指示多个三角形投影视图的多个索引的多个语法元素通过所述比特流发信，所述多个三角形投影视图被填充到位于所述多个位置的至少一部分中的所有位置的对应的多个三角形投影面，以及并非所有的所述多个语法元素具有相同的比特长度。5.如权利要求1所述的视频编码方法，其特征在于，其中对于所述多个位置中的每一个，指示应用于所述三角形投影视图的所述内容旋转的旋转角度的语法元素通过所述比特流发信，所述三角形投影视图被填充到位于所述多个位置中的每一个的对应的三角形投影面。6.如权利要求5所述的视频编码方法，其特征在于，其中从由0°、120°和240°组成的组中选择所述旋转角度。7.一种视频编码方法，其特征在于，包括：对具有由排列在360°虚拟现实(360VR)投影布局中的多个投影面所表示的360°图像内容的帧进行编码以生成比特流，其中所述多个投影面包括多个三角形投影面；以及通过所述比特流发信第一语法元素，其中当预定义的投影布局被选择并用作为所述360VR投影布局的时候，所述第一语法元素被设置以指示所述预定义的投影布局的选择。8.如权利要求7所述的视频编码方法，其特征在于，进一步包括：从一组不同的预定义的投影布局中选择所述预定义的投影布局；以及通过所述预定义的投影布局设置所述360VR投影布局。9.如权利要求7所述的视频编码方法，其特征在于，其中所述第一语法元素被设置以指示所述预定义的投影布局没有被选择并用作为所述360VR投影布局，并且所述视频编码方法进一步包括：设置所述360VR投影布局，其中所述多个三角形投影面分别位于所述360VR投影布局的多个位置；以及对于包括在所述多个位置的至少一部分中的每一个位置，通过所述比特流发信至少一个第二语法元素，其中所述至少一个第二语法元素被设置以指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面。10.一种视频解码方法，其特征在于，包括：接收比特流；处理所述比特流以为包括在多个位置的至少一部分中的每一个位置获得至少一个语法元素；参考为所述多个位置中的至少一部分所获得的至少多个语法元素以决定多个投影面的360°虚拟现实(360VR)投影布局，其中所述多个投影面包括分别位于所述360VR投影布局中的所述多个位置的多个三角形投影面，并且所述至少一个语法元素指示三角形投影视图的一个索引与应用于所述三角形投影视图的内容旋转的一个旋转角度中的至少一个，所述三角形投影视图被填充到位于所述每一个位置的对应的三角形投影面；以及对所述比特流进行解码以生成由排列在所述360VR投影布局中的所述多个投影面所表示的具有360°图像内容的解码帧。11.如权利要求10所述的视频解码方法，其特征在于，其中所述多个位置的数量是N；所述多...

【专利技术属性】
技术研发人员：林建良，林鸿志，李佳盈，张胜凯，朱启诚，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71