具有旋转信息的语法元素信令的视频编码功能的方法和设备以及具有相关的视频解码功能的方法和设备技术

技术编号:21208464 阅读:18 留言:0更新日期:2019-05-25 03:55
本发提供一种视频处理方法,包括:接收具有以360度虚拟现实(360‑degree Virtual Reality,360VR)投影格式表示的360度图像/视频内容的当前输入帧,对该当前输入帧中的该360度图像/视频内容应用内容导向旋转,以生成具有以该360度虚拟现实投影格式表示的旋转的360度图像/视频内容的内容旋转帧,编码该内容旋转帧以生成比特流,以及通过该比特流发信至少一个语法元素,其中,该至少一个语法元素被设置为用于指示该内容导向旋转的旋转信息。

Method and equipment with video coding function of grammar element signaling with rotation information and method and equipment with relevant video decoding function

This issue provides a video processing method, including receiving a current input frame with 360-degree virtual reality (360VR) projection format representing 360-degree image/video content, and applying content-oriented rotation to the 360-degree image/video content in the current input frame to generate a 360-degree image with rotation in the 360-degree virtual reality projection format. A content rotation frame of an image/video content, encoding the content rotation frame to generate a bit stream, and sending at least one grammar element through the bit stream, wherein the at least one grammar element is set as rotation information for indicating the content-oriented rotation.

【技术实现步骤摘要】
【国外来华专利技术】具有旋转信息的语法元素信令的视频编码功能的方法和设备以及具有相关的视频解码功能的方法和设备相关申请的交叉引用本申请要求下列申请的优先权:2016年11月9日提出的申请号为62/419,513的美国临时案,2016年12月13日提出的申请号为62/433,272的美国临时案,2017年03月09日提出的申请号为62/469,041的美国临时案以及2017年11月03日提出的申请号为15/802,481的美国案。在此合并参考这些申请案的申请标的。
本专利技术有关于360度图像/视频内容处理。更具体地,本专利技术涉及具有应用于以投影格式来表示的360度图像/视频内容的内容导向旋转的旋转信息的语法元素信令的视频编码功能的方法和设备和具有相关的视频解码功能的方法和设备。
技术介绍
具有头戴式显示器(head-mounteddisplay,HMD)的虚拟现实(Virtualreality,VR)与各种应用相关联。向用户显示广泛视野内容的能力可用于提供身临其境的视觉体验。必须捕捉所有方向上的真实世界的环境,从而生成对应于视野范围的全方位视频(omnidirectionalvideo)。随着摄像机和HMD的进步,由于代表诸如360度图像/视频之类的内容所需的高比特率,而导致VR内容的传送可能很快遇到瓶颈。当全方位视频的分辨率为4k或更高时,数据压缩/编码对比特率的降低至关重要。通常,将对应于视野范围的全方位视频转换成图像序列,其中的每一个图像序列都以360度虚拟现实(360-degreeVirtualReality,360VR)投影格式来表示,随后得到的图像序列被编码为用于传输的比特流。然而,由于移动对像被所应用的360VR投影格式分割和/或拉伸,原始的以360度虚拟现实投影格式表示的360度图像/视频内容可能具有较差的压缩效率。因此,需要一种能够提高以360VR投影格式表示的360度图像/视频内容的压缩效率的创新设计。
技术实现思路
本专利技术的目的之一是提供具有应用于以投影格式表示的360度图像/视频内容的内容导向旋转的旋转信息的语法元素信令的视频编码功能的方法和设备以及具有相关的视频解码功能的方法和设备。根据本专利技术的第一方面,公开了一种视频处理方法。所述视频处理方法包括:接收具有以360度虚拟现实(360-degreeVirtualReality,360VR)投影格式表示的360度图像/视频内容的当前输入帧,将内容导向旋转应用于当前输入帧中的360度图像/视频内容以生成具有以360VR投影格式表示的旋转的360度图像/视频内容的内容旋转帧,编码所述内容旋转帧以生成比特流,以及通过所述比特流发信至少一个语法元素,其中,所述至少一个语法元素被设置为用于指示所述内容导向旋转的旋转信息。根据本专利技术的第二方面,公开了一种视频处理方法。所述视频处理方法包括接收比特流,处理比特流以从比特流中获取至少一个语法元素,对比特流进行解码以生成具有以360度虚拟现实(360-degreeVirtualReality,360VR)表示的旋转的360度图像/视频内容的当前解码帧,以及根据当前解码帧以及由至少一个语法元素指示的内容导向旋转的旋转信息,在显示屏幕上渲染和显示输出图像数据,其中在生成旋转的360度图像/视频内容中涉及内容导向旋转。根据本专利技术的第三方面,公开了一种视频处理设备。所述视频处理设备包括内容导向旋转电路和视频编码器。内容导向旋转电路用于接收具有以360度虚拟现实投影格式表示的360度图像/视频内容的当前输入帧,并且将内容导向旋转应用于360度图像/视频内容以生成具有以360度虚拟现实投影格式表示的旋转的360度图像/视频内容的内容旋转帧。视频编码器用于对内容旋转帧进行编码以生成比特流且通过所述比特流发信至少一个语法元素,其中至少一个语法元素被设置为用于指示内容导向旋转的旋转信息。根据本专利技术的第四方面,公开了一种视频处理设备。所述视频处理设备包括视频解码器和图像渲染电路。视频解码器用于接收比特流,处理所述比特流以从所述比特流中获取至少一个语法元素,并且解码所述比特流以生成具有以360度虚拟现实投影格式表示的旋转的360度图像/视频内容的当前解码帧。图像渲染电路用于根据当前解码帧以及由至少一个语法元素指示的内容导向旋转的旋转信息,在显示屏幕上渲染和显示输出图像数据,其中在生成旋转的360度图像/视频内容中涉及内容导向旋转。在阅读了以下各个附图和附图中示出的优选实施例的详细描述之后,本专利技术的这些和其它目的无疑对于本领域的技术人员变得显而易见。附图说明图1是根据本专利技术实施例的360度虚拟现实(360-degreeVirtualReality,360VR)系统的示意图。图2是根据本专利技术实施例提出的内容导向旋转的概念示意图。图3是根据本专利技术实施例的视频编码器的示意图。图4是根据本专利技术实施例的使用具有相同旋转角度的不同旋转顺序来执行内容导向旋转的示意图。图5是根据本专利技术实施例的视频解码器的示意图。具体实施方式在接下来的描述和权利要求书中贯穿使用了某些涉及特定的组件的术语。如本领域的技术人员将认识到,电子设备制造商可以通过不同的名称来指代组件。本文不打算区分名称不同但功能相同的组件。在接下来的描述和权利要求书中,术语“包括(include)”和“包含(comprise)”以开放式方式使用,因此其应解释为意指“包括但不限于...”。此外,术语“耦接”用于表示间接或直接的电连接。因此,如果一个设备耦于接另一个设备,则所述连接可以通过直接电连接,或者通过经由其他设备和连接的间接电连接。图1是根据本专利技术实施例的360度虚拟现实(360-degreeVirtualReality,360VR)系统的示意图。360VR系统100包括源电子设备102和目标电子设备104。源电子设备102包括视频捕捉设备112、转换电路114、内容导向旋转电路116和视频编码器118。例如,视频捕捉设备112可以是用于提供对应于球形视野(viewingsphere)的全方位图像内容(例如,覆盖整个周围环境的多个图像)S_IN的一组相机。转换电路114根据全方位图像内容S_IN生成具有360度虚拟现实(360VR)投影格式L_VR的当前输入帧IMG。在该示例中,转换电路114为从视频捕捉设备112提供的360度视频的每个视频帧生成一个输入帧。被转换电路114应用的360VR投影格式L_VR可以是任何可用的投影格式,包括等矩形投影(equirectangularprojection,ERP)格式、立方体投影(cubemapprojection,CMP)格式、八面体投影(octahedronprojection,OHP)格式、二十面体投影(icosahedronprojection,ISP)格式等。内容导向旋转电路116接收当前输入帧IMG(其具有以360VR投影格式L_VR表示的360度图像/视频内容),并且将内容导向旋转应用于当前输入帧IMG中的360度图像/视频内容以生成内容旋转帧IMG’,内容旋转帧IMG’具有以相同的360VR投影格式L_VR表示的旋转的360度图像/视频内容。此外,应用的内容导向旋转的旋转信息INF_R被提供给视频编码器118以用于语法元素信令(sy本文档来自技高网
...

【技术保护点】
1.一种视频处理方法,其特征在于,包括:接收具有以360度虚拟现实投影格式表示的360度图像/视频内容的当前输入帧;对所述当前输入帧中的所述360度图像/视频内容应用内容导向旋转,以生成具有以所述360度虚拟现实投影格式表示的旋转的360度图像/视频内容的内容旋转帧;编码所述内容旋转帧以生成比特流;以及通过所述比特流发信至少一个语法元素,其中所述至少一个语法元素被设置为用于指示所述内容导向旋转的旋转信息。

【技术特征摘要】
【国外来华专利技术】2016.11.09 US 62/419,513;2016.12.13 US 62/433,272;1.一种视频处理方法,其特征在于,包括:接收具有以360度虚拟现实投影格式表示的360度图像/视频内容的当前输入帧;对所述当前输入帧中的所述360度图像/视频内容应用内容导向旋转,以生成具有以所述360度虚拟现实投影格式表示的旋转的360度图像/视频内容的内容旋转帧;编码所述内容旋转帧以生成比特流;以及通过所述比特流发信至少一个语法元素,其中所述至少一个语法元素被设置为用于指示所述内容导向旋转的旋转信息。2.如权利要求1所述的视频处理方法,其特征在于,所述旋转信息包括所述至少一个语法元素指示的至少一个旋转角度。3.如权利要求1所述的视频处理方法,其特征在于,所述至少一个语法元素包括:第一语法元素,所述第一语法元素被设置为用于指示是否存在沿着特定旋转轴的旋转。4.如权利要求1所述的视频处理方法,其特征在于,所述至少一个语法元素还包括:第二语法元素,当存在沿着所述特定旋转轴的旋转时,所述第二语法元素由从多个预定义索引值中选择的索引值来设置,并且所述多个预定义索引值被分别映射到不同的预定义旋转角度和用户定义旋转角度。5.如权利要求4所述的视频处理方法,其特征在于,所述至少一个语法元素还包括:第三语法元素,当所述索引值是映射到所述用户定义旋转角度的预定义索引值时,所述第三语法元素被设置为用于指示所述用户定义旋转角度。6.如权利要求3所述的视频处理方法,其特征在于,所述至少一个语法元素还包括:第二语法元素,当所述360度虚拟现实投影格式是第一投影格式时,所述第二语法元素设置为第一值,以及当所述360度虚拟现实投影格式是不同于所述第一投影格式的第二投影格式时,所述第二语法元素设置为第二值,并且所述特定旋转轴根据所述第二语法元素而变化。7.如权利要求1所述的视频处理方法,其特征在于,所述至少一个语法元素还包括:第一语法元素,所述第一语法元素被设置为用于指示应用于所述当前输入帧的所述内容导向旋转与应用于至少一个先前输入帧的内容导向旋转是否相同。8.如权利要求7所述的视频处理方法,其特征在于,所述至少一个语法元素还包括:第二语法元素,当应用于所述当前输入帧的所述内容导向旋转不同于应用于所述至少一个先前输入帧的所述内容导向旋转时,所述第二语法元素被设置为用于指示是否存在沿着特定旋转轴的旋转。9.如权利要求8所述的视频处理方法,其特征在于,所述至少一个语法元素还包括:第三语法元素,当存在沿着所述特定旋转轴的旋转时,所述第三语法元素被设置为用于指示在所述当前输入帧的所述内容导向旋转中沿着所述特定旋转轴的旋转角度与所述至少一个先前输入帧的所述内容导向旋转中沿着所述特定旋转轴旋转角度之间的差。10.如权利要求8所述的视频处理方法,其特征在于,所述至少一个语法元素还包括:第三语法元素,当所述360度虚拟现实投影格式是第一投影格式时,所述第三语法元素设置为第一值,以及当所述360度虚拟现实投影格式是不同于所述第一投影格式的第二投影格式时,所述第三语法元素设置为第二值,所述特定旋转轴根据所述第三语法元素而变化。11.如权利要求1所述的视频处理方法,其特征在于,所述至少一个语法元素包括:第一语法元素,所述第一语法元素被设置为用于指示所述当前输入帧中的所述360度图像/视频内容的所述内容导向旋转是否启用。12.如权利要求1所述的视频处理方法,其特征在于,所述至少一个语法元素还包括:第二语法元素,当所述当前输入帧中的所述360度图像/视频内容的所述内容导向旋转被启用时,所述第二语法元素被设置为用于指示沿特定旋转轴的旋转角度。13.一种视频处理方法,包括:接收比特流;处理所述比特流以从所述比特流中获取至少一个语法元素;解码所述比特流以生成具有以360度虚拟现实投影格式表示的旋转的360度图像/视频内容的当前解码帧;以及根据所述当前解码帧以及由所述至少一个语法元素指示的内容导向旋转的旋转信息,在显示屏幕上渲染并显示输出图像数据,其中,在生成所述旋转的360度图像/视频内容中涉及所述内容导向旋转。14.如权利要求13所述的视频...

【专利技术属性】
技术研发人员:林鸿志黄昭智李佳盈林建良张胜凯
申请(专利权)人:联发科技股份有限公司
类型:发明
国别省市:中国台湾,71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1