使用参考帧重新旋转以及内容导向旋转选择的一或两者的视频处理装置以及相关视频处理方法制造方法及图纸

一种视频处理方法，包括：接收具有以360°虚拟现实投影格式表示的第一360°内容的第一输入帧；将第一内容导向旋转应用于所述第一输入帧来生成第一内容旋转转帧；对所述第一内容旋转帧进行编码来生成比特流的第一部分，包括生成第一重构帧并存储从所述第一重构帧推导的参考帧；接收具有所述360VR投影格式的第二输入帧；将第二内容导向旋转应用于所述第二输入帧来生成第二内容旋转帧；根据所述第一内容导向旋转以及所述第二内容导向旋转配置内容重新旋转；将所述内容重新旋转应用于所述参考帧来生成重新旋转参考帧；以及，由视频编码器对所述第二内容旋转帧进行编码来生成所述比特流的第二部分，包括使用所述重新旋转参考帧用于所述第二内容旋转帧的预测编码。

Video processing apparatus and related video processing method using one or both of reference frame re rotation and content-oriented rotation selection

A video processing method includes: receiving the first input frame with the first 360 \u00b0 content expressed in the 360 \u00b0 virtual reality projection format; applying the first content oriented rotation to the first input frame to generate the first content rotation frame; encoding the first content rotation frame to generate the first part of the bitstream, including generating the first reconstruction frame and storing the first reconstruction frame from the first Reconstruct the reference frame derived from the frame; receive the second input frame with the 360VR projection format; apply the second content oriented rotation to the second input frame to generate the second content rotation frame; re rotate according to the first content oriented rotation and the second content oriented rotation configuration content; apply the content re rotation to the reference frame to generate the re rotation A reference frame; and, encoding the second content rotation frame by a video encoder to generate a second part of the bitstream, including predictive encoding for the second content rotation frame using the re rotation reference frame.

【技术实现步骤摘要】
【国外来华专利技术】使用参考帧重新旋转以及内容导向旋转选择的一或两者的视频处理装置以及相关视频处理方法相关引用本专利技术递交于2017年3月9日提交的，号码为62/469,041的美国临时申请案的优先权，其整体通过引用纳入其中。
本专利技术涉及360°图像/视频内容处理，以及更具体地，涉及使用参考帧重新旋转(re-rotation)以及内容导向(content-oriented)旋转选择的一个或两者的视频处理装置以及相关的视频处理方法。
技术介绍
具有多个头戴式显示器(head-mounteddisplay，简称HMD)的虚拟现实(VR)与各种各样的应用相关联，其向用户显示宽视场内容(widefieldofviewcontent)的能力可以用于提供沉浸式的视觉体验(immersivevisualexperiences)。需要在所有方向上捕获真实世界环境以形成对应于观察球(sphere)的全景图像/视频内容。随着相机平台(camerarig)以及头戴式显示器的发展，由于展示如360°图像/视频内容所需要的高比特率，VR内容的递送可能很快成为瓶颈。当全景视频的分辨率是4K或者更高的时候，数据压缩/编码对比特率的减少是非常关键的。通常，对应于观察球的全景视频被转换成一系列图像，每一图像由360°虚拟现实(360VR)投影格式所表示，并且然后将所生成图像序列编码进比特流用于传输。然而，由于所采用的360VR投影格式的运动对象拆分和/或拉伸，以360VR投影格式所表示的原始360°图像/视频内容可能具有不好的压缩效率。因此，需要一种创新设计，其能够实现以360VR投影格式所表示的360°图像/视频内容的压缩效率的提升。
技术实现思路
本专利技术的目标之一是为了提供一种使用参考帧重新旋转以及内容导向旋转选择中一个或两者的一种视频处理装置及相关的视频处理方法。根据本专利技术的第一方面，公开了一种示例性视频处理方法。所述示例性视频处理方法包括：接收具有以360°虚拟现实(360VR)投影格式表示的第一360°内容的第一输入帧；将内容导向旋转应用于所述第一输入帧中的所述第一360°内容来生成第一内容旋转帧，所述第一内容旋转帧具有以所述360VR投影格式表示的第一旋转的360°内容；对所述第一内容旋转帧进行编码来生成比特流的第一部分，包括生成所述第一内容旋转帧的第一重构帧，并存储从所述第一重构帧推导的参考帧；接收具有以所述360VR投影格式表示的第二360°内容的第二输入帧；将第二内容导向旋转应用于所述第二输入帧的所述360°内容来生成第二内容旋转帧，所述第二内容旋转帧具有以所述360VR投影格式表示的第二旋转360°内容，其中所述第二内容导向旋转不同于所述第二内容导向旋转；根据所述第一内容导向旋转以及所述第二内容导向旋转配置内容重新旋转；将所述内容重新旋转应用于所述参考帧中的360°内容来生成重新旋转参考帧，所述重新旋转参考帧具有以所述360VR投影格式表示的重新旋转360°内容；以及由视频编码器对所述第二内容旋转帧进行编码来生成所述比特流的第二部分，使用所述重新旋转参考帧用于所述第二内容旋转帧的预测编码。根据本专利技术的第二方面，公开了一种示例性视频处理方法。所述示例性视频处理方法包括：接收比特流，处理所述比特流来获得来自所述比特流的多个语法元素，其中由所述多个语法元素指示与第一解码帧有关的第一内容导向旋转以及与第二解码帧有关的第二内容导向旋转的旋转信息，以及所述第一内容导向旋转不同于所述第二内容导向旋转，对所述比特流的第一部分进行解码来生成所述第一解码帧，包括存储从所述第一解码帧推导的参考帧，其中所述第一解码帧具有以360VR投影格式表示的第一旋转360°内容，以及所述第一内容导向旋转涉及在编码器侧生成所述第一旋转360°内容；以及由视频解码器对所述比特流的第二部分进行解码来生成所述第二解码帧，包括根据所述第一内容导向旋转以及所述第二内容导向旋转配置内容重新旋转，将所述内容重新旋转应用于所述参考帧中的360°内容来生成重新旋转参考帧，所述重新旋转参考帧具有以所述360VR投影格式表示的重新旋转360°内容，以及由视频解码器使用所述重新旋转参考帧用于涉及生成所述第二解码帧的预测解码，其中所述第二解码帧具有以所述360VR投影格式表示的第二旋转360°内容，以及所述第二内容导向旋转涉及在所述编码器侧生成所述第二旋转360°内容。根据本专利技术的一第三方面，公开了一示例性视频处理方法。所述示例性处理方法包括：接收以等矩形投影(ERP)格式表示的360°内容的一输入帧，其中经由等矩形投影从观察球的全景内容中获得所述输入帧，所述输入帧包括排列在所述ERP格式顶部分的第一部分输入帧、排列在所述ERP格式中间部分的第二部分输入帧以及排列在所述ERP格式底部分的第三部分输入帧，所述第一部分输入帧对应于所述观察球的北极区(北极附近的区域)，所述第三部分输入帧对应于所述观察球的南极区(南极附近的区域)，以及所述第二部分输入帧对应于在所述南极区与所述北极区之间的非极性区；获得所述第一部分输入帧与所述第三部分输入帧的运动量；获得所述输入帧中第一图像区域与第二图像区域的所选择图像区域对的运动量，其中所述第一图像区域对应于所述观察球上的第一区域，所述第二图像区域对应于所述观察球上的第二区域，以及所述第一区域与所述第二区域包括在相同中心轴上的多个点，所述相同中心轴穿过所述观察球的中心；根据所述第一部分输入帧以及所述第三部分输入帧的所述运动量以及所述所选择图像区域对的所述运动量，配置内容导向旋转，所述所选择图像区域对由所述第一图像区域以及所述第二图像区域组成；将所述内容导向旋转应用于以所述ERP格式表示的所述360°输入帧，来生成具有以所述ERP格式表示的360度内容的内容旋转帧，其中所述内容旋转帧包括排列在所述ERP格式所述顶部分的第一部分内容旋转帧、排列在所述ERP格式所述中间部分的第二部分内容旋转帧，以及排列在所述ERP格式所述底部分的第三部分内容旋转帧；所述第一部分内容旋转帧包括从所述第一图像区域推导的多个像素，以及所述第三部分内容旋转帧包括从所述第二图像区域推导的多个像素，以及由视频编码器对所述内容旋转帧进行编码来生成比特流的一部分。进一步地，也提供了用于执行上述视频处理方法的相关视频处理装置。在阅读下面的图式所示出的优选实施例的详细描述以后，本专利技术的上述以及其他目的对本领域普通技术人员将是显而易见的。附图说明图1示出了根据本专利技术实施例的360°虚拟现实(360VR)系统的示意图。图2示出了根据本专利技术实施例的将提出的内容导向的旋转的概念应用到输入帧的示意图。图3示出了根据本专利技术实施例的视频编码器的示意图。图4示出了根据本专利技术实施例的视频解码器的示意图。图5示出了根据本专利技术实施例的不具有提出的参考帧重新旋转的预测结构的示意图。图6示出了根据本专利技术实施例的具有提出的参考帧重新旋转的预测结构的示意图。图7示出了根据本专利技术实施例的具有每一点由它的经度(longitude)(Φ)以及维度(latitude)(θ)所指定的观察球的示意图。图8示出了根据本专利技术实施例的具有排列在ERP格式中360°内容的典型投影布局的输入帧的示意图。图9示出了根据本专利技术实施例的将提出的内容导向的旋转的本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，所述方法包括：接收具有以360°虚拟现实(360VR)投影格式表示的第一360°内容的第一输入帧；将第一内容导向旋转应用于所述第一输入帧中的所述第一360°内容来生成具有以所述360°虚拟现实投影格式表示的第一旋转360°内容的第一内容旋转帧；对所述第一内容旋转帧进行编码来生成比特流的第一部分，包括：生成所述第一内容旋转帧的第一重构帧；以及存储从所述第一重构帧推导的参考帧；接收具有以所述360°虚拟现实投影格式表示的第二360°内容的第二输入帧；将第二内容导向旋转应用于所述第二输入帧中的所述360°内容来生成具有以所述360°虚拟现实投影格式表示的第二旋转360°内容的第二内容旋转帧，其中所述第二内容导向旋转不同于所述第一内容导向旋转；根据所述第一内容导向旋转以及所述第二内容导向旋转配置内容重新旋转；将所述内容重新旋转应用于从所述第一重构帧推导的所述参考帧中的360°内容来生成具有以所述360°虚拟现实投影格式表示的重新旋转360°内容的重新旋转参考帧；以及由视频编码器对所述第二内容旋转帧进行编码来生成所述比特流的第二部分，包括：使用所述重新旋转参考帧用于所述第二内容旋转帧的预测编码。...

【技术特征摘要】
【国外来华专利技术】2017.03.09 US 62/469,041;2018.03.05 US 15/911,1851.一种视频处理方法，其特征在于，所述方法包括：接收具有以360°虚拟现实(360VR)投影格式表示的第一360°内容的第一输入帧；将第一内容导向旋转应用于所述第一输入帧中的所述第一360°内容来生成具有以所述360°虚拟现实投影格式表示的第一旋转360°内容的第一内容旋转帧；对所述第一内容旋转帧进行编码来生成比特流的第一部分，包括：生成所述第一内容旋转帧的第一重构帧；以及存储从所述第一重构帧推导的参考帧；接收具有以所述360°虚拟现实投影格式表示的第二360°内容的第二输入帧；将第二内容导向旋转应用于所述第二输入帧中的所述360°内容来生成具有以所述360°虚拟现实投影格式表示的第二旋转360°内容的第二内容旋转帧，其中所述第二内容导向旋转不同于所述第一内容导向旋转；根据所述第一内容导向旋转以及所述第二内容导向旋转配置内容重新旋转；将所述内容重新旋转应用于从所述第一重构帧推导的所述参考帧中的360°内容来生成具有以所述360°虚拟现实投影格式表示的重新旋转360°内容的重新旋转参考帧；以及由视频编码器对所述第二内容旋转帧进行编码来生成所述比特流的第二部分，包括：使用所述重新旋转参考帧用于所述第二内容旋转帧的预测编码。2.如权利要求1所述的视频处理方法，其特征在于，其中由R1R0-1设置所述内容重新旋转，其中R0表示所述第一内容导向旋转，R1表示所述第二内容导向旋转，以及R0-1表示所述第一内容导向旋转的去旋转。3.如权利要求1所述的视频处理方法，其特征在于，其中所述参考帧以及所述重新旋转参考帧共存于相同的参考帧缓冲器中。4.如权利要求1所述的视频处理方法，其特征在于，其中存储从所述第一重构帧推导的所述参考帧包括：将所述参考帧存储进参考帧缓冲器；以及将所述内容重新旋转应用于所述参考帧中的所述360°内容来生成所述重新旋转参考帧进一步包括：用所述重新旋转参考帧替换所述参考帧缓冲器中的所述参考帧。5.一种视频处理方法，其特征在于，包括：接收比特流；处理所述比特流来获得来自所述比特流的多个语法元素，其中由所述多个语法元素指示与第一解码帧有关的第一内容导向旋转以及与第二解码帧有关的第二内容导向旋转的旋转信息，以及所述第一内容导向旋转不同于所述第二内容导向旋转；对所述比特流的第一部分进行解码来生成所述第一解码帧，包括：存储从所述第一解码帧推导的参考帧，其中所述第一解码帧具有以360°虚拟现实(360VR)投影格式表示的第一旋转360°内容，以及所述第一内容导向旋转涉及在编码器侧生成所述第一旋转360°内容；以及对所述比特流的第二部分进行解码来生成所述第二解码帧，包括：根据所述第一内容导向旋转以及所述第二内容导向旋转配置内容重新旋转；将所述内容重新旋转应用于从所述第一解码帧推导的所述参考帧的360°内容，来生成具有以所述360°虚拟现实投影格式表示的重新旋转360°内容的重新旋转参考帧；以及由视频解码器使用所述重新旋转参考帧用于涉及生成所述第二解码帧的预测解码，其中所述第二解码帧具有以360°虚拟现实投影格式表示的第二旋转360°内容，以及所述第二内容导向旋转涉及在所述编码器侧生成所述第二旋转360°内容。6.如权利要求5所述的视频处理方法，其特征在于，其中由R1R0-1设置所述内容重新旋转，其中R0表示所述第一内容导向旋转，R1表示所述第二内容导向旋转，以及R0-1表示所述第一内容导向旋转的去旋转。7.如权利要求5所述的视频处理方法，其特征在于，其中所述参考帧以及所述重新旋转参考帧共存于相同的参考帧缓冲器。8.如权利要求5所述的视频处理方法，其特征在于，其中存储从所述第一解码帧推导的所述参考帧包括：将所述参考帧存储至参考帧缓冲器；以及将所述内容重新旋转应用于所述参考帧中的所述360°内容来生成所述重新旋转参考帧进一步包括：用所述重新旋转参考帧替换所述参考帧缓冲器中的所述参考帧。9.一种视频处理方法，其特征在于，所述方法包括：接收具有以等矩形投影(ERP)格式表示的360°内容的输入帧，其中经由等矩形投影从观察球的全景内容中获得所述输入帧，所述输入帧包括排列在所述等矩形投影格式的顶部分的第一部分输入帧、排列在所述等矩形投影格式的中间部分的第二部分输入帧以及排列在所述等矩形投影格式的底部分的第三部分输入帧，所述第一部分输入帧对应于所述观察球的北极区，所述第三部分输入帧对应于所述观察球的南极区，以及所述第二部分输入帧对应于在所述北极区与所述南极区之间的非极性区；获得所述第一部分输入帧以及所述第三部分输入帧的运动量；获得所述输入帧中第一图像区域与第二图像区域的所选择图像区域对的运动量，其中所述第一图像区域对应于所述观察球上的第一区域，所述第二图像区域对应于所述观察球上的第二区域，以及所述第一区域与所述第二区域包括在相同中心轴上的多个点，所述中心轴穿过所述观察球的中心；根据所述第一部分输入帧与所述第三部分输入帧的所述运动量以及所述所选择图像区域对的所述运动量，配置内容导向旋转；将所述内容导向旋转应用于所述输入帧中的所述360°内容来生成具有以所述等矩形投影格式表示的旋转360°内容的内容旋转帧，其中所述内容旋转帧包括排列在所述等矩形投影格式的所述顶部分的第一部分内容旋转帧、排列在所述等矩形投影格式的所述中间部分的第二部分内容旋转帧以及排列在所述等矩形投影格式的所述底部分的第三部分内容旋转帧，所述第一部分内容旋转帧包括从所述第一图像区域推导的多个像素，以及所述第三部分内容旋转帧包括从所述第二图像区域推导的多个像素；以及由视频编码器对所述内容旋转帧进行编码来生成比特流的一部分。10.如权利要求9所述的视频处理方法，其特征在于，其中获得所述所选择的图像区域对的所述运动量包括：分别获得多个不同图像区域对的多个运动量，其中每一所述多个不同图像区域对具有所述输入帧中的一个图像区域以及另一图像区域，所述一个图像区域对应于所述观察球上的一个区域，所述另一图像区域对应于所述观察球上的另一区域，所述一个区域以及所述另一区域包括在相同中心轴上的多个点，所述中心轴穿过所述观察球所述中心；以及比较所述多个不同图像区域对的所述多个运动量，以及从所述多个不同图像区域对中选择具有最小运动量的图像区域对来作为所述所选择的图像区域对。11.如权利要求9所述的视频处理方法，其特征在于，进一步包括：将所述第一部分输入帧与所述第三部分输入帧的所述运动量与第一预定阈值进行比较；将所述所选择的图像区域对的所述运动量与第二预定阈值进行比较；检查所述第一部分输入帧与所述第三部分输入帧的所述运动量是否大于所述第一预定阈值；检查所述所选择的图像区域对的所述运动量是否小于所述第二预定阈值；以及将所述内容导向旋转应用于所述输入帧中的所述360度内容来生成所述内容旋转帧包括：当检测结果指示...

【专利技术属性】
技术研发人员：林鸿志，林建良，张胜凯，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71