任意观看角度的部分解码及虚拟现实视频的线帧缓存器降低制造技术

本发明专利技术公开了一种方法及装置，其用于在视频的子区域被选择以用于观看时对视频帧进行部分解码。本方法识别并解码显示子区域所需的视频帧的数据单元和像素块，而绕过被识别为显示子区域所不需的数据单元和像素块。视频编码器接收包括对应于全尺寸360度虚拟现实图像的第一配置中的多个立方体表面。每个立方体表面对应于立方体的不同表面。编码器通过根据不同于第一配置的第二配置将多个立方体表面重新排列，重新格式化接收到的视频帧。第二配置重新排列立方体360度虚拟现实图像的6个表面，以为了完全利用线缓存器，并允许线缓存器比全尺寸360度虚拟现实图像窄。

【技术实现步骤摘要】
【国外来华专利技术】任意观看角度的部分解码及虚拟现实视频的线帧缓存器降低交叉引用本专利技术主张在2015年10月13日提出申请号为62/240,693的美国临时专利申请和在2015年12月14日提出申请号为62/266,764的美国临时专利申请的优先权，其整体以引用方式并入本文中。
本专利技术通常涉及电子装置中的视频编码和解码，且更具体而言，涉及允许任意观看角度或观看区域的虚拟现实视频应用。
技术介绍
除非此处另有说明外，本部分所描述的方法相对于下面列出的权利要求而言不是现有技术，并且通过本部分的引入不被承认是现有技术。360度虚拟现实(360-degreevirtualreality，360VR)是变化的、增强的或者替代的环境的视听模拟。视觉现实视频环绕着用户，使得用户在向任何方向或者在任何任意观看角度上朝周围看时，感觉他或者她处于现实生活中。360VR视频产生独特的高质量且高分辨率的全景视频，以在用于各种应用的打印和全景虚拟旅游产业中的使用，例如，娱乐、导向训练(pilottraining)、手术和在空间或者深水中的勘探。
技术实现思路
以下内容仅是示例性的，不用于以任何方式限制。也就是说，以下内容用于介绍本新颖且不明显技术所描述的概念、亮点、优点和优点。在下面的具体实施方式中进一步描述实施方式。因此，以下内容并不旨区别所要求的主题的基本特征，也不用于确定所要求主题的范围。本专利技术一些实施例提供一种装置及方法，其用于在视频的子区域被选择以用于观看时对视频帧进行部分解码。具体地，根据本专利技术的方法或者装置可以识别并解码显示子区域所需的视频帧的数据单元和像素块，而绕过被识别为显示子区域所不需的数据单元和像素块。在一些实施例中，解码器可以接收处于视频帧序列中的多个已编码视频帧，其中每个视频帧包括像素块集。视频帧序列可以包括主帧和参考主帧以用于编码的从帧。解码器可以接收在多个视频帧中选择特定视频帧的子区域的规格。当特定视频帧是主帧时，解码器全解码特定视频帧。当特定视频帧是从帧时，解码器可以通过解码特定视频帧中包含由规格选择的子区域的像素块子集，部分解码特定视频帧。解码器可以存储特定视频帧的已解码的多个像素块以用于显示。在一些实施例中，编码器通过部分解码最大化性能增益，例如，通过最小化从帧中帧内编解码和/或帧内预测块的数量，可以被约束成产生已编码视频。在一些实施例中，编码器可以通过使用帧间预测，最小化从帧中帧内编解码和/或帧内预测块的数量。在一些实施例中，如果帧内预测块的相邻块均是帧间预测块，则编码器可以允许帧内预测块。在一些实施例中，视频编码器可以接收球面格式或者立方体格式的360度虚拟现实视频帧。当接收到的360度虚拟现实视频帧处于立方体格式时，视频帧具有多个立方体面，每个对应于立方体的不同面。视频编码器可以通过重新排列多个立方体面，重新格式化360度虚拟现实视频帧。已重新格式化视频帧的立方体面被排列成：(i)6个立方体面的单列、(ii)每列三个立方体面的两列或者(iii)每行三个立方体面的两行。附图说明本专利技术提供了附图以更好地理解本专利技术，附图并入本专利技术且构成本专利技术的一部分。附图揭露了本专利技术的实施方式，并同说明书一起共同解释本专利技术的原理。可以理解的是，附图并不一定是按照比例绘制的，因而，某些绘制的元件可能同其在实际的实施方式中的尺寸不成比例，这样做可更清晰地阐释本专利技术的构思。图1示出了基于任意选择的观看角度或者观看区域执行视频帧的部分解码的视频解码系统。图2概念性示出了基于特定观看区域的示例视频帧的部分解码。图3示出了在将视频帧分割成不同类型的已编码数据单元的不同视频编码标准下的部分解码。图4示出了特定观看区域的视频帧序列的部分解码。图5和图6示出了主(master)帧与从(slave)帧之间的几种类型的预测结构。图7示出了根据任意特定观看区域执行从帧的部分解码的示例解码器。图8和图9概念性示出了基于任意特定观看区域的视频帧的部分解码的流程。图10示出了一种示例视频编码器，其可被约束成产生通过部分解码最大化性能的已编码视频。图11概念性示出了为用于任意观看区域的部分解码所优化的编码视频的流程。图12示出了球面格式或者立方体格式的示例360VR图像。图13更详细地示出了360VR图像的存储格式。图14示出了立方体360VR图像的不同布局，其允许有效利用比全尺寸360VR图像更窄的线缓存器。图15示出了将6个立方体360VR面重新排列成允许使用窄线缓存器的窄配置的视频编码器。图16示出了在使用更窄线缓存器时接收连续立方体格式的原始360VR视频源的视频编码器。图17示出了在编码期间被重新排列成一列布局的360VR立方体帧的编解码。图18示出了将已重新排列帧分割成切片(slice)、方块(tile)或者子视频的分割。图19示出了在编码期间被重新排列成两行三列的360VR立方体帧的编解码。图20示出了用已重新排列立方体面对360VR视频进行解码的解码器。图21概念性示出了对立方体格式的360VR视频进行编码和解码的流程。图22概念性示出了在本专利技术一些实施例中实现的电子系统。图23描述了示例性解码器装置。图24描述了示例性编码器装置。具体实施方式在下面详细的说明书中，为了透彻理解相关教示内容，通过举例的方式进行说明大量具体的细节。基于本文所描述的教示内容的任何改变、推导和/或拓展均在本专利技术的保护范围内。在一些例子中，为了避免不必要地混淆本专利技术的教示内容的方面，在相对较高的级别而无细节上描述已知的方法、程序、元件和/或关于此处所公开的一个或者多个示例性实施方式的电路。尽管360VR视频对围绕用户周围的视觉环境进行编码，但是用户通常在特定观看角度处观看视频。换言之，不像用户被期望观看视频的整个显示区域的传统平面视频，360VR的用户被期望观看视频的整个显示区域的具体子区域。这种观看区域通常是每帧的相对较小的部分区域。尽管整个帧被解码并可用于观看，但帧的剩余区域将不被观看。这样，浪费了解码永不被用户观看的像素所消耗的计算资源。I.任意观看区域的部分解码本专利技术的一些实施例提供了在视频的子区域被选择以用于观看时部分解码视频帧的装置和方法。具体地，本方法或装置识别并解码显示子区域所需要的视频帧的已解码数据单元和像素块，而绕过被识别显示子区域所不需要的数据单元和像素块。由于部分解码是用于任意选择的子区域，所以其也称为区域解码。对于一些实施例，图1示出了基于任意选择的观看角度或者观看区域执行视频帧的部分解码的视频解码系统100。本视频解码系统解码来自于已编码源110的视频帧，并在显示140处显示位于特定观看角度处的已解码视频。解码系统100基于观看角度的观看区域规格(specification)105执行部分解码。如图所示，视频解码系统100包括已编码视频源110、解码器120、显示缓存器130、用户接口150和显示设备140。在一些实施例中，视频解码系统100及其各个组件是虚拟现实系统(例如，虚拟现实眼镜199)的一部分。例如，用户接口150对应于感知并记录用户的运动的虚拟显示眼镜的位置传感器和运动传感器的集合，而显示设备140对应于虚拟显示眼镜的观看屏幕。解码器120、显示缓存器130和已编码视频源110由嵌入在眼镜中的处理电路组件和存储器电路组本文档来自技高网...

【技术保护点】
一种显示360度虚拟现实视频的方法，其特征在于，所述方法包括：接收处于视频帧序列中的多个已编码视频帧，每个视频帧包括像素块集，其中所述视频帧序列包括多个主帧和多个从帧，其中每个从帧参考所述多个主帧中的至少一个以用于编码；接收在所述多个视频帧中选择特定视频帧的子区域的规格；当所述特定视频帧是主帧时，通过解码所述特定视频帧中的所有像素块，全解码所述特定视频帧；当所述特定视频帧是从帧时，通过解码所述特定视频帧中包含由所述规格选择的所述子区域的像素块子集，部分解码所述特定视频帧，其中解码所述像素块子集包括参考一全解码主帧；以及存储所述特定视频帧的已解码的多个像素块以用于显示。

【技术特征摘要】
【国外来华专利技术】2015.10.13 US 62/240,693;2015.12.14 US 62/266,764;1.一种显示360度虚拟现实视频的方法，其特征在于，所述方法包括：接收处于视频帧序列中的多个已编码视频帧，每个视频帧包括像素块集，其中所述视频帧序列包括多个主帧和多个从帧，其中每个从帧参考所述多个主帧中的至少一个以用于编码；接收在所述多个视频帧中选择特定视频帧的子区域的规格；当所述特定视频帧是主帧时，通过解码所述特定视频帧中的所有像素块，全解码所述特定视频帧；当所述特定视频帧是从帧时，通过解码所述特定视频帧中包含由所述规格选择的所述子区域的像素块子集，部分解码所述特定视频帧，其中解码所述像素块子集包括参考一全解码主帧；以及存储所述特定视频帧的已解码的多个像素块以用于显示。2.如权利要求1中所述的显示360度虚拟现实视频的方法，其特征在于，每个视频帧被编码为数据单元集，其中部分解码所述特定视频帧包括：对解码包含选择的所述子区域的所述像素块子集所需的所述特定视频帧的已编码数据单元子集进行解码。3.如权利要求2中所述的显示360度虚拟现实视频的方法，其特征在于，每个已编码数据单元是视频帧的切片或者方块。4.如权利要求1中所述的显示360度虚拟现实视频的方法，其特征在于，所述像素块子集中没有像素块是帧内预测块。5.如权利要求1中所述的显示360度虚拟现实视频的方法，其特征在于，所述特定视频帧处于球面格式或者立方体格式，所述立方体格式包括多个立方体面且每个对应于立方体的不同面。6.如权利要求5中所述的显示360度虚拟现实视频的方法，其特征在于，所述特定视频帧处于立方体格式，所述多个立方体面被排列成：(i)6个立方体面的单列、(ii)每列三个立方体面的两列或者(iii)每行三个立方体面的两行。7.一种显示360度虚拟现实视频的装置，其特征在于，所述处理器包括：通信电路，用于接收处于视频帧序列中的多个已编码视频帧，每个视频帧包括像素块集，其中所述视频帧序列包括多个主帧和多个从帧，其中每个从帧参考所述多个主帧中的至少一个以用于编码；解码器电路，用于接收在所述多个视频帧中选择特定视频帧的子区域的规格，并基于所述规格解码所述特定视频帧，其中：当所述特定视频帧是主帧时，所述解码器电路通过解码所述特定视频帧中的所有像素块，全解码所述特定视频帧；当所述特定视频帧是从帧时，所述解码器电路通过解码所述特定视频帧中包含由所述规格选择的所述子区域的像素块子集，部分解码所述特定视频帧，其中解码所述像素块子集包括参考一全解码主帧；以及存储器电路，用于存储所述特定视频帧的已解码的多个像素块以用于显示。8.如权利要求7中所述的显示360度虚拟现实视频的装置，其特征在于，每个视频帧被编码为数据单元集，其中部分解码所述特定视频帧包括：对解码包含选择的所述子区域的所述像素块子集所需的所述特定视频帧的已编码数据单元子集进行解码。9.如权利要求8中所述的显示360度虚拟现实视频的装置，其特征在于，每个已编码数据单元是视频帧的切片或者方块。10.如权利要求7中所述的显示360度虚拟现实视频的装置，其特征在于，所述像素块子集中没有像素块是帧内预测块。11.如权利要求7中所述的显示360度虚拟现实视频的装置，其特征在于，所述特定视频帧处于球面格式或者立方体格式，所述立方体格式包括多个立方体面且每个对应于立方体的不同面。12.如权利要求11中所述的显示360度虚拟现实视频的装置，其特征在于，所述特定视频帧处于立方体格式，所述多个立方体面被排列成：(i)6个立方体面的单列、(ii)每列三个立方体面的两列或者(iii)每行三个立方体面的两行。13.一种方法，其特征在于，包括：接收360度虚拟现实视频帧；以及重新格式化所述视频...

【专利技术属性】
技术研发人员：林鸿志，张胜凯，黄昭智，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71