用于回放全景视频内容的系统和方法技术方案

一些实施方案提供回放内容的方法，其包括：访问视频内容，所述视频内容包括如果被完全解码将延伸超出观众视野的一系列帧，且其中每个编码的帧包括多个编码的分区；确定所述观众的视野；识别至少部分在所述视野内的所述第一帧的一个或多个分区；解码所述第一帧的所述一个或多个分区，而不解码不在所述视野内的所述第一帧的所述分区中的一个或多个；和显示所述第一帧的所述一个或多个解码分区，使得显示所述第一帧的所述部分，且其中在回放期间解码少于所述第一帧的所有且显示少于所述第一帧的所有。

System and method for playback panoramic video content

Some embodiments provide a method for playback content, including: accessing video content, the video content including a series of frames that will extend beyond the audience's field of vision if fully decoded, and each encoded frame includes a plurality of encoded partitions; determining the audience's field of vision; identifying one or more partitions of the first frame at least partially within the field of vision; decoding One or more partitions of the first frame without decoding one or more of the partitions of the first frame not in the field of view; and displaying the one or more decoding partitions of the first frame so as to display the parts of the first frame, wherein decoding is less than all of the first frame and displaying is less than all of the first frame during playback.

【技术实现步骤摘要】
用于回放全景视频内容的系统和方法本分案申请是申请日为2015年6月17日、申请号为201580038371.1、专利技术名称为“用于回放全景视频内容的系统和方法”的分案申请。相关申请案的交叉引用本申请是2014年7月24日提交的RathishKrishnan的标题为“SYSTEMANDMETHODFORUSEINPLAYINGBACKPANORAMAVIDEOCONTENT”的美国专利申请案14/340,152的延续并主张所述申请案的权益，所述申请案主张2014年7月14日提交的RathishKrishnan的标题为SYSTEMANDMETHODFORUSEINPLAYINGBACKPANORAMAVIDEOCONTENT的美国临时申请案62/024,354的权益，所述两个申请案的全部内容和公开内容全文以参考的方式由此完全并入本文。背景1.专利
本专利技术一般涉及多媒体内容，且更具体来说涉及配置多媒体内容。2.相关技术论述用户可获得大量视觉多媒体内容。此内容中的一些旨在通过虚拟的环境来查看。类似地，一些内容包括如果被完全显示则会延伸超出用户当前视野的图像和/或帧。用户通常必须更改其视野位置和/或定向，以查看延伸超出用户视野的帧的其他区域。专利技术概要一些实施方案提供一种方法，包括：接收来自一个或多个传感器的信息，所述传感器被配置为确定包括一个或多个显示器的装置的位置或定向中的至少一个；使用来自所述一个或多个传感器的所述信息识别要被解码的视频内容的第一帧的一个或多个分区；解码所述第一帧的所述识别的一个或多个分区，而不解码所述第一帧的一个或多个其他分区；以及在所述一个或多个显示器中的至少一个上显示所述第一帧的所述一个或多个解码分区，而不显示所述第一帧的未解码的所述一个或多个其他分区，从而显示少于所述第一帧的所有。另外，一些实施方案提供一种系统，包括：包括一个或多个显示器的装置；一个或多个传感器，其被配置为确定所述装置的位置或定向中的至少一个；以及基于处理器的系统，其被配置为执行步骤，包括：接收来自所述一个或多个传感器的信息；使用来自所述一个或多个传感器的所述信息识别要被解码的视频内容的第一帧的一个或多个分区；解码所述第一帧的所述识别的一个或多个分区，而不解码所述第一帧的一个或多个其他分区；以及在所述一个或多个显示器中的至少一个上显示所述第一帧的所述一个或多个解码分区，而不显示所述第一帧的未解码的所述一个或多个其他分区，从而显示少于所述第一帧的所有。一些实施方案提供回放多媒体内容的方法，包括：访问视频内容，所述视频内容包括被配置以按顺序回放的视觉内容的一系列帧，其中所述一系列帧中的每个帧如果被完全解码将延伸超出观众视野，且其中每个编码的帧包括多个编码的分区；在显示第一帧的部分之前，确定观看所述视频内容的所述观众的视野；根据所述视野来识别至少部分在所述视野内的所述第一帧的一个或多个分区，且其中在显示所述第一帧的所述部分时，所述观众可见所述一个或多个分区的至少一部分；解码至少部分在所述视野内的所述第一帧的所述一个或多个分区，而不解码不在所述视野内的所述第一帧的所述分区中的一个或多个；和根据所述视频内容的回放定时并对应于将显示所述第一帧的时间，显示所述第一帧的所述一个或多个解码分区，使得显示所述第一帧的所述部分，且其中在回放期间解码少于所述第一帧的所有且显示少于所述第一帧的所有。另外，一些实施方案提供编码视频内容的方法，包括：访问视频内容，所述视频内容包括视觉内容的多个帧，其中所述多个帧中的每个如果被完全显示将延伸超出观众视野；当所述帧是呈等矩(equirectangular)格式时，将直线投影应用到所述多个帧中的每个帧；将所述帧中的每个分成多个相邻分区，使得帧的所述多个相邻分区在所述直线帧的整个区域上延伸；和对于所述多个帧中的每个帧，编码所述多个分区中的每个，使得帧的每个分区可独立于所述帧的所述其他分区解码。附图简述本专利技术的若干实施方案的上述和其他方面、特征和优势将自结合以下图式展现的本专利技术的以下更具体描述而变得更加明显。图1A示出根据一些实施方案的相对于虚拟区定位的用户或观众的简化透视图，全景内容可在所述虚拟区显示和/或对观众而言似乎被显示。图1B示出根据一些实施方案的相对于图1A的虚拟区定位的观众的简化顶上平面图。图2示出以等矩格式表示的球面全景内容的示范性图像。图3示出根据一些实施方案的被分成多个分区的全景帧的简化示范性表示。图4示出根据一些实施方案的编码全景内容的示范性过程的简化流程图。图5示出根据一些实施方案的解码并回放内容的示范性过程的简化流程图。图6示出根据一些实施方案的识别对应于观众预测视野的帧的分区的示范性过程的简化流程图。图7描绘根据一些实施方案的解码多媒体内容的一序列帧的分区的过程的简化流程图。图8示出根据一些实施方案的用于实施方法、技术、设备、装置、系统、服务器、来源等以编码和/或解码多媒体内容的示范性电路系统和/或系统。对应参考字符在图式的若干视图中指示对应的组件。技术人员将理解，图式中的元件是为了简单和清晰的目的而示出并且不必按比例绘制。例如，图式中的一些元件的尺寸可相对于其他元件夸示，以有助于增强对本专利技术的各种实施方案的理解。此外，往往未描述在商业上可行的实施方案中使用或必需的常见但容易理解的元件，以促进本专利技术的这些各种实施方案的较少阻碍的视图。详细描述以下描述并不以限制性意义采用，而是仅出于描述示范性实施方案的一般原理的目的。本专利技术的范围应参照权利要求书来确定。贯穿本说明书对“一个实施方案”、“实施方案”、“一些实施方案”、“一些实现”或类似语言的提及意味着结合实施方案描述的特定的特征、结构或特性被包括在本专利技术的至少一个实施方案中。因此，贯穿本说明书短语“在一个实施方案中”、“在实施方案中”、“在一些实施方案中”和类似语言的出现可能但不一定都代表相同的实施方案。另外，本专利技术的所述特征、结构或特性可用任何合适的方式在一个或多个实施方案中组合。在以下描述中，提供许多具体细节，诸如编程、软件模块、用户选择、网络交易、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等的实例，以提供对本专利技术的实施方案的透彻理解。然而，相关领域技术人员将认识到，可在不具有具体细节中的一个或多个的情况下实践本专利技术，或使用其他方法、组件、材料等来实践本专利技术。在其他实例中，未详细示出或描述已知结构、材料或操作，以免模糊本专利技术的方面。许多系统显示延伸超出观众当前视野(FOV)的内容。例如，许多系统显示全景内容。此外，在至少一些实例中，全景内容可旨在在观众周围虚拟延伸360度，使得当观众转动时，观众可查看内容的其他部分。作为一个非限制性实例，全景内容可通过头戴式显示器(HMD)显示给观众。在任何时间点，观众通常仅可基于观众视野查看全景内容的一部分。当观众移动(或发出改变视野的指令)时，观众视野内变得可见的全景内容的部分根据观众的移动(或指令)而发生变化。图本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n接收来自一个或多个传感器的信息，所述传感器被配置为确定包括一个或多个显示器的装置的位置或定向中的至少一个；/n使用来自所述一个或多个传感器的所述信息识别要被解码的视频内容的第一帧的一个或多个分区；/n解码所述第一帧的所述识别的一个或多个分区，而不解码所述第一帧的一个或多个其他分区；以及/n在所述一个或多个显示器中的至少一个上显示所述第一帧的所述一个或多个解码分区，而不显示所述第一帧的未解码的所述一个或多个其他分区，从而显示少于所述第一帧的所有。/n

【技术特征摘要】
20140714 US 62/024,354;20140724 US 14/340,1521.一种方法，包括：
接收来自一个或多个传感器的信息，所述传感器被配置为确定包括一个或多个显示器的装置的位置或定向中的至少一个；
使用来自所述一个或多个传感器的所述信息识别要被解码的视频内容的第一帧的一个或多个分区；
解码所述第一帧的所述识别的一个或多个分区，而不解码所述第一帧的一个或多个其他分区；以及
在所述一个或多个显示器中的至少一个上显示所述第一帧的所述一个或多个解码分区，而不显示所述第一帧的未解码的所述一个或多个其他分区，从而显示少于所述第一帧的所有。


2.根据权利要求1所述的方法，其中所述视频内容的第一帧包括多个分区，每个分区被配置以独立于所述视频内容的所述第一帧的所述其他分区来解码。


3.根据权利要求1所述的方法，其中所述第一帧的所述一个或多个解码分区至少部分在观众的视野内，并且所述第一帧的未解码的所述一个或多个其他分区不在所述观众的所述视野内。


4.根据权利要求1所述的方法，其中所述视频内容包含多个视频帧，每个视频帧包含多个编码分区。


5.根据权利要求1所述的方法，其中所述识别要被解码的视频内容的第一帧的一个或多个分区包括：评估定义所述视频内容的第一帧的至少一些所述分区之间的相对位置关系的分区映射。


6.根据权利要求1至5中任一项所述的方法，其中所述装置包括头戴式显示器(HMD)。


7.根据权利要求1至5中任一项所述的方法，其中所述一个或多个传感器包括加速计、陀螺仪、倾斜传感器、光学传感器或图像检测系统中的至少一个。


8.根据权利要求1至5中任一项所述的方法，其中所述装置包括所述一个或多个传感器中的至少一个。


9.一种系统，包括：
包括一个或多个显示器的装置；
一个或多个传感器，其被配置为确定所述装置的位置或定向中的至少一个；以及
基于处理器的系统，其被配置为执行步骤，包括：
接收来自所述一个或多个传感器的信息；
使用来自所述一个或多个传感器的所述信息识别要被解码的视频内容的第一帧的一个或多个分区；
解码所述第一帧的所述识别的一个或多个分区，而不解码所述第一帧的一个或多个其他分区；以及
在所述一个或多个显示器中的至少一个上显示所述第一帧的所述一个或多个解码分区，而不显示所述第一帧的未解码的所述一个或多个其他分区，从而显示少于所述第一帧的所有。


10.根据权利要求...

【专利技术属性】
技术研发人员：R克里施南，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本;JP