用于回放全景视频内容的系统和方法技术方案

一些实施方案提供回放内容的方法，其包括：访问视频内容，所述视频内容包括如果被完全解码将延伸超出观众视野的一系列帧，且其中每个编码的帧包括多个编码的分区；确定所述观众的视野；识别至少部分在所述视野内的所述第一帧的一个或多个分区；解码所述第一帧的所述一个或多个分区，而不解码不在所述视野内的所述第一帧的所述分区中的一个或多个；和显示所述第一帧的所述一个或多个解码分区，使得显示所述第一帧的所述部分，且其中在回放期间解码少于所述第一帧的所有且显示少于所述第一帧的所有。

【技术实现步骤摘要】
【国外来华专利技术】相关申请案的交叉引用本申请是2014年7月24日提交的RathishKrishnan的标题为“SYSTEMANDMETHODFORUSEINPLAYINGBACKPANORAMAVIDEOCONTENT”的美国专利申请案14/340,152的延续并主张所述申请案的权益，所述申请案主张2014年7月14日提交的RathishKrishnan的标题为SYSTEMANDMETHODFORUSEINPLAYINGBACKPANORAMAVIDEOCONTENT的美国临时申请案62/024,354的权益，所述两个申请案的全部内容和公开内容全文以参考的方式由此完全并入本文。背景1.专利
本专利技术一般涉及多媒体内容，且更具体来说涉及配置多媒体内容。2.相关技术论述用户可获得大量视觉多媒体内容。此内容中的一些旨在通过虚拟的环境来查看。类似地，一些内容包括如果被完全显示则会延伸超出用户当前视野的图像和/或帧。用户通常必须更改其视野位置和/或定向，以查看延伸超出用户视野的帧的其他区域。专利技术概要一些实施方案提供回放多媒体内容的方法，包括：访问视频内容，所述视频内容包括被配置以按顺序回放的视觉内容的一系列帧，其中所述一系列帧中的每个帧如果被完全解码将延伸超出观众视野，且其中每个编码的帧包括多个编码的分区；在显示第一帧的部分之前，确定观看所述视频内容的所述观众的视野；根据所述视野来识别至少部分在所述视野内的所述第一帧的一个或多个分区，且其中在显示所述第一帧的所述部分时，所述观众可见所述一个或多个分区的至少一部分；解码至少部分在所述视野内的所述第一帧的所述一个或多个分区，而不解码不在所述视野内的所述第一帧的所述分区中的一个或多个；和根据所述视频内容的回放定时并对应于将显示所述第一帧的时间，显示所述第一帧的所述一个或多个解码分区，使得显示所述第一帧的所述部分，且其中在回放期间解码少于所述第一帧的所有且显示少于所述第一帧的所有。另外，一些实施方案提供编码视频内容的方法，包括：访问视频内容，所述视频内容包括视觉内容的多个帧，其中所述多个帧中的每个如果被完全显示将延伸超出观众视野；当所述帧是呈等矩(equirectangular)格式时，将直线投影应用到所述多个帧中的每个帧；将所述帧中的每个分成多个相邻分区，使得帧的所述多个相邻分区在所述直线帧的整个区域上延伸；和对于所述多个帧中的每个帧，编码所述多个分区中的每个，使得帧的每个分区可独立于所述帧的所述其他分区解码。附图简述本专利技术的若干实施方案的上述和其他方面、特征和优势将自结合以下图式展现的本专利技术的以下更具体描述而变得更加明显。图1A示出根据一些实施方案的相对于虚拟区定位的用户或观众的简化透视图，全景内容可在所述虚拟区显示和/或对观众而言似乎被显示。图1B示出根据一些实施方案的相对于图1A的虚拟区定位的观众的简化顶上平面图。图2示出以等矩格式表示的球面全景内容的示范性图像。图3示出根据一些实施方案的被分成多个分区的全景帧的简化示范性表示。图4示出根据一些实施方案的编码全景内容的示范性过程的简化流程图。图5示出根据一些实施方案的解码并回放内容的示范性过程的简化流程图。图6示出根据一些实施方案的识别对应于观众预测视野的帧的分区的示范性过程的简化流程图。图7描绘根据一些实施方案的解码多媒体内容的一序列帧的分区的过程的简化流程图。图8示出根据一些实施方案的用于实施方法、技术、设备、装置、系统、服务器、来源等以编码和/或解码多媒体内容的示范性电路系统和/或系统。对应参考字符在图式的若干视图中指示对应的组件。技术人员将理解，图式中的元件是为了简单和清晰的目的而示出并且不必按比例绘制。例如，图式中的一些元件的尺寸可相对于其他元件夸示，以有助于增强对本专利技术的各种实施方案的理解。此外，往往未描述在商业上可行的实施方案中使用或必需的常见但容易理解的元件，以促进本专利技术的这些各种实施方案的较少阻碍的视图。详细描述以下描述并不以限制性意义采用，而是仅出于描述示范性实施方案的一般原理的目的。本专利技术的范围应参照权利要求书来确定。贯穿本说明书对“一个实施方案”、“实施方案”、“一些实施方案”、“一些实现”或类似语言的提及意味着结合实施方案描述的特定的特征、结构或特性被包括在本专利技术的至少一个实施方案中。因此，贯穿本说明书短语“在一个实施方案中”、“在实施方案中”、“在一些实施方案中”和类似语言的出现可能但不一定都代表相同的实施方案。另外，本专利技术的所述特征、结构或特性可用任何合适的方式在一个或多个实施方案中组合。在以下描述中，提供许多具体细节，诸如编程、软件模块、用户选择、网络交易、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等的实例，以提供对本专利技术的实施方案的透彻理解。然而，相关领域技术人员将认识到，可在不具有具体细节中的一个或多个的情况下实践本专利技术，或使用其他方法、组件、材料等来实践本专利技术。在其他实例中，未详细示出或描述已知结构、材料或操作，以免模糊本专利技术的方面。许多系统显示延伸超出观众当前视野(FOV)的内容。例如，许多系统显示全景内容。此外，在至少一些实例中，全景内容可旨在在观众周围虚拟延伸360度，使得当观众转动时，观众可查看内容的其他部分。作为一个非限制性实例，全景内容可通过头戴式显示器(HMD)显示给观众。在任何时间点，观众通常仅可基于观众视野查看全景内容的一部分。当观众移动(或发出改变视野的指令)时，观众视野内变得可见的全景内容的部分根据观众的移动(或指令)而发生变化。图1A示出根据一些实施方案的相对于虚拟区114定位的用户或观众112的简化透视图，全景内容可在所述虚拟区114显示且/或对观众而言似乎被显示。图1B示出根据一些实施方案的相对于图1A的虚拟区114定位的观众112的简化顶上平面图。参考图1A-1B，在这个表示中，全景内容旨在围绕观众横向延伸360度。在一些实例中，全景内容可向观众进一步延伸或虚拟延伸，诸如对观众而言似乎垂直延伸大约180度(从视角延伸+90到-90度)和/或围绕观众延伸360度。观众112具有有限的视野(FOV)116。在具有全景内容的许多实例中，观众视野116仅延伸横跨一定百分比的全景内容，且往往通常少于50％的全景内容。在具有许多显示系统的情况下，观众可移动她/他的头部和/或身体(或者使内容滚动)来改变她/他视野的位置，从而当显示全景内容时看到全景内容的其他部分。具有360度水平视野和180度垂直视野的全景内容(诸如，全景视频内容)向观众提供完整的环境视图和改变她/他的视野116以从任何方向查看全景内容的部分的自由。创建这种全景内容通常采用从相同位置指向不同方向的多个摄像机的使用。然后可使用图像处理算法将每个摄像机捕获的图像缝合在一起，以使图像对齐并消除重叠。可取决于预期的使用情况来用不同格式创建全景内容。例如，在某一全景内容一个方向上具有较大视野而在其他方向上具有有限视野的情况下，平面全景或柱面全景可能是合适的，且由显示的平面或柱面全景内容覆盖的整个区域可通过在一个方向上移动或滚动来查看。但对于整个360x180度全景内容，上述全景格式通常不如球面全景格式合适。当用于静止图像或视频帧时，球面全景通常以等矩格式表示，其代表水本文档来自技高网...

【技术保护点】
一种回放多媒体内容的方法，其包括：访问视频内容，所述视频内容包括被配置以按顺序回放的视觉内容的一系列帧，其中所述一系列帧中的每个帧如果被完全解码将延伸超出观众视野，且其中每个编码的帧包括多个编码的分区；在显示第一帧的部分之前，确定观看所述视频内容的所述观众的视野；根据所述视野来识别至少部分在所述视野内的所述第一帧的一个或多个分区，且其中在显示所述第一帧的所述部分时，所述观众可见所述一个或多个分区的至少一部分；解码至少部分在所述视野内的所述第一帧的所述一个或多个分区，而不解码不在所述视野内的所述第一帧的所述分区中的一个或多个；和根据所述视频内容的回放定时并对应于将显示所述第一帧的时间，显示所述第一帧的所述一个或多个解码分区，使得显示所述第一帧的所述部分，且其中在回放期间解码少于所述第一帧的所有且显示少于所述第一帧的所有。

【技术特征摘要】
【国外来华专利技术】2014.07.14 US 62/024,354;2014.07.24 US 14/340,1521.一种回放多媒体内容的方法，其包括：访问视频内容，所述视频内容包括被配置以按顺序回放的视觉内容的一系列帧，其中所述一系列帧中的每个帧如果被完全解码将延伸超出观众视野，且其中每个编码的帧包括多个编码的分区；在显示第一帧的部分之前，确定观看所述视频内容的所述观众的视野；根据所述视野来识别至少部分在所述视野内的所述第一帧的一个或多个分区，且其中在显示所述第一帧的所述部分时，所述观众可见所述一个或多个分区的至少一部分；解码至少部分在所述视野内的所述第一帧的所述一个或多个分区，而不解码不在所述视野内的所述第一帧的所述分区中的一个或多个；和根据所述视频内容的回放定时并对应于将显示所述第一帧的时间，显示所述第一帧的所述一个或多个解码分区，使得显示所述第一帧的所述部分，且其中在回放期间解码少于所述第一帧的所有且显示少于所述第一帧的所有。2.如权利要求1所述的方法，其中所述确定所述视野包括：确定预测所述观众视野的所述位置改变来包括尚未显示的后续帧的一个或多个其他分区的至少一部分，其中所述一个或多个其他分区对应于不被显示的所述第一帧的一个或多个另外的分区；和响应于所述视野的所述位置的所述预测改变来解码所述后续帧的至少所述一个或多个其他分区。3.如权利要求2所述的方法，其中所述启动所述后续帧的所述至少所述一个或多个其他分区的所述解码包括：启动一个或多个参考帧的一个或多个参考分区的所述解码且此后为所述后续帧参考。4.如权利要求2所述的方法，其还包括：在解码所述后续帧中一个的所述一个或多个其它分区时，确定在所述后续帧中第一个之前的帧中解码的第一分区不再在所述视野内，和当解码所述第一后续帧的所述至少所述一个或多个其他分区时，防止所述解码所述第一分区。5.如权利要求1-4中任一项所述的方法，其还包括：接收定向信息；基于所述定向信息且基于将要显示后续帧的部分时的定时，预测所述观众视野的定向；基于所述观众视野的所述预测位置，识别预期为至少部分在所述观众视野的所述预测位置内的将要显示的所述后续帧的一个或多个分区。6.如权利要求1-4中任一项所述的方法，其中所述识别对应于所述视野的所述第一帧的所述一个或多个分区包括：访问分区映射，其中所述分区映射包括所述第一帧的所述多个分区中的每个的分区位置信息和跨所述多个分区的坐标信息；和评估相对于所述视野的所述分区映射。7.如权利要求6所述的方法，其中所述评估所述分区映射包括：识别对应于所述视野的所述坐标信息的坐标，和识别至少部分在对应于所述视野的所述识别坐标内的所述第一帧的所述一个或多个分区。8.如权利要求7所述的方法，其中所述识别至少部分在所述识别坐标内的所述第一帧的所述一个或多个分区包括：识别在所述识别坐标内具有至少阈值量的所述分区的所述第一帧的所述一个或多个分区。9.如权利要求1-4中任一项所述的方法，其还包括：对于所述多个帧中的每个，限定每个帧的所述多个分区，使得所述多个分区在所述整个帧上延伸；和编码所述多个分区中的每个，使得所述多个分区中的每个被配置以独立于所述帧的所述多个分区中所述其他分区中任意来解码。10.如权利要求9所述的方法，其还包括：对于所述多个帧中的每个帧，限定在所述整...

【专利技术属性】
技术研发人员：R克里施南，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：日本;JP