用于虚拟现实的方法、装置和计算机可读介质制造方法及图纸

本发明专利技术涉及一种用于虚拟现实的方法、装置和计算机可读介质。在一个解决方案中，生成定义呈现的比特流，该呈现包括全向视觉媒体内容以及第一视觉媒体分量和第二视觉媒体分量；在比特流中指示与第一视觉媒体分量相关联的第一呈现时间线；在比特流中指示与第二视觉媒体分量相关联的第二呈现时间线；在比特流中指示到与第二视觉媒体分量相关联的第二呈现时间线的切换模式；以及在比特流中指示该切换模式是关于第一呈现时间线的或者是关于第二呈现时间线的。时间线的。时间线的。

【技术实现步骤摘要】
用于虚拟现实的方法、装置和计算机可读介质
[0001]本申请是2019年12月13日提交的申请号为201911281912.X、专利技术名称为“用于虚拟现实的方法、装置和计算机程序产品”的专利申请的分案申请。


[0002]本解决方案通常涉及虚拟现实。

技术介绍

[0003]自从照相术和电影摄影术开始以来，最普通类型的图像和视频内容已通过具有相对较窄视场的相机捕获，并在平面显示器上显示为矩形场景。在本申请中，这样的内容被称为“平面内容”或“平面图像”或“平面视频”。相机主要是定向的，因此它们仅捕获有限的角度视场(它们指向的视场)。
[0004]最近，有新的图像和视频捕获设备可用。这些设备能够捕获周围的所有视觉和音频内容，即它们可以捕获整个角度视场(有时也称为360度视场)。更准确地说，它们可以捕获球形视场(即，在所有空间方向上均为360度)。此外，已经专利技术并生产了新型的输出技术，例如头戴式显示器。这些设备使一个人可以看到他/她周围的视觉内容，给人一种“沉浸”在360度相机捕获的场景中的感觉。新的捕获和显示范式(其中视场为球形)通常称为虚拟现实(VR)，并且被认为是人们将来体验媒体内容的常用方式。

技术实现思路

[0005]现在已经专利技术了用于编码和解码的改进方法和实现该方法的技术设备。本专利技术的各个方面包括一种方法、一种装置以及一种包括存储在其中的计算机程序的计算机可读介质，特征在于独立权利要求中所陈述的内容。本专利技术的各种实施例在从属权利要求中予以公开。
[0006]根据第一方面，提供了一种方法，该方法包括：生成定义呈现的比特流，该呈现包括全向视觉媒体内容以及第一视觉媒体分量和第二视觉媒体分量；在比特流中指示与第一视觉媒体分量相关联的第一呈现时间线；在比特流中指示与第二视觉媒体分量相关联的第二呈现时间线；在比特流中指示到与第二视觉媒体分量相关联的第二呈现时间线的切换模式；以及在比特流中指示切换模式是关于第一呈现时间线或者是关于第二呈现时间线的。
[0007]根据第二方面，提供了一种装置，该装置包括处理器、存储器以及驻留在该存储器中的计算机程序代码，其中，当由处理器执行时该计算机代码被配置为使该装置：生成定义呈现的比特流，该呈现包括全向视觉媒体内容以及第一视觉媒体分量和第二视觉媒体分量；在比特流中指示与第一视觉媒体分量相关联的第一呈现时间线；在比特流中指示与第二视觉媒体分量相关联的第二呈现时间线；在比特流中指示到与第二视觉媒体分量相关联的第二呈现时间线的切换模式；以及在比特流中指示切换模式是关于第一呈现时间线的或者是关于第二呈现时间线的。
[0008]根据第三方面，提供了一种方法，该方法包括：从比特流确定呈现，该呈现包括全
向视觉媒体内容以及第一视觉媒体分量和第二视觉媒体分量；从比特流解码与第一视觉媒体分量相关联的第一呈现时间线；从比特流解码与第二视觉媒体分量相关联的第二呈现时间线；从比特流解码到与第二视觉媒体分量相关联的第二呈现时间线的切换模式；以及从比特流解码切换模式是关于第一呈现时间线的或者是关于第二呈现时间线的。
[0009]根据第四方面，提供了一种装置，该装置包括处理器、存储器以及驻留在该存储器中的计算机程序代码，其中，当由处理器执行时该计算机代码被配置为使该装置：从比特流确定呈现，该呈现包括全向视觉媒体内容以及第一视觉媒体分量和第二视觉媒体分量；从比特流解码与第一视觉媒体分量相关联的第一呈现时间线；从比特流解码与第二视觉媒体分量相关联的第二呈现时间线；从比特流解码到与第二视觉媒体分量相关的第二呈现时间线的切换模式；以及从比特流解码切换模式是关于第一呈现时间线的或者是关于第二呈现时间线的。
[0010]根据第五方面，提供了一种体现在计算机可读介质上的包括计算机程序代码的计算机程序产品，该计算机程序代码被配置为当在至少一个处理器上执行时使装置或系统：生成定义呈现的比特流，该呈现包括全向视觉媒体内容以及第一视觉媒体分量和第二视觉媒体分量；在比特流中指示与第一视觉媒体分量相关联的第一呈现时间线；在比特流中指示与第二视觉媒体分量相关联的第二呈现时间线；在比特流中指示到与第二视觉媒体分量相关联的第二呈现时间线的切换模式；以及在比特流中指示切换模式是关于第一呈现时间线的或者是关于第二呈现时间线的。
[0011]根据第六方面，提供了一种体现在计算机可读介质上的包括计算机程序代码的计算机程序产品，该计算机程序代码被配置为当在至少一个处理器上执行时使装置或系统：从比特流确定呈现，该呈现包括全向视觉媒体内容以及第一视觉媒体分量和第二视觉媒体分量；从比特流解码与第一视觉媒体分量相关联的第一呈现时间线；从比特流解码与第二视觉媒体分量相关联的第二呈现时间线；从比特流解码到与第二视觉媒体分量相关联的第二呈现时间线的切换模式；以及从比特流解码切换模式是关于第一呈现时间线的或者是关于第二呈现时间线的。
[0012]根据一个实施例，在比特流中指示/从比特流解码主呈现时间线或用以创建播放器呈现时间线的指示；以及在比特流中指示/从比特流解码切换模式是关于第一呈现时间线的或者是关于第二呈现时间线的或者是关于主呈现时间线或播放器呈现时间线的。
[0013]根据一个实施例，在比特流中指示/从比特流解码第二视觉媒体分量的检索机制。
[0014]根据一个实施例，在容器(container)格式中包括关于切换模式的信息。
[0015]根据一个实施例，在非暂时性计算机可读介质上体现计算机程序产品。
附图说明
[0016]在下文中，将参考附图更详细地描述本专利技术的各种实施例，其中
[0017]图1示出了球坐标与方位角和仰角与X、Y和Z坐标轴的关系的示例；
[0018]图2示出了将球形图片转换为打包图片的示例；
[0019]图3示出了OMAF视频处理步骤的示例；
[0020]图4示出了无缝切换的示例；
[0021]图5示出了切换到零时间的示例；
[0022]图6示出了切换到偏移时间的示例；
[0023]图7是示出根据实施例的方法的流程图；
[0024]图8是示出根据另一实施例的方法的流程图；以及
[0025]图9示出了根据实施例的装置。
具体实施方式
[0026]在下文中，将在例如全向内容的沉浸式多媒体(即虚拟现实)的上下文中描述本专利技术的几个实施例。与2D内容的消费相比，最终用户对全向内容的消费更为复杂。这是由于最终用户可以使用的自由度更高。这种自由还导致更多的不确定性。当例如在覆盖(overlay)的情况下渲染内容的层时，情况变得更加复杂。
[0027]可用的媒体文件格式标准包括国际标准组织(ISO)基本媒体文件格式(ISO/IEC 14496
‑
12，其可以缩写为ISOBMFF)、运动图像专家组(MPEG)
‑
4文件格式(ISO/IEC 14496
‑
14，也称为MP4格式)、NAL(网络抽象层)单元结构视频的文件格式(I本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括生成定义呈现的比特流，所述呈现包括全向视觉媒体内容以及第一视觉媒体分量和第二视觉媒体分量；在所述比特流中指示与所述第一视觉媒体分量相关联的第一呈现时间线；在所述比特流中指示与所述第二视觉媒体分量相关联的第二呈现时间线；以及在所述比特流中指示关于与所述第一视觉媒体分量相关联的所述第一呈现时间线的切换模式，或关于与所述第二视觉媒体分量相关联的所述第二呈现时间线的切换模式，所述切换模式是取决于观看所述呈现的用户的视点而被指示的；其中，所述切换模式提供对于切换到所述第一视觉媒体分量或切换到所述第二视觉媒体分量的指示，所述第一视觉媒体分量对应于从在第一位置的至少第一全向相机捕获的内容，所述第二视觉媒体分量对应于从在第二位置的至少第二全向相机捕获的内容。2.根据权利要求1所述的方法，其中，从所述第一视觉媒体分量切换到所述第二视觉媒体分量包括以下切换中的至少一个：从第一覆盖切换到第二覆盖，其中所述第一覆盖和所述第二覆盖二者在相同视点内；从第一覆盖切换到第二覆盖，其中所述第一覆盖和所述第二覆盖二者在不同视点中；从第一视点切换到第二视点；从第一视点中的第一覆盖切换到第二视点；或从第一视点切换到第二视点中的第二覆盖。3.根据权利要求1所述的方法，进一步包括：指示使用覆盖的或不使用覆盖的从一个视点到另一视点的切换的激活。4.根据权利要求3所述的方法，进一步包括：在所述覆盖的定时元数据轨道内指示所述从一个视点到另一视点的切换，所述定时元数据轨道包括样本条目和样本。5.根据权利要求1所述的方法，进一步包括：当不使用覆盖时，独立于设备输出显示的类型，指示从所述第一视觉媒体分量到所述第二视觉媒体分量的切换的激活。6.根据权利要求1所述的方法，其中，所述切换包括从第一视点中的第一区域到第二视点中的第二区域的空间切换。7.根据权利要求1所述的方法，其中，所述切换包括从第一视点中的第一时间到第二视点中的第二时间的时间线切换，其中所述第二时间小于所述第一时间，所述第二时间等于所述第一时间，或所述第二时间大于所述第一时间。8.根据权利要求7所述的方法，进一步包括：在覆盖的定时元数据轨道内指示所述时间线切换，所述时间线切换包括样本条目和样本。9.一种非暂时性计算机可读介质，包括存储于其上程序指令，所述程序指令被配置为当利用在至少一个处理器执行时使至少一个处理器执行根据权利要求1的方法。10.一种方法，包括：从比特流确定呈现，所述呈现包括全向视觉媒体内容以及第一视觉媒体分量和第二视觉媒体分量；
从所述比特流解码与所述第一视觉媒体分量相关联的第一呈现时间线；从所述比特流解码与所述第二视觉媒体分量相关联的第二呈现时间线；以及从所述比特流解码关于与所述第一视觉媒体分量相关联的所述第一呈现时间线的切换模式，或关于与所述第二视觉媒体分量相关联的所述第二呈现时间线的切换模式，所述切换模式是取决于观看所述呈现的用户的视点而被指示的；其中，所述切换模式提供对于切换到所述第一视觉媒体分量或切换到所述第二视觉媒体分量的指示，所述第一视觉媒体分量对应于从在第一位置的至少第一全向相机捕获的内容，所述第二视觉媒体分量对应于从在第二位置的至少第二全向相机捕获的内容。11.根据权利要求10所述的方法，其中，从所述第一视觉媒体分量切换到所述第二视觉媒体分量包括以下切换中的至少一个：从第一覆盖切换到第二覆盖，其中所述第一覆盖和所述第二覆盖二者在相同视点内；从第一覆盖...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：