用于处理虚拟现实图像的方法和装置制造方法及图纸

根据本公开的一方面的用于处理虚拟现实(VR)图像的方法可以包括如下步骤：选择视口；发送与选择的视口相关的信息；接收与和选择的视口重叠的VR内容相关的至少一个轨道；从接收的至少一个轨道获取元数据；以及基于接收的元数据和选择的视口，从接收的至少一个轨道呈现选择的视口。

A Method and Device for Processing Virtual Reality Images

A method for processing virtual reality (VR) images according to one aspect of the disclosure may include the following steps: selecting a viewport; sending information related to the selected viewport; receiving at least one track related to the VR content overlapping the selected viewport; obtaining metadata from at least one track received; and receiving at least one track based on the received metadata and the selected viewport. A track presents the selected viewport.

【技术实现步骤摘要】
【国外来华专利技术】用于处理虚拟现实图像的方法和装置
本公开涉及处理自适应虚拟现实(VR)图像的方法和装置。
技术介绍
因特网正在从人类创建和消费信息的以人为中心的连接网络演变为物联网(IoT)网络，通过该网络在事物或其他分布式组件之间传送和处理信息。万物互联(IoE)技术可以是通过例如与云服务器的连接来组合大数据处理技术和IoT技术的示例。为了实现IoT，需要各种技术元素，诸如传感技术、有线/无线通信和网络基础设施、服务接口技术和安全技术。最近正在进行对对象间连接技术，诸如传感器网络、机器到机器(M2M)或机器类型通信(MTC)的研究。在IoT环境中可能会提供智能互联网技术(IT)服务，其收集和分析由彼此连接的事物所生成的数据，来为人类的生活创造新的价值。通过转换或整合现有的IT技术与各种行业，IoT可以具有各种应用，诸如智能家居、智能建筑、智能城市、智能汽车或连接的汽车、智能电网、医疗保健或智能家电行业、或最先进的医疗服务。同时，为实施IoT的内容也在不断演变。换句话说，随着黑白内容转移为彩色内容，以及高清(HD)、超高清(UHD)和最近的高动态范围(HDR)内容被标准化和传播，正在进行虚拟(VR)内容的研究，该VR内容可以由VR装置，诸如Oculus或SamsungGearVR播放。VR系统监视用户并允许用户使用某种类型的控制器通过内容显示设备或处理单元输入反馈。所述设备或单元处理输入的反馈以调整内容来适合该反馈，从而实现交互。VR回声系统可以包括基本组件，例如头戴式显示器(HMD)、无线/移动VR、TV、洞穴自动虚拟环境(CAVE)、外围设备和触觉(用于向VR提供输入的其他控制器)、内容捕捉(相机或视频拼接)、内容工作室(游戏、流、电影、新闻和纪录片)、工业应用(教育、医疗保健、房地产、建筑、旅行)以及生产工具和服务(3D引擎、处理能力)、应用商店(用于VR媒体内容)。在没有实现可以设计用于三维(3D)360度内容的后高效视频编码(HEVC)编解码器的情况下，为了配置VR内容而执行的360度图像内容的捕捉、编码和传输遇到了无数的挑战。因此，存在对能够以更有效的方式配置和消费VR内容的方案的需要。
技术实现思路
[技术问题]根据本公开，提供一种处理虚拟现实(VR)图像的方法和装置。根据本公开，提出了一种用于配置各条信息并且信号传输该信息的方法和装置，所述信息用于呈现构成没有失真的VR内容的图像。根据本公开，提出了一种在接收侧基于VR内容的信令信息来播放VR内容的方法和装置。[解决方案]根据本公开的一方面，处理虚拟现实图像的方法可以包括：选择视口，发送与选择的视口相关的信息，接收与和选择的视口重叠的虚拟现实(VR)内容相关的至少一个轨道(track)，从接收的至少一个轨道获得元数据，以及基于接收的元数据和选择的视口，从接收的至少一个轨道呈现选择的视口。另外，与视口相关的信息可以包括视点信息和视场(FoV)信息，其中，视点信息可以包括与球坐标有关的中心偏航角和中心俯仰角，并且FoV信息可以包括偏航角的宽度和俯仰角的宽度。另外，中心偏航角可以不小于-180度且不大于180度，俯仰角可以不小于-90度且不大于90度，偏航角的宽度可以不小于0度且不大于360度，并且俯仰角的宽度可以不小于0度且不大于180度。另外，元数据可以包括如下中的至少一个：至少一个轨道是否被拼接(stitch)，至少一个轨道的全部覆盖范围，至少一个轨道是360度图像的整体还是部分，至少一个轨道的水平有效范围，至少一个轨道的垂直有效范围，至少一个轨道是否是通过柏拉图实体投影方法的一个轨道，正多面体的类型以及至少一个轨道的FoV信息。元数据可以包括关于在一个或多个轨道与和视口重叠的至少一个轨道之间的依赖性的信息，并且，其中，至少一个轨道可以包括虚拟现实内容的全部几何形状或虚拟现实内容的全部几何形状的仅一部分。可以通过等角投影(ERP)方法或柏拉图实体投影方法来生成至少一个轨道。所述至少一个轨道的数量可以是两个或更多个，可以彼此不重叠，至少一个轨道之间可以具有依赖性。根据本公开的另一方面，一种处理虚拟现实图像的装置可以包括：收发器；存储器，被配置为存储虚拟现实图像处理模块；和控制器，与收发器和存储器连接以执行虚拟现实图像处理模块，其中控制器可以被配置为：选择视口，发送与选择的视口相关的信息，接收与和选择的视口重叠的虚拟现实(VR)内容相关的至少一个轨道，从接收的至少一个轨道获得元数据，以及基于接收的元数据和选择的视口，从接收的至少一个轨道呈现选择的视口。通过以下结合附图的详细描述并公开本公开的优选实施例，本公开的其他方面、优点和核心特征对于本领域普通技术人员将是显而易见的。在进入本公开的详细描述之前，定义如本文所使用的特定单词和短语可能是有效的。如本文所用，词语“包括”和“包含”及其衍生词可以意味着这样做而没有任何限制。如本文所用，术语“或”可以意味着“和/或”。如本文所用，短语“与......相关联”和“与之相关联”及其衍生词可以意味着“包括”、“包括在其中”、“与......互连”、“包含”、“包含在其中”、“连接到或与…连接”或“耦合到或与...耦合”、“可与…通信”、“与…合作”、“交错”、“并置”、“接近”、“约束到或约束于”、“具有或具有…的属性”。如本文所用，词语“控制器”可以意味着控制至少一个操作的任何设备、系统或其部分。该设备可以用硬件、固件、软件或其至少两个的某种组合来实现。应该注意到，功能，无论与其相关联的特定控制器，可以集中或分布或本地或远程地实现。本领域普通技术人员应当理解，在许多情况下或者即使不是在大多数情况下，可以采用这里使用的特定术语或短语的现有的或将来的定义。附图说明图1是示出根据本公开实施处理自适应虚拟现实图像的方法的计算机系统的示例配置的图；图2a、图2b和图2c是示出根据本公开的示例ERP图像的图；图3a、图3b和图3c是示出根据本公开的示例视口图像的图；图4是示出映射视口图像和ERP图像的示例方法的图；图5是示出映射视口图像和ERP图像的示例方法的图；图6a、图6b和图6c是示出在生成的视口图像中示出的锯齿、模糊和混淆的示例的图；图7和图8是示出根据本公开的映射视口图像和ERP图像的示例方法的图；图9(a)是示出视口图像的图，而图9(b)是示出球坐标系中的偏航和俯仰的图；图10是示出将在球坐标系中的坐标映射到ERP图像中的坐标的示例方法的图；图11是示出根据本公开使用多面体获得360度图像的示例方法的图；图11(a)是每个多面体的二维分解图，图11(b)是立方体的示例二维分解图，而图11(c)是二十面体的示例二维分解图；图12是示出根据本公开的跟踪与在ERP图像中呈现视口相关的视点的图；图13是示出根据本公开的跟踪与在立方投影中呈现视口相关的视点的图；图14示出用于捕捉360度图像的相机设备；图15是示出取决于捕捉360度图像的相机设备的形状的捕捉范围的示例的图；图15(a)示出四面体相机设备的捕捉范围，图15(b)示出立方体形状的相机设备的捕捉范围，而图15(c)示出十二面体相机设备的捕捉范围；图16是示出从球面图像投影的示例方法的图；图17是示出立方投影的示例方法的图；以及图18是示出八面体投影的示例方本文档来自技高网...

【技术保护点】
1.一种处理虚拟现实图像的方法，该方法包括：选择视口；发送与选择的视口相关的信息；接收与和选择的视口重叠的虚拟现实(VR)内容相关的至少一个轨道；从接收的至少一个轨道获得元数据；以及基于接收的元数据和选择的视口，从接收的至少一个轨道呈现选择的视口。

【技术特征摘要】
【国外来华专利技术】2016.10.12 US 62/406,9971.一种处理虚拟现实图像的方法，该方法包括：选择视口；发送与选择的视口相关的信息；接收与和选择的视口重叠的虚拟现实(VR)内容相关的至少一个轨道；从接收的至少一个轨道获得元数据；以及基于接收的元数据和选择的视口，从接收的至少一个轨道呈现选择的视口。2.如权利要求1所述的方法，其中，与视口相关的信息包括视点信息和视场(FoV)信息，其中视点信息包括与球坐标相关的中心偏航角和中心俯仰角，并且FoV信息包括偏航角的宽度和俯仰角的宽度。3.如权利要求2所述的方法，其中，中心偏航角不小于-180度且不大于180度，俯仰角不小于-90度且不大于90度，偏航角的宽度不小于0度且不大于360度，以及俯仰角的宽度不小于0度且不大于180度。4.如权利要求1所述的方法，其中，元数据包括指示如下中的至少一个的信息：至少一个轨道是否被拼接、至少一个轨道的全部覆盖范围、至少一个轨道是360度图像的整体还是部分、至少一个轨道的水平有效范围、至少一个轨道的垂直有效范围、至少一个轨道是否是通过柏拉图实体投影方法的一个轨道、正多面体的类型以及至少一个轨道的FoV信息。5.如权利要求1所述的方法，其中，至少一个轨道包括VR虚拟现实内容的全部几何形状，并且其中，通过拼接捕捉的360度图像，将拼接的360度图像投影到二维平面表面并拆分投影的图像来生成至少一个轨道。6.如权利要求5所述的方法，其中，通过等角投影(ERP)方法或柏拉图实体投影方法来生成至少一个轨道。7.如权利要求1所述的方法，其中，元数据包括关于在一个...

【专利技术属性】
技术研发人员：崔秉斗，E叶，宋在涓，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR