虚拟现实图像的处理方法及其系统技术方案

本发明专利技术提出一种虚拟现实图像的处理方法及其系统。其中，方法包括：在第一图像中截取用户的主观测区对应的图像作为第二图像，并将第一图像中的其他部分作为第三图像。对第二图像进行超分辨率画质处理，并将处理后的第二图像作为第四图像。根据第三图像和第四图像，获取虚拟现实图像。由此，本发明专利技术实施例实现了在图像处理过程中，只对用户的主观测区对应的图像进行超分辨率画质处理，节省了图像处理过程中系统资源的消耗。解决了现有技术中对待处理图像进行处理时，图像渲染工作量过大，从而导致系统资源消耗过大，图像处理效率太低，进而引起图像显示出现卡顿的技术问题。

Virtual Reality Image Processing Method and System

【技术实现步骤摘要】
虚拟现实图像的处理方法及其系统
本专利技术涉及虚拟现实
，尤其涉及一种虚拟现实图像的图像处理方法及其系统。
技术介绍
随着虚拟现实技术的不断发展，人们对虚拟现实设备提供图像的分辨率要求越来越高，对高分辨率图像进行处理需要较高的硬件配置，消耗极大的系统资源，需要改进虚拟现实图像的处理方法来降低图像处理过程中的系统资源消耗。相关技术中，首先对视野可见场景进行低分辨率的渲染，再根据用户的注视点确定用户的关注区域，对用户的关注区域内的图像进行高分辨率的渲染，将两次渲染之后的图像进行融合，显示给用户。现有技术中对待处理图像进行处理时，图像渲染工作量过大，从而导致系统资源消耗过大，图像处理效率太低，进而引起图像显示出现卡顿。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种虚拟现实图像的处理方法，以实现只对用户的主观测区对应的图像进行超分辨率画质处理，进而节省图像处理过程中的系统资源消耗。本专利技术的第二个目的在于提出一种虚拟现实图像的处理系统。本专利技术的第三个目的在于提出一种非临时性计算机可读存储介质。为达上述目的，本专利技术第一方面实施例提出了一种虚拟现实图像的处理方法，包括：在第一图像中截取用户的主观测区对应的图像作为第二图像，并将所述第一图像中的其他部分作为第三图像；对所述第二图像进行超分辨率画质处理，并将处理后的所述第二图像作为第四图像；根据所述第三图像和所述第四图像，获取虚拟现实图像。和现有技术相比，本专利技术实施例在对待处理图像进行处理时，仅对用户的主观测区对应的图像进行超分辨率画质处理，节省了图像处理过程中的系统资源消耗。另外，本专利技术实施例的虚拟现实图像的处理方法，还具有如下附加的技术特征：可选地，在所述在第一图像中截取用户的主观测区对应的图像作为第二图像之前，还包括：获取所述用户的姿态信息；根据所述姿态信息获取所述第一图像；将所述第一图像进行存储，所述第一图像是所述用户的姿态信息对应的低分辨率场景图像。可选地，在所述将所述第一图像进行存储之后，还包括：追踪所述用户的眼球位置，并根据所述眼球位置计算所述用户的注视点；根据所述用户的注视点确定所述用户的主观测区。可选地，所述主观测区的形状包括：圆形、正方形、长方形、多边形中的一种。可选地，所述对所述第二图像进行超分辨率画质处理，包括：使用插值算法对所述第二图像进行处理。可选地，所述根据所述第三图像和所述第四图像，获取虚拟现实图像，包括：对所述第三图像进行像素级重建，以获取第五图像；对所述第四图像和所述第五图像进行整合，以获取虚拟现实图像。本专利技术第二方面实施例提出了一种虚拟现实图像的处理系统，包括头戴式显示设备和主机，其中，所述主机，用于向所述头戴式显示设备传输第一图像；所述头戴式显示设备，用于在所述第一图像中截取用户的主观测区对应的图像作为第二图像，并将所述第一图像中的其他部分作为第三图像，以及对所述第二图像进行超分辨率画质处理，并将处理后的所述第二图像作为第四图像，并根据所述第三图像和所述第四图像，获取虚拟现实图像。另外，本专利技术实施例的虚拟现实的处理系统，还具有如下附加的技术特征：可选地，所述头戴式显示设备包括：图像提取单元，用于在第一图像中截取用户的主观测区对应的图像作为第二图像，并将所述第一图像中的其他部分作为第三图像；主观测区超分辨率处理单元，用于对所述第二图像进行超分辨率画质处理，并将处理后的所述第二图像作为第四图像；以及数据整合单元，用于根据所述第三图像和所述第四图像，获取虚拟现实图像。可选地，所述头戴式显示设备还包括：姿态获取单元，用于获取用户的姿态信息，并将所述姿态信息传输给所述主机；所述主机根据所述姿态信息渲染所述第一图像，并向所述头戴式显示设备传输所述第一图像，所述第一图像是所述姿态信息对应的低分辨率场景图像；所述头戴式显示设备还包括：存储单元，用于获取所述第一图像，并将所述第一图像进行存储。可选地，所述头戴式显示设备还包括：眼球追踪单元，用于追踪所述用户的眼球位置，并根据所述眼球位置计算所述用户的注视点；主观测区确定单元，用于根据所述用户的注视点确定所述用户的主观测区。可选地，所述主观测区超分辨率处理单元，具体用于使用差值算法对所述第二图像进行处理。可选地，所述数据整合单元，具体用于：对所述第三图像进行像素级重建，以获取第五图像；对所述第四图像和所述第五图像进行整合，以获取虚拟现实图像。本专利技术第三方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述方法实施例所述的虚拟现实图像的处理方法。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明图1为本专利技术实施例所提供的一种虚拟现实图像的处理方法的流程示意图；图2为本专利技术实施例所提供的另一种虚拟现实图像的处理方法的流程示意图；图3为本专利技术实施例所提供的像素级重建和超分辨率画质处理的对比示意图；图4为本专利技术实施例所提供的虚拟现实图像的处理方法的一个示例的流程示意图；图5为本专利技术实施例所提供的虚拟现实图像的处理方法的一个示例的效果示意图；图6为本专利技术实施例所提供的一种虚拟现实图像的处理系统的结构示意图；图7为本专利技术实施例所提供的一种虚拟现实图像的处理系统的一种可能的实现方式的结构示意图；以及图8为本专利技术实施例所提供的虚拟现实图像的处理系统的一个示例的结构示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参考附图描述本专利技术实施例的虚拟现实图像的处理方法及其系统。基于上述现有技术的描述可以知道，相关技术中，首先对视野可见场景进行低分辨率的渲染，再根据用户的注视点确定用户的关注区域，对用户的关注区域内的图像进行高分辨率的渲染，将两次渲染之后的图像进行融合，显示给用户。因此现有技术中对待处理图像进行处理时，图像渲染工作量过大，从而导致系统资源消耗过大，图像处理效率太低，进而引起图像显示出现卡顿。针对这一问题，本专利技术实施例提供了一种虚拟现实图像的处理方法。只对用户的主观测区对应的图像进行超分辨率画质处理，节省了图像处理过程中的系统资源消耗。图1为本专利技术实施例所提供的一种虚拟现实图像的处理方法的流程示意图。应当理解，为了实现立体影像的技术效果，虚拟现实设备提供给人的左眼和右眼的图像是不同的，左右眼图像不同，但内容处理方式相同，即对左眼图像和右眼图像采用相同的虚拟现实图像处理方法进行处理，因此只需以左眼图像为例对处理方法的实现过程进行说明。虚拟现实设备有两种类型。第一种是由主机和头戴式显示设备共同组成的一套虚拟现实设备，主机和头戴式显示设备之间通过有线/无线通信相连，主机可以是AP(WirelessAccessPoint，无线访问接入点)、PC(PersonalComputer，个人电脑)、云端服务器等用来存储和提供图像信息的设备。第二种是由头戴式显示设备单独形成一套虚拟现实设备。本专利技术实施例所提供的虚拟现实图像的处理方法在两种类型的虚拟现实本文档来自技高网...

【技术保护点】
1.一种虚拟现实图像的处理方法，其特征在于，包括：在第一图像中截取用户的主观测区对应的图像作为第二图像，并将所述第一图像中的其他部分作为第三图像；对所述第二图像进行超分辨率画质处理，并将处理后的所述第二图像作为第四图像；根据所述第三图像和所述第四图像，获取虚拟现实图像。

【技术特征摘要】
1.一种虚拟现实图像的处理方法，其特征在于，包括：在第一图像中截取用户的主观测区对应的图像作为第二图像，并将所述第一图像中的其他部分作为第三图像；对所述第二图像进行超分辨率画质处理，并将处理后的所述第二图像作为第四图像；根据所述第三图像和所述第四图像，获取虚拟现实图像。2.如权利要求1所述的方法，其特征在于，在所述在所述第一图像中截取所述用户的主观测区对应的图像作为第二图像之前，还包括：获取所述用户的姿态信息；根据所述姿态信息获取所述第一图像，其中，所述第一图像是所述用户的姿态信息对应的低分辨率场景图像；将所述第一图像进行存储。3.如权利要求2所述的方法，其特征在于，在所述将所述第一图像进行存储之后，还包括：追踪所述用户的眼球位置，并根据所述眼球位置计算所述用户的注视点；根据所述用户的注视点确定所述用户的主观测区。4.如权利要求3所述的方法，其特征在于，所述主观测区的形状包括：圆形、正方形、长方形、多边形中的一种。5.如权利要求4所述的方法，其特征在于，所述对所述第二图像进行超分辨率画质处理，包括：使用差值算法对所述第二图像进行处理。6.如权利要求1-5中任一项所述的方法，其特征在于，所述根据所述第三图像和所述第四图像，获取虚拟现实图像，包括：对所述第三图像进行像素级重建，以获取第五图像；对所述第四图像和所述第五图像进行整合，以获取虚拟现实图像。7.一种虚拟现实图像的处理系统，其特征在于，包括头戴式显示设备和主机，其中，所述主机，用于向所述头戴式显示设备传输第一图像；所述头戴式显示设备，用于在所述第一图像中截取用户的主观测区对应的图像作为第二图像，并将所述第一图像中的其他部分作为第三图像，以及对所述第二图像进行超分辨率画质处理，并将处理后的所述第二图像作为第四图像，根据所述第三图像和所述第四图像，获取...

【专利技术属性】
技术研发人员：邵继洋，毕育欣，孙剑，张浩，訾峰，
申请(专利权)人：京东方科技集团股份有限公司，北京京东方光电科技有限公司，
类型：发明
国别省市：北京,11