图像处理方法、云服务器、VR终端、存储介质技术

本发明专利技术提供了一种图像处理方法、云服务器、VR终端、存储介质，图像处理方法包括：获取第一渲染帧和第二渲染帧，其中，第一渲染帧来自于第一FOV渲染相机，第二渲染帧来自于第二FOV渲染相机；从第二渲染帧中获取差异数据，其中，差异数据来自于第二渲染帧中不与第一渲染帧重复的区域；将第一渲染帧和差异数据发送至VR终端，以使VR终端根据第一渲染帧和差异数据还原出第二渲染帧，从而根据第一渲染帧和第二渲染帧得到显示图像。根据本实施例的技术方案，能够省去重叠区域的数据传输，减少了图像处理的负载压力和传输码流，从而减少了云服务器与VR终端直接的传输时延，提高了用户体验。提高了用户体验。提高了用户体验。

【技术实现步骤摘要】
图像处理方法、云服务器、VR终端、存储介质


[0001]本专利技术涉及但不限于数据处理领域，尤其涉及一种图像处理方法、云服务器、VR终端、存储介质。

技术介绍

[0002]云化虚拟现实(Virtual Reality，VR)技术通过云端渲染技术在云端对VR应用进行渲染，可以减少VR终端的渲染和计算，不仅减少了延迟和设备功耗，还可以降低本地存储对内容清晰度的限制，降低VR终端的性能要求，是VR技术重要的发展方向。云端渲染得到的高码率音视频流之后，需要通过网络传输到VR终端，这对传输时延提出了更高的要求。云化VR中端到端延时大小与网络传输效率、云端渲染、云端编码方式以及终端解码渲染等多种因素相关。
[0003]在传统的云化VR解决方案中，通常采用全视角传输和视觉场(Field Of View，FOV)两种传输方案。全视角传输方案是云端将360度环绕的画面全部传输至VR终端，这就需要对超高分辨率进行编解码，编码延时和网络传输延时以及VR终端解码延时将成数倍增加，同时对硬件资源提出较高的要求。FOV传输方案能够根据用户视角进行实时画面渲染，只渲染和传输用户当前视角的画面，相比于全景传输方案存在较大优势，得到了较为广泛的应用。
[0004]但是，为了应用FOV传输方案，需要模拟双眼进行渲染，然后将左右眼渲染结果分别进行编码和传输到VR终端，再由VR终端进行左右眼解码上屏。由于双眼瞳距不大，左右眼渲染帧结果存在很大比例的重复渲染区域，编解码时延较高，从而影响传输时延。

技术实现思路

[0005]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0006]本专利技术实施例提供了一种图像处理方法、云服务器、VR终端、存储介质，能够减少传输的数据量，减少传输时延。
[0007]第一方面，本专利技术实施例提供了一种图像处理方法，应用于云服务器，所述云服务器与VR终端通信连接，所述云服务器配置有第一FOV渲染相机和第二FOV渲染相机，所述方法包括：
[0008]获取第一渲染帧和第二渲染帧，其中，所述第一渲染帧来自于所述第一FOV渲染相机，所述第二渲染帧来自于所述第二FOV渲染相机；
[0009]从所述第二渲染帧中获取差异数据，其中，所述差异数据来自于所述第二渲染帧中不与所述第一渲染帧重复的区域；
[0010]将所述第一渲染帧和所述差异数据发送至所述VR终端，以使所述VR终端根据所述第一渲染帧和所述差异数据还原出所述第二渲染帧，从而根据所述第一渲染帧和所述第二渲染帧得到显示图像。
[0011]第二方面，本专利技术实施例提供了一种图像处理方法，应用于VR终端，所述VR终端与云服务器通信连接，所述云服务器配置有第一FOV渲染相机和第二FOV渲染相机，所述方法包括：
[0012]获取所述云服务器发送的第一渲染帧和差异数据，其中，所述第一渲染帧来自于所述第一FOV渲染相机，所述差异数据来自于所述第二渲染帧中不与所述第一渲染帧重复的区域，所述第二渲染帧来自于所述第二FOV渲染相机；
[0013]根据所述第一渲染帧和所述差异数据还原出所述第二渲染帧；
[0014]根据所述第一渲染帧和所述第二渲染帧得到显示图像。
[0015]第三方面，本专利技术实施例提供了一种云服务器，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的图像处理方法。
[0016]第四方面，本专利技术实施例提供了一种VR终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第二方面所述的图像处理方法。
[0017]第五方面，本专利技术实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的图像处理方法，或者，执行如第二方面所述的图像处理方法。
[0018]本专利技术实施例包括：获取第一渲染帧和第二渲染帧，其中，所述第一渲染帧来自于所述第一FOV渲染相机，所述第二渲染帧来自于所述第二FOV渲染相机；从所述第二渲染帧中获取差异数据，其中，所述差异数据来自于所述第二渲染帧中不与所述第一渲染帧重复的区域；将所述第一渲染帧和所述差异数据发送至所述VR终端，以使所述VR终端根据所述第一渲染帧和所述差异数据还原出所述第二渲染帧，从而根据所述第一渲染帧和所述第二渲染帧得到显示图像。根据本实施例的技术方案，能够省去重叠区域的数据传输，减少了图像处理的负载压力和传输码流，从而减少了云服务器与VR终端直接的传输时延，提高了用户体验。
[0019]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0020]附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。
[0021]图1是本专利技术一个实施例提供的应用于云服务器的图像处理方法的流程图；
[0022]图2是本专利技术另一个实施例提供的渲染示意图；
[0023]图3是本专利技术另一个实施例提供的配置渲染相机的流程图；
[0024]图4是本专利技术另一个实施例提供的获取差异数据的流程图；
[0025]图5是本专利技术另一个实施例提供的还原第二渲染帧的流程图；
[0026]图6是本专利技术另一个实施例提供的更新姿态矩阵的流程图；
[0027]图7是本专利技术另一个实施例提供的编解码的流程图；
[0028]图8是本专利技术另一个实施例提供的应用于VR终端的图像处理方法的流程图；
[0029]图9是本专利技术另一个实施例提供的发送设备信息和姿态矩阵的流程图；
[0030]图10是本专利技术另一个实施例提供的还原第二渲染帧的流程图；
[0031]图11是本专利技术另一个实施例提供的还原第二渲染帧的流程图；
[0032]图12是本专利技术另一个实施例提供的得到第二屏幕坐标的流程图；
[0033]图13是本专利技术另一个实施例提供的得到第一设备坐标的流程图；
[0034]图14是本专利技术另一个实施例提供的更新姿态矩阵的流程图；
[0035]图15是本专利技术另一个实施例提供的编解码的流程图；
[0036]图16是本专利技术另一个实施例提供的具体示例流程图；
[0037]图17是本专利技术另一个实施例提供的云服务器的装置图；
[0038]图18是本专利技术另一个实施例提供的VR终端的装置图。
具体实施方式
[0039]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0040]需要说明的是，虽然在装置示意图中进行了功能模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，应用于云服务器，所述云服务器与VR终端通信连接，所述云服务器配置有第一FOV渲染相机和第二FOV渲染相机，所述方法包括：获取第一渲染帧和第二渲染帧，其中，所述第一渲染帧来自于所述第一FOV渲染相机，所述第二渲染帧来自于所述第二FOV渲染相机；从所述第二渲染帧中获取差异数据，其中，所述差异数据来自于所述第二渲染帧中不与所述第一渲染帧重复的区域；将所述第一渲染帧和所述差异数据发送至所述VR终端，以使所述VR终端根据所述第一渲染帧和所述差异数据还原出所述第二渲染帧，从而根据所述第一渲染帧和所述第二渲染帧得到显示图像。2.根据权利要求1所述的方法，其特征在于，在所述获取第一渲染帧和第二渲染帧之前，所述方法还包括：获取所述VR终端发送的设备信息和姿态矩阵，所述设备信息包括瞳距信息和FOV角度信息，所述姿态矩阵包括第一位姿矩阵和第二位姿矩阵；根据所述瞳距信息确定所述第一FOV渲染相机和所述第二FOV渲染相机之间的距离；根据所述第一位姿矩阵和所述FOV角度信息配置所述第一渲染相机，根据所述第二位姿矩阵和所述FOV角度信息配置所述第二渲染相机。3.根据权利要求2所述的方法，其特征在于，所述从所述第二渲染帧中获取差异数据，包括：根据所述FOV角度信息和所述瞳距信息，确定所述第一渲染帧和所述第二渲染帧的重复区域；将所述第二渲染帧中除所述重复区域以外的区域确定为差异区域；根据所述差异区域从所述第二渲染帧中获取所述差异数据。4.根据权利要求3所述的方法，其特征在于，所述将所述第一渲染帧和所述差异数据发送至所述VR终端，以使所述VR终端根据所述第一渲染帧和所述差异数据还原出所述第二渲染帧，包括，在所述第一渲染帧中添加所述重复区域的标识信息；将携带有所述标识信息的所述第一渲染帧和所述差异数据发送至所述VR终端，以使所述VR终端根据所述标识信息确定所述重复区域，根据所述重复区域从所述第一渲染帧中获取第一重复帧数据，并根据所述第一重复帧数据和所述差异数据还原出所述第二渲染帧。5.根据权利要求2所述的方法，其特征在于，在所述获取第一渲染帧和第二渲染帧之后，所述方法还包括：获取所述VR终端发送的姿态更新信息；根据所述姿态更新信息更新所述姿态矩阵。6.根据权利要求1所述的方法，其特征在于，所述将所述第一渲染帧和所述差异数据发送至所述VR终端，包括：获取所述第一渲染帧的全量帧数据，针对所述全量帧数据进行编码，得到第一编码结果；针对所述差异数据进行编码，得到第二编码结果；将所述第一编码结果和所述第二编码结果并行发送至所述VR终端，以使所述VR终端根
据所述第一编码结果解码得到所述第一渲染帧，根据所述第二编码结果解码得到所述差异数据。7.一种图像处理方法，应用于VR终端，所述VR终端与云服务器通信连接，所述云服务器配置有第一FOV渲染相机和第二FOV渲染相机，所述方法包括：获取所述云服务器发送的第一渲染帧和差异数据，其中，所述第一渲染帧来自于所述第一FOV渲染相机，所述差异数据来自于所述第二渲染帧中不与所述第一渲染帧重复的区域，所述第二渲染帧来自于所述第二FOV渲染相机；根据所述第一渲染帧和所述差异数据还原出所述第二渲染帧；根据所述第一渲染帧和所述第二渲染帧得到显示图像。8.根据权利要求7所述的方法，其特征在于，在所述获取所述云服务器发送的第一渲染帧和差异数据之前，所述方法还包括：获取设备信息和姿态矩阵，所述设备信息包括瞳距信息和FOV角度信息，所述姿态矩阵包括第一位姿矩阵和第二位姿矩阵；向所述云服务器发送所述设备信息和所述姿态矩阵，以使所述云服务器根据所述瞳距信息确定所述第一FOV渲染相机和所述第二FOV渲染相机之间的距离，...

【专利技术属性】
技术研发人员：郑征世，
申请(专利权)人：中兴通讯南京有限责任公司，
类型：发明
国别省市：