一种应用于VR场景下的图像处理方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种应用于VR场景下的图像处理方法、装置及电子设备，其中该方法包括：获取第一时刻用户的第一头部姿态信息，根据第一头部姿态信息采用虚拟摄像机拍摄获取对应的第一图像信息；根据第一头部姿态信息生成第一头部姿态矩阵，根据第一头部姿态矩阵，将第一图像信息进行缓存处理；获取在显示屏幕上显示目标图像的时刻用户的第二头部姿态信息所对应的第二头部姿态矩阵；根据第一头部姿态矩阵、第二头部姿态矩阵以及经过缓存处理的第一图像信息，生成在显示屏幕上显示的目标图像。本发明专利技术实施例可以得到符合用户当前头部姿态的目标图像，同时可以保证画面帧率的一致性以及显示的及时性，解决画面抖动和重影的弊端，提高用户的观看体验。

An Image Processing Method, Device and Electronic Equipment for VR Scene

The invention provides an image processing method, device and electronic equipment applied in VR scene. The method includes: acquiring the first head posture information of the user at the first moment, acquiring the corresponding first image information by using virtual camera according to the first head posture information, generating the first head posture matrix according to the first head posture information, and according to the first head posture. The first image information is cached by the state matrix; the second head posture matrix corresponding to the second head posture information of the user at the time of displaying the target image on the display screen is acquired; and the target image displayed on the display screen is generated according to the first head posture matrix, the second head posture matrix and the first image information processed by the buffer. The embodiment of the present invention can obtain the target image which conforms to the user's current head posture, at the same time can ensure the consistency of frame rate of the picture and the timeliness of display, solve the drawbacks of picture jitter and shadow, and improve the user's viewing experience.

【技术实现步骤摘要】
一种应用于VR场景下的图像处理方法、装置及电子设备
本专利技术涉及图像处理
，尤其涉及一种应用于VR场景下的图像处理方法、装置及电子设备。
技术介绍
在VR(VirtualReality，虚拟现实/灵境技术)场景渲染显示过程中，由于硬件的瓶颈，会出现画面帧率不一致，显示延时等问题。下面通过对常规的VR渲染流程进行介绍来说明现有的VR场景所存在的问题。首先通过传感器采集用户头部信息并传送到中央处理器，中央处理器根据获取的用户头部信息计算当前时段用户头部的姿态，根据用户头部当前姿态渲染当前的虚拟场景，并生成相关图形处理器指令，传递到图形处理器执行。图形处理器执行相关渲染指令，并生成用来显示的目标图像。图形处理器和显示设备合作，在下一个垂直同步的起点，扫描图形处理器生成图像并显示到显示器。上述渲染流程，是在图形处理器和中央处理器运算资源足够充裕的情况下发生的。这种情况下，显示器可以按照预期在每一个垂直同步的时间点获取一个最新的图像结果，并显示到屏幕上，此时用户能感知到一个比较舒适的VR画面，但是即使在这个比较理想的状态下，如果屏幕的刷新率比较低，还是会引起较大的显示延时。如当中央处理器开始渲染VR画面的时候，使用的用户姿态是第一时间点采集的，而显示器扫描并转换成用户可观看的画面的时间点是第二时间点。在第一时间点至第二时间点的期间内用户的姿态可能已经发生了比较大的变化。下面再来看一个不理想的状态，当中央处理器和图像处理器渲染出现瓶颈的情况下，在显示器扫描最新图像并显示到屏幕上时会出现问题，由于中央处理器和图像处理器的运算过于复杂，在下一个垂直同步时间点到来的时候，并没有完成当前帧的渲染，屏幕不能显示最新的一帧画面，只能重复显示上一次的渲染结果，出现跳帧，这将导致两个问题同时存在，画面帧率不一致，画面显示存在较大的延时。以上为现有的VR场景所存在的问题，用户在体验存在画面帧率不一致、显示延时问题的VR场景时，能明显感觉到画面存在抖动和重影的弊端，在长时间进行观看时，用户会出现眩晕，给用户带来不佳的观看体验。
技术实现思路
本专利技术实施例提供一种应用于VR场景下的图像处理方法、装置及电子设备，以解决现有的VR场景由于硬件瓶颈所导致的画面帧率不一致显示延迟，影响用户观看体验的问题。本专利技术实施例提供一种应用于VR场景下的图像处理方法，包括：获取第一时刻用户的第一头部姿态信息，根据所述第一头部姿态信息采用虚拟摄像机拍摄获取对应的第一图像信息；根据所述第一头部姿态信息生成第一头部姿态矩阵，根据所述第一头部姿态矩阵，将所述第一图像信息进行缓存处理；获取在显示屏幕上显示目标图像的时刻用户的第二头部姿态信息所对应的第二头部姿态矩阵；根据所述第一头部姿态矩阵、所述第二头部姿态矩阵以及经过缓存处理的所述第一图像信息，生成在所述显示屏幕上显示的目标图像。其中，所述获取第一时刻用户的第一头部姿态信息，根据所述第一头部姿态信息采用虚拟摄像机拍摄获取对应的第一图像信息的步骤，包括：根据地磁传感器、加速度传感器以及陀螺仪在第一时刻采集的用户头部姿态数据信息，融合出用户在第一时刻所对应的第一头部姿态信息；根据所述第一头部姿态信息，确定所述虚拟摄像机所对应的拍摄方向；获取所述虚拟摄像机在所对应的拍摄方向上所拍摄的第一图像信息。其中，所述根据所述第一头部姿态信息生成第一头部姿态矩阵，根据所述第一头部姿态矩阵，将所述第一图像信息进行缓存处理的步骤，包括：根据所述第一头部姿态信息计算所对应的第一头部姿态矩阵；根据所述第一头部姿态矩阵、模型矩阵、视图矩阵以及投影矩阵，计算第一变换矩阵；根据所述第一变换矩阵，将所述第一图像信息渲染至离屏纹理上进行缓存。其中，所述根据所述第一头部姿态矩阵、模型矩阵、视图矩阵以及投影矩阵，计算第一变换矩阵的步骤，包括：计算所述模型矩阵、所述视图矩阵、所述第一头部姿态矩阵以及所述投影矩阵的乘积，获取所述第一变换矩阵。其中，所述根据所述第一变换矩阵，将所述第一图像信息渲染至离屏纹理上进行缓存的步骤，包括：根据所述第一变换矩阵，对所述第一图像信息中的物体进行顶点坐标变换，生成所述第一图像信息所对应的像素点信息；根据所述第一图像信息所对应的像素点信息进行图像处理，将处理后的所述第一图像信息进行离屏缓存。其中，所述获取在显示屏幕上显示目标图像的时刻用户的第二头部姿态信息所对应的第二头部姿态矩阵的步骤，包括：在显示所述目标图像的时刻，根据地磁传感器、加速度传感器和陀螺仪采集的用户头部姿态数据信息，融合出用户当前的第二头部姿态信息；根据所述第二头部姿态信息计算所对应的第二头部姿态矩阵。其中，所述根据所述第一头部姿态矩阵、所述第二头部姿态矩阵以及经过缓存处理的所述第一图像信息，生成在所述显示屏幕上显示的目标图像的步骤，包括：将根据所述第一头部姿态矩阵进行缓存处理的第一图像信息，映射至所述虚拟摄像机远截面上，获取映射图像信息；根据所述第一头部姿态矩阵的逆矩阵、所述第二头部姿态矩阵以及投影矩阵，生成第二变换矩阵；根据所述第二变换矩阵，对所述映射图像信息进行重投影计算，生成在所述显示屏幕上显示的所述目标图像。其中，所述根据所述第一头部姿态矩阵的逆矩阵、所述第二头部姿态矩阵以及投影矩阵，生成第二变换矩阵的步骤，包括：计算所述第一头部姿态矩阵的逆矩阵、所述第二头部姿态矩阵以及所述投影矩阵的乘积，获取所述第二变换矩阵。本专利技术实施例还提供一种应用于VR场景下的图像处理装置，包括：第一获取模块，用于获取第一时刻用户的第一头部姿态信息，根据所述第一头部姿态信息采用虚拟摄像机拍摄获取对应的第一图像信息；处理模块，用于根据所述第一头部姿态信息生成第一头部姿态矩阵，根据所述第一头部姿态矩阵，将所述第一图像信息进行缓存处理；第二获取模块，用于获取在显示屏幕上显示目标图像的时刻用户的第二头部姿态信息所对应的第二头部姿态矩阵；生成模块，用于根据所述第一头部姿态矩阵、所述第二头部姿态矩阵以及经过缓存处理的所述第一图像信息，生成在所述显示屏幕上显示的目标图像。其中，所述第一获取模块包括：第一融合子模块，用于根据地磁传感器、加速度传感器以及陀螺仪，在第一时刻采集的用户头部姿态数据信息，融合出用户在第一时刻所对应的第一头部姿态信息；确定子模块，用于根据所述第一头部姿态信息，确定所述虚拟摄像机所对应的拍摄方向；第一获取子模块，用于获取所述虚拟摄像机在所对应的拍摄方向上所拍摄的第一图像信息。其中，所述处理模块包括：第一计算子模块，用于根据所述第一头部姿态信息计算所对应的第一头部姿态矩阵；第二计算子模块，用于根据所述第一头部姿态矩阵、模型矩阵、视图矩阵以及投影矩阵，计算第一变换矩阵；缓存子模块，用于根据所述第一变换矩阵，将所述第一图像信息渲染至离屏纹理上进行缓存。其中，所述第二计算子模块进一步用于：计算所述模型矩阵、所述视图矩阵、所述第一头部姿态矩阵以及所述投影矩阵的乘积，获取所述第一变换矩阵。其中，所述缓存子模块进一步用于：根据所述第一变换矩阵，对所述第一图像信息中的物体进行顶点坐标变换，生成所述第一图像信息所对应的像素点信息；根据所述第一图像信息所对应的像素点信息进行图像处理，将处理后的所述第一图像信息进行离屏缓存。其中，所述第二获取模块包括：第二融合子模块，用于在显示本文档来自技高网...

【技术保护点】
1.一种应用于VR场景下的图像处理方法，其特征在于，包括：获取第一时刻用户的第一头部姿态信息，根据所述第一头部姿态信息采用虚拟摄像机拍摄获取对应的第一图像信息；根据所述第一头部姿态信息生成第一头部姿态矩阵，根据所述第一头部姿态矩阵，将所述第一图像信息进行缓存处理；获取在显示屏幕上显示目标图像的时刻用户的第二头部姿态信息所对应的第二头部姿态矩阵；根据所述第一头部姿态矩阵、所述第二头部姿态矩阵以及经过缓存处理的所述第一图像信息，生成在所述显示屏幕上显示的目标图像。

【技术特征摘要】
1.一种应用于VR场景下的图像处理方法，其特征在于，包括：获取第一时刻用户的第一头部姿态信息，根据所述第一头部姿态信息采用虚拟摄像机拍摄获取对应的第一图像信息；根据所述第一头部姿态信息生成第一头部姿态矩阵，根据所述第一头部姿态矩阵，将所述第一图像信息进行缓存处理；获取在显示屏幕上显示目标图像的时刻用户的第二头部姿态信息所对应的第二头部姿态矩阵；根据所述第一头部姿态矩阵、所述第二头部姿态矩阵以及经过缓存处理的所述第一图像信息，生成在所述显示屏幕上显示的目标图像。2.根据权利要求1所述的方法，其特征在于，所述获取第一时刻用户的第一头部姿态信息，根据所述第一头部姿态信息采用虚拟摄像机拍摄获取对应的第一图像信息的步骤，包括：根据地磁传感器、加速度传感器以及陀螺仪在第一时刻采集的用户头部姿态数据信息，融合出用户在第一时刻所对应的第一头部姿态信息；根据所述第一头部姿态信息，确定所述虚拟摄像机所对应的拍摄方向；获取所述虚拟摄像机在所对应的拍摄方向上所拍摄的第一图像信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一头部姿态信息生成第一头部姿态矩阵，根据所述第一头部姿态矩阵，将所述第一图像信息进行缓存处理的步骤，包括：根据所述第一头部姿态信息计算所对应的第一头部姿态矩阵；根据所述第一头部姿态矩阵、模型矩阵、视图矩阵以及投影矩阵，计算第一变换矩阵；根据所述第一变换矩阵，将所述第一图像信息渲染至离屏纹理上进行缓存。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一头部姿态矩阵、模型矩阵、视图矩阵以及投影矩阵，计算第一变换矩阵的步骤，包括：计算所述模型矩阵、所述视图矩阵、所述第一头部姿态矩阵以及所述投影矩阵的乘积，获取所述第一变换矩阵。5.根据权利要求3所述的方法，其特征在于，所述根据所述第一变换矩阵，将所述第一图像信息渲染至离屏纹理上进行缓存的步骤，包括：根据所述第一变换矩阵，对所述第一图像信息中的物体进行顶点坐标变换，生成所述第一图像信息所对应的像素点信息；根据所述第一图像信息所对应的像素点信息进行图像处理，将处理后的所述第一图像信息进行离屏缓存。6.根据权利要求1所述的方法，其特征在于，所述获取在显示屏幕上显示目标图像的时刻用户的第二头部姿态信息所对应的第二头部姿态矩阵的步骤，包括：在显示所述目标图像的时刻，根据地磁传感器、加速度传感器和陀螺仪采集的用户头部姿态数据信息，融合出用户当前的第二头部姿态信息；根据所述第二头部姿态信息计算所对应的第二头部姿态矩阵。7.根据权利要求1所述的方法，其特征在于，所述根据所述第一头部姿态矩阵、所述第二头部姿态矩阵以及经过缓存处理的所述第一图像信息，生成在所述显示屏幕上显示的目标图像的步骤，包括：将根据所述第一头部姿态矩阵进行缓存处理的第一图像信息，映射至所述虚拟摄像机远截面上，获取映射图像信息；根据所述第一头部姿态矩阵的逆矩阵、所述第二头部姿态矩阵以及投影矩阵，生成第二变换矩阵；根据所述第二变换矩阵，对所述映射图像信息进行重投影计算，生成在所述显示屏幕上显示的所述目标图像。8.根据权利要求7所述的方法，其特征在于，所述根据所述第一头部姿态矩阵的逆矩阵、所述第二头部姿态矩阵以及投影矩阵，生成第二变换矩阵的步骤，包括：计算所述第一头部姿态矩阵的逆矩阵、所述第二头部姿态矩阵以及所述投影矩阵的乘积，获取所述第二变换矩阵。9.一种应用于VR场景下的图像处理装置，其特征在于，包括：第一获取模块，用于获取第一时刻用户的第一头部姿态信息，根据所述第一头部姿态信息采用虚拟摄像机拍摄获取对应的第一图像...

【专利技术属性】
技术研发人员：杨雷，
申请(专利权)人：深圳超多维科技有限公司，
类型：发明
国别省市：广东,44