基于VR系统的图像处理方法及装置制造方法及图纸

本公开是关于基于VR系统的图像处理方法及装置。该方法包括：确定所述VR系统中的图像截取区域在虚拟相机处于目标旋转角度时对应的预设位置；获取所述VR系统中的图像显示延迟时间；根据所述图像显示延迟时间和所述对应的预设位置，对所述图像截取区域进行处理；将处理后的图像截取区域所截取的图像作为所述第i帧VR显示图像写入显存中。该技术方案，可减少了图像显示延迟时间对用户本应该看到的VR显示图像的影响，使得用户看到的第i帧VR显示图像尽可能具有小的延迟和具有一定程度的实时性。

Image processing method and device based on VR system

The present disclosure relates to an image processing method and apparatus based on a VR system. The method includes: determining the image interception area in the VR system in the virtual camera in the target rotation angle corresponding to the preset position; to obtain images in the VR system display delay time; according to the image display delay time and the corresponding preset position, to deal with the interception area of the image will be; the image processed by the interception interception area as the first I frame VR display image write memory. The technical scheme can reduce the delay time of the image display image display effect on the user should see the VR, the I frame, VR allows users to see the display image as much as possible with real-time small delay and has a certain degree of.

【技术实现步骤摘要】
基于VR系统的图像处理方法及装置
本公开VR
，尤其涉及基于VR系统的图像处理方法及装置。
技术介绍
在相关技术中，VR(VirtualReality，即虚拟现实)系统在用户佩戴好VR头盔后会按照与屏幕刷新频率对应的预设时间间隔(即该屏幕刷新频率的倒数)采集当前需要显示的VR图像，进而将VR图像通过VR头盔中的屏幕进行显示，以使用户完成VR体验，而具体的图像显示方案为：VR系统在用户佩戴好VR头盔后，确定需显示的第i帧VR图像对应的头部转动角度(即虚拟相机的旋转角度)，并通过该虚拟相机拍摄该头部转动角度所朝向的观看方向对应的画面，然后通过VR系统中位于所拍摄的画面的指定位置(如正中间)的图像截取区域将所拍摄的画面中正中间部分的与屏幕尺寸适配的画面截取出来作为第i帧VR图像写入至显存中，进而由屏幕在进行第i次刷新(即第i个预设时间间隔)时从显存中读取该第i帧VR图像，并渲染在屏幕上，以呈现给用户，从而让用户观看到在该头部转动角度下自己在虚拟世界中看到的画面，进而完成VR体验；但屏幕在刷新(即渲染画面)时会消耗一定的时间，而在屏幕渲染画面的这一段时间内用户的头部还有可能会转动，且一旦转动会导致用户观看到的画面再次有所变化，即用户应该看到的画面相比于之前已存储至显存的画面有所变化，因而，相关技术中的这种在截取VR画面并存储至显存时并未考虑到屏幕延迟的VR图像显示方案无疑会导致用户看到的VR画面具有延迟性不够实时。
技术实现思路
本公开实施例提供了基于VR系统的图像处理方法及装置。所述技术方案如下：根据本公开实施例的第一方面，提供一种基于VR系统的图像处理方法，包括：确定所述VR系统中的图像截取区域在虚拟相机处于目标旋转角度时对应的预设位置，其中，所述虚拟相机为所述VR系统中的虚拟相机，所述i为正整数；获取所述VR系统中的图像显示延迟时间；根据所述图像显示延迟时间和所述对应的预设位置，对所述图像截取区域进行处理；将处理后的图像截取区域所截取的图像作为所述第i帧VR显示图像写入显存中。在一个实施例中，所述获取所述VR系统中的图像显示延迟时间，包括：根据所述VR系统中显示屏的屏幕刷新频率，分别确定所述显示屏渲染左半屏图像和右半屏图像时所需消耗的时间；根据所述显示屏渲染左半屏图像和右半屏图像时所需消耗的时间，分别确定所述第i帧VR显示图像的左半部分图像和右半部分图像的左延迟时间和右延迟时间。在一个实施例中，所述图像截取区域包括左半屏图像的截取区域和右半屏图像的截取区域；所述根据所述图像显示延迟时间和所述对应的预设位置，对所述图像截取区域进行处理，包括：根据所述左延迟时间、所述右延迟时间和所述对应的预设位置，分别对所述左半屏图像的截取区域和右半屏图像的截取区域进行处理，以得到处理后的所述图像截取区域。在一个实施例中，所述根据所述左延迟时间、所述右延迟时间和所述对应的预设位置，分别对所述左半屏图像的截取区域和右半屏图像的截取区域进行处理，包括：获取所述虚拟相机的旋转角速度；根据所述旋转角速度，分别预测所述虚拟相机在所述左延迟时间内的第一旋转角度和所述虚拟相机在所述右延迟时间内的第二旋转角度；根据所述第一旋转角度、所述第二旋转角度和所述对应的预设位置，分别对所述左半屏图像的截取区域和右半屏图像的截取区域进行处理。在一个实施例中，所述根据所述第一旋转角度、所述第二旋转角度和所述对应的预设位置，分别对所述左半屏图像的截取区域和右半屏图像的截取区域进行处理，包括：获取所述左半屏图像的截取区域在目标旋转角度下对应的目标旋转矩阵和所述右半屏图像的截取区域在目标旋转角度下对应的目标旋转矩阵；根据所述左半屏图像的截取区域的目标旋转矩阵和所述第一旋转角度，获取所述第一旋转角度对应的第一旋转矩阵；根据所述右半屏图像的截取区域的目标旋转矩阵和所述第二旋转角度，获取所述第二旋转角度对应的第二旋转矩阵；根据所述第一旋转矩阵的逆矩阵和所述左半屏图像的截取区域的目标旋转矩阵，确定所述左半屏图像的截取区域对应的左变形矩阵；根据所述第二旋转矩阵的逆矩阵和所述右半屏图像的截取区域的目标旋转矩阵，确定所述右半屏图像的截取区域对应的右变形矩阵；在基于所述对应的预设位置的基础上，分别根据所述左变形矩阵对所述左半屏图像的截取区域和所述右变形矩阵对所述右半屏图像的截取区域进行处理，得到处理后的左半屏图像的截取区域和处理后的右半屏图像的截取区域；所述将处理后的图像截取区域所截取的图像作为所述第i帧VR显示图像写入显存中，包括：根据处理后的左半屏图像的截取区域从所述虚拟相机在所述目标旋转角度下拍摄的目标待截取VR图像中截取第一图像，并将所述第一图像作为所述第i帧VR显示图像的左半部分图像；根据处理后的右半屏图像的截取区域从所述虚拟相机在所述目标旋转角度下拍摄的目标待截取VR图像中截取第二图像，并将所述第二图像作为所述第i帧VR显示图像的右半部分图像，其中，所述处理包括旋转和/或处理，其中，所述目标待截取VR图像包括第i帧待截取VR图像或者第i-m帧待截取VR图像，其中，m为小于或等于i的正整数。在一个实施例中，所述对应的预设位置包括：所述图像截取区域位于所述虚拟相机在所述目标旋转角度下拍摄到的目标待截取VR图像的正中间位置时的位置坐标，其中，所述目标待截取VR图像包括第i帧待截取VR图像或者第i-m帧待截取VR图像。在一个实施例中，所述VR系统包括：VR头盔和内置于所述VR头盔的移动设备。根据本公开实施例的第二方面，提供一种基于VR系统的图像处理装置，包括：确定模块，用于确定所述VR系统中的图像截取区域在虚拟相机处于目标旋转角度时对应的预设位置，其中，所述虚拟相机为所述VR系统中的虚拟相机，所述i为正整数；获取模块，用于获取所述VR系统中的图像显示延迟时间；处理模块，用于根据所述图像显示延迟时间和所述对应的预设位置，对所述图像截取区域进行处理；写入模块，用于将处理后的图像截取区域所截取的图像作为所述第i帧VR显示图像写入显存中。在一个实施例中，所述获取模块包括：渲染时间确定子模块，用于根据所述VR系统中显示屏的屏幕刷新频率，分别确定所述显示屏渲染左半屏图像和右半屏图像时所需消耗的时间；延迟时间确定子模块，用于根据所述显示屏渲染左半屏图像和右半屏图像时所需消耗的时间，分别确定所述第i帧VR显示图像的左半部分图像和右半部分图像的左延迟时间和右延迟时间。在一个实施例中，所述图像截取区域包括左半屏图像的截取区域和右半屏图像的截取区域；所述处理模块包括：处理子模块，用于根据所述左延迟时间、所述右延迟时间和所述对应的预设位置，分别对所述左半屏图像的截取区域和右半屏图像的截取区域进行处理，以得到处理后的所述图像截取区域。在一个实施例中，所述处理子模块包括：获取单元，用于获取所述虚拟相机的旋转角速度；预测单元，用于根据所述旋转角速度，分别预测所述虚拟相机在所述左延迟时间内的第一旋转角度和所述虚拟相机在所述右延迟时间内的第二旋转角度；处理单元，用于根据所述第一旋转角度、所述第二旋转角度和所述对应的预设位置，分别对所述左半屏图像的截取区域和右半屏图像的截取区域进行处理。在一个实施例中，所述处理单元包括：第一获取子单元，用于获取所述左半屏图像的截取区域在目标旋转角度下对应的本文档来自技高网...

【技术保护点】
一种基于虚拟现实VR系统的图像处理方法，其特征在于，包括：确定所述VR系统中的图像截取区域在虚拟相机处于目标旋转角度时对应的预设位置，其中，所述虚拟相机为所述VR系统中的虚拟相机，所述i为正整数；获取所述VR系统中的图像显示延迟时间；根据所述图像显示延迟时间和所述对应的预设位置，对所述图像截取区域进行处理；将处理后的图像截取区域所截取的图像作为所述第i帧VR显示图像写入显存中。

【技术特征摘要】
1.一种基于虚拟现实VR系统的图像处理方法，其特征在于，包括：确定所述VR系统中的图像截取区域在虚拟相机处于目标旋转角度时对应的预设位置，其中，所述虚拟相机为所述VR系统中的虚拟相机，所述i为正整数；获取所述VR系统中的图像显示延迟时间；根据所述图像显示延迟时间和所述对应的预设位置，对所述图像截取区域进行处理；将处理后的图像截取区域所截取的图像作为所述第i帧VR显示图像写入显存中。2.根据权利要求1所述的方法，其特征在于，所述获取所述VR系统中的图像显示延迟时间，包括：根据所述VR系统中显示屏的屏幕刷新频率，分别确定所述显示屏渲染左半屏图像和右半屏图像时所需消耗的时间；根据所述显示屏渲染左半屏图像和右半屏图像时所需消耗的时间，分别确定所述第i帧VR显示图像的左半部分图像和右半部分图像的左延迟时间和右延迟时间。3.根据权利要求2所述的方法，其特征在于，所述图像截取区域包括左半屏图像的截取区域和右半屏图像的截取区域；所述根据所述图像显示延迟时间和所述对应的预设位置，对所述图像截取区域进行处理，包括：根据所述左延迟时间、所述右延迟时间和所述对应的预设位置，分别对所述左半屏图像的截取区域和右半屏图像的截取区域进行处理，以得到处理后的所述图像截取区域。4.根据权利要求3所述的方法，其特征在于，所述根据所述左延迟时间、所述右延迟时间和所述对应的预设位置，分别对所述左半屏图像的截取区域和右半屏图像的截取区域进行处理，包括：获取所述虚拟相机的旋转角速度；根据所述旋转角速度，分别预测所述虚拟相机在所述左延迟时间内的第一旋转角度和所述虚拟相机在所述右延迟时间内的第二旋转角度；根据所述第一旋转角度、所述第二旋转角度和所述对应的预设位置，分别对所述左半屏图像的截取区域和右半屏图像的截取区域进行处理。5.根据权利要求4所述的方法，其特征在于，所述根据所述第一旋转角度、所述第二旋转角度和所述对应的预设位置，分别对所述左半屏图像的截取区域和右半屏图像的截取区域进行处理，包括：获取所述左半屏图像的截取区域在目标旋转角度下对应的目标旋转矩阵和所述右半屏图像的截取区域在目标旋转角度下对应的目标旋转矩阵；根据所述左半屏图像的截取区域的目标旋转矩阵和所述第一旋转角度，获取所述第一旋转角度对应的第一旋转矩阵；根据所述右半屏图像的截取区域的目标旋转矩阵和所述第二旋转角度，获取所述第二旋转角度对应的第二旋转矩阵；根据所述第一旋转矩阵的逆矩阵和所述左半屏图像的截取区域的目标旋转矩阵，确定所述左半屏图像的截取区域对应的左变形矩阵；根据所述第二旋转矩阵的逆矩阵和所述右半屏图像的截取区域的目标旋转矩阵，确定所述右半屏图像的截取区域对应的右变形矩阵；在基于所述对应的预设位置的基础上，分别根据所述左变形矩阵对所述左半屏图像的截取区域和所述右变形矩阵对所述右半屏图像的截取区域进行处理，得到处理后的左半屏图像的截取区域和处理后的右半屏图像的截取区域；所述将处理后的图像截取区域所截取的图像作为所述第i帧VR显示图像写入显存中，包括：根据处理后的左半屏图像的截取区域从所述虚拟相机在所述目标旋转角度下拍摄的目标待截取VR图像中截取第一图像，并将所述第一图像作为所述第i帧VR显示图像的左半部分图像；根据处理后的右半屏图像的截取区域从所述虚拟相机在所述目标旋转角度下拍摄的目标待截取VR图像中截取第二图像，并将所述第二图像作为所述第i帧VR显示图像的右半部分图像，其中，所述处理包括旋转和/或处理，其中，所述目标待截取VR图像包括第i帧待截取VR图像或者第i-m帧待截取VR图像，其中，m为小于或等于i的正整数。6.根据权利要求至1至5中任一项所述的方法，其特征在于，所述对应的预设位置包括：所述图像截取区域位于所述虚拟相机在所述目标旋转角度下拍摄到的目标待截取VR图像的正中间位置时的位置坐标，其中，所述目标待截取VR图像包括第i帧待截取VR图像或者第i-m帧待截取VR图像。7.根据权利要求1至5中任一项所述的方法，其特征在于，所述VR系统包括：VR头盔和内置于所述VR头盔的移动设备。8.一种基于VR系统的图像处理装置，其特征在于，包括：确定模块，用于确定所述VR系统中的图像截取区域在虚拟相机处于目标旋转角度时对应的预设位置，其中，所述虚拟相机为所述VR系统中的虚拟相机，所述i...

【专利技术属性】
技术研发人员：李政，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京,11