一种头戴显示设备及图像渲染方法技术

本发明专利技术公开了一种头戴显示设备及图像渲染方法，包括：图形处理器GPU，用于对待显示场景进行场景绘制，生成左眼纹理数据和右眼纹理数据；硬件合成模块，用于根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成，生成当前帧图像。上述方案中，通过将场景绘制和纹理合成分配在不同的硬件模块上执行，由专用的硬件合成模块执行纹理合成任务，从而解决现有技术中存在的由于GPU纹理合成不及时导致屏幕撕裂的技术问题，保证纹理合成任务的实时性。

A display device for head wear and a method of image rendering

The present invention discloses a head wearing display device and image rendering method, including: a graphics processor GPU, used for scene rendering of a display scene, generating left eye texture data and right eye texture data. A hardware synthesis module is used for texture synthesis according to the left eye texture data and the right eye texture data. The current frame image. In the above scheme, by assigning scene rendering and texture synthesis to different hardware modules, the special hardware synthesis module is used to execute the texture synthesis task, so as to solve the technical problem that the GPU texture synthesis does not cause the screen tearing in time, so as to ensure the real-time of the texture synthesis task.

【技术实现步骤摘要】
一种头戴显示设备及图像渲染方法
本专利技术涉及可穿戴头戴显示设备领域，尤其涉及一种头戴显示设备及图像渲染方法。
技术介绍
VR(VirtualReality；虚拟现实)显示或者AR(AugmentedReality；增强现实)显示主要分为两个步骤：第一步是通过GPU(GraphicsProcessingUnit；图形处理器)进行离线的场景渲染，即通过GPU将需要显示的场景绘制到左右眼纹理上；第二步是将渲染后的纹理提交给GPU进行在线的纹理合成，同时进行反畸变处理和异步时间扭曲Timewarp，最终合成显示在屏幕上。一般来讲，上述两个步骤通过复用GPU实现，由于场景绘制属于比较繁琐的任务，而纹理合成又属于实时任务，因此，可以通过设置不同的优先级来区分这两个任务，给场景绘制任务正常的优先级，给纹理合成任务更高的优先级，从而保证在需要将左眼纹理数据和右眼纹理数据合成到屏幕时，可以使得GPU及时从场景绘制任务中切换到纹理合成任务，从而将左眼纹理数据和右眼纹理数据合成到屏幕缓存中进行显示。然而，复用GPU通常会导致GPU负载过高，在一些对实时性要求比较高的场景下，需要GPU和显示控制器同时读写屏幕缓存中的数据，如果GPU纹理合成不及时，可能会出现GPU向屏幕缓存写入数据和显示控制器从屏幕缓存读取数据的时序出错，导致屏幕撕裂(即，显示器把两帧或更多帧显示在同一画面)，可见，现有技术中需要一种新的渲染方式，以保证纹理合成任务的实时性。
技术实现思路
本专利技术的目的是提供一种头戴显示设备及图像渲染方法，用于解决现有技术中存在的由于GPU纹理合成不及时导致屏幕撕裂的技术问题。为了实现上述专利技术目的，本专利技术实施例第一方面提供一种头戴显示设备，包括：图形处理器GPU，用于对待显示场景进行场景绘制，生成左眼纹理数据和右眼纹理数据；硬件合成模块，用于根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成，生成当前帧图像。可选的，所述头戴显示设备还包括显示控制器；所述显示控制器用于产生垂直同步VSYNC信号；所述硬件合成模块用于读取所述VSYNC信号，并根据所述VSYNC信号进行纹理合成。可选的，所述头戴显示设备还包括中央处理器CPU；所述CPU用于向所述硬件合成模块发送左眼纹理编号和右眼纹理编号；所述硬件合成模块用于根据所述左眼纹理编号和所述右眼纹理编号，获得所述左眼纹理数据和所述右眼纹理数据的缓存地址，并基于所述缓存地址，从所述头戴显示设备的纹理缓存中读取所述左眼纹理数据和所述右眼纹理数据。可选的，所述头戴显示设备还包括传感器；所述传感器用于在用户佩戴所述头戴显示设备时，检测用于表征用户的头部转动的方向信息；所述硬件合成模块用于根据所述方向信息，对所述左眼纹理数据和所述右眼纹理数据进行方向校正，并根据校正后的左眼纹理数据和右眼纹理数据合成中间帧图像。可选的，所述头戴显示设备还包括传感器；所述传感器用于在用户佩戴所述头戴显示设备时，检测用于表征用户在空间中的位置的用户位置信息；所述硬件合成模块用于根据所述用户位置信息和物体在所述当前帧图像中的图像位置信息，对所述物体在下一帧图像中的位置进行估计，生成中间帧图像。可选的，所述硬件合成模块用于确定所述当前帧图像中的运动物体，以及所述运动物体在包括所述当前帧图像在内的相邻N帧图像中的运动轨迹，并根据所述运动轨迹对所述运动物体在下一帧图像中的位置进行估计，生成中间帧图像，N为大于等于2的正整数。可选的，所述硬件合成模块还用于根据所述头戴显示设备的透镜信息对所述左眼纹理数据和所述右眼纹理数据进行畸变校正，并根据畸变校正后的左眼纹理数据和右眼纹理数据合成所述当前帧图像。可选的，所述硬件合成模块为现场可编程门阵列FPGA、专用集成电路ASIC或另一GPU。本专利技术实施例第二方面提供一种图像渲染方法，包括：头戴显示设备的图形处理器GPU对待显示场景进行场景绘制，生成左眼纹理数据和右眼纹理数据；所述头戴显示设备的硬件合成模块根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成，生成当前帧图像。可选的，所述方法还包括：所述硬件合成模块读取所述头戴显示设备的垂直同步VSYNC信号，并根据所述VSYNC信号进行纹理合成。本专利技术实施例中的一个或者多个技术方案，至少具有如下技术效果或者优点：本专利技术实施例的方案中，头戴显示设备包括GPU和硬件合成模块，GPU用于对待显示场景进行场景绘制，生成左眼纹理数据和右眼纹理数据，硬件合成模块用于对左眼纹理数据和右眼纹理数据进行纹理合成，生成当前帧图像，通过将场景绘制和纹理合成分配在不同的硬件模块上执行，由专用的硬件合成模块执行纹理合成任务，避免了场景绘制任务和纹理合成任务复用GPU，降低了GPU的负载，从而解决现有技术中存在的由于GPU纹理合成不及时导致屏幕撕裂的技术问题，保证纹理合成任务的实时性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：图1为本专利技术实施例提供的头戴显示设备的功能模块示意图；图2为本专利技术实施例提供的头戴显示设备的另一功能模块示意图；图3为本专利技术实施例提供的图像渲染方法的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例中，头戴显示设备(英文全称：HeadMountDisplay；英文简称：HMD)通过向眼睛发送光学信号，可以实现VR、AR(AugmentedReality；增强现实)、MR(Mixreality；混合现实)等不同效果，例如：头戴显示设备可以为VR一体机、穿透式HMD等等。请参考图1，图1为本专利技术实施例提供的头戴显示设备的功能模块示意图，该头戴显示设备包括：图形处理器GPU10，用于对待显示场景进行场景绘制，生成左眼纹理数据和右眼纹理数据；硬件合成模块11，用于根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成，生成当前帧图像。具体的，GPU10根据头戴显示设备的传感器检测到的最新的方向信息，绘制待显示场景，生成左眼纹理数据和右眼纹理数据，传感器可以为陀螺仪、加速度计和磁力计中的一种或多种，头戴显示设备通过融合三种传感器的数据来得出最终的方向信息，该方向信息用于表征用户头部的转动。然后，GPU10将绘制结果，即左眼纹理数据和右眼纹理数据输出到头戴显示设备的纹理缓存中，使得硬件合成模块11在需要进行纹理合成时，从纹理缓存中读取左眼纹理数据和右眼为纹理数据，进行纹理合成，生成当前帧图像，并将当前帧图像写入头戴显示设备的帧缓冲存储器中，然后，头戴显示设备的显示控制器从帧缓冲存储器中取出数据，并显示在屏幕上。其中，硬件合成模块11可以为FPGA(Field－ProgrammableGateArray；现场可编程门阵列)，ASIC(ApplicationSpecificIntegratedC本文档来自技高网...

【技术保护点】
1.一种头戴显示设备，其特征在于，包括：图形处理器GPU，用于对待显示场景进行场景绘制，生成左眼纹理数据和右眼纹理数据；硬件合成模块，用于根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成，生成当前帧图像。

【技术特征摘要】
1.一种头戴显示设备，其特征在于，包括：图形处理器GPU，用于对待显示场景进行场景绘制，生成左眼纹理数据和右眼纹理数据；硬件合成模块，用于根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成，生成当前帧图像。2.如权利要求1所述的头戴显示设备，其特征在于，所述头戴显示设备还包括显示控制器；所述显示控制器用于产生垂直同步VSYNC信号；所述硬件合成模块用于读取所述VSYNC信号，并根据所述VSYNC信号进行纹理合成。3.如权利要求2所述的头戴显示设备，其特征在于，所述头戴显示设备还包括中央处理器CPU；所述CPU用于向所述硬件合成模块发送左眼纹理编号和右眼纹理编号；所述硬件合成模块用于根据所述左眼纹理编号和所述右眼纹理编号，获得所述左眼纹理数据和所述右眼纹理数据的缓存地址，并基于所述缓存地址，从所述头戴显示设备的纹理缓存中读取所述左眼纹理数据和所述右眼纹理数据。4.如权利要求1-3中任一项所述的头戴显示设备，其特征在于，所述头戴显示设备还包括传感器；所述传感器用于在用户佩戴所述头戴显示设备时，检测用于表征用户的头部转动的方向信息；所述硬件合成模块用于根据所述方向信息，对所述左眼纹理数据和所述右眼纹理数据进行方向校正，并根据校正后的左眼纹理数据和右眼纹理数据合成中间帧图像。5.如权利要求1-3中任一项所述的头戴显示设备，其特征在于，所述头戴显示设备还包括传感器；所述传感器用于在用户佩戴所述头戴显...

【专利技术属性】
技术研发人员：张毅，刘扬，
申请(专利权)人：成都理想境界科技有限公司，
类型：发明
国别省市：四川,51