图像渲染方法、装置、系统、计算机可读存储介质及设备制造方法及图纸

本发明专利技术公开一种图像渲染方法、装置、系统、计算机可读存储介质及设备。该方法的一具体实施方式包括：根据人眼在虚拟现实设备的显示屏上的注视点位置，得到注视点对应在待显示在显示屏上的图像上的位置；加载渲染模型；根据注视点对应在待显示在显示屏上的图像上的位置，调整渲染模型中原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；根据调整后的渲染模型，对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样；将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接，得到待传输至虚拟现实设备的图像。该实现方式可节约图像传输过程中的传输带宽。

Image rendering method, device, system, computer readable storage medium and device

The invention discloses an image rendering method, a device, a system, a computer readable storage medium and an equipment. One specific embodiment of the method includes: according to the human eye's fixation position on the display screen of a virtual reality device, the position of the fixation point corresponding to the image to be displayed on the display screen is obtained; the rendering model is loaded; and the rendering model is adjusted according to the position of the fixation point corresponding to the image to be displayed on the display screen. The position of the central point of the original resolution sampling area and the horizontal and/or vertical resolution compression multiple of the compressed resolution sampling area; according to the adjusted rendering model, the original resolution sampling area of the original resolution of the image is sampled and the compressed resolution sampling area is sampled; the original compression resolution sampling area is sampled after the sampled. The image to be transmitted to the virtual reality device is obtained by splicing the resolution sampling area and the compression resolution sampling area. The realization method can save the transmission bandwidth in the process of image transmission.

【技术实现步骤摘要】
图像渲染方法、装置、系统、计算机可读存储介质及设备
本专利技术涉及显示
更具体地，涉及一种面向虚拟现实的图像渲染方法、装置、系统、计算机可读存储介质及设备。
技术介绍
目前，对于显示清晰度，尤其是对于虚拟现实(VR)/增强现实(AR)的显示清晰度要求越来越高，计算机设备向显示设备输出图像的信息量也越来越大。一个高清分辨率渲染的场景，对软件计算速度、计算资源的消耗、图像数据传输数据量都有很大的要求。对于人眼而言，由于负责观察色彩和细节的视网膜上的视锥细胞浓度不同，只能接纳注视点中心的细节，任何超出人眼注视区5°以上的东西都会逐渐降低清晰度，所以计算人眼对应的高清区域大小并用高分辨率渲染该部分区域，对于其它区域进行低分辨率渲染，就可以节省较大的工作量。公开号为CN107065197A的中国专利文献公开了一种面向VR眼镜的人眼跟踪远程渲染实时显示方法及系统，包括步骤：(1)人眼追踪感应器采集使用者当前人眼聚焦点二维坐标A(x,y)，并发送给压缩数据传输系统的远程服务器端；(2)服务器端依据人眼聚焦点二维坐标A(x,y)，按照人眼跟踪数据压缩传输方法，压缩在服务器端渲染的图像，并将压缩之后的图像数据发送给VR眼镜；(3)VR眼镜接收图像数据，之后按照人眼跟踪数据压缩传输方法解析图像数据并显示；(4)在下一帧的处理中，重复上述步骤。随着显示技术的发展，上述通过对图像进行基于算法的压缩处理的方式由于实时性差、计算资源消耗大已不能够满足需求。在节约图像传输过程中的传输带宽时，如何提高图像压缩传输的实时性及计算效率成为一个亟待解决的问题。因此，需要提供一种基于多分辨率渲染模型的面向虚拟现实的图像渲染方法、装置、系统、计算机可读存储介质及设备。
技术实现思路
本专利技术的目的在于提供一种基于多分辨率渲染模型的面向虚拟现实的图像渲染方法、装置、系统、计算机可读存储介质及设备。为达到上述目的，本专利技术采用下述技术方案：本专利技术第一方面提供了一种面向虚拟现实的图像渲染方法，包括：根据人眼在虚拟现实设备的显示屏上的注视点位置，得到所述注视点对应在待显示在所述显示屏上的图像上的位置；加载渲染模型，其中，所述渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及所述压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；根据所述注视点对应在待显示在所述显示屏上的图像上的位置，调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；根据调整后的渲染模型，对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样；将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接，得到待传输至所述虚拟现实设备的图像。本专利技术第一方面提供的面向虚拟现实的图像渲染方法通过调整渲染引擎中的渲染模型即可实现在渲染引擎中压缩图像，可节约图像传输过程中的传输带宽。且与现有的图通过对图像进行基于算法的压缩处理的方式相比，本专利技术第一方面提供的图像渲染方法实时性高、计算速度快、计算资源消耗小、计算效率高。优选地，所述压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数根据压缩分辨率采样区域与原分辨率采样区域的位置关系预设及调整。其中，原分辨率采样区域即对应注视点对应在图像上的位置的区域，将其他的用户未关注区域设为压缩分辨率采样区域。为了保证虚拟相机对图像的原分辨率采样区域进行原分辨率采样，在预设及调整各压缩分辨率采样区域的横向和纵向的分辨率压缩倍数时，需要考虑各压缩分辨率采样区域与原分辨率采样区域的位置关系，以实现正常的局部图像分辨率压缩，并保证压缩后的整体图像的形状与原图像相同(例如原图像为矩形图像，压缩后的图像也为矩形图像)。优选地，所述原分辨率采样区域和所述压缩分辨率采样区域构成九宫格结构。其中，进一步优选的是原分辨率采样区域位于中间格。这样的规则便于调整原分辨率采样区域的中心点位置，及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数。另外，原分辨率采样区域与注视点的对应较精确。优选地，调整原分辨率采样区域的中心点位置进一步包括：判断所述原分辨率采样区域的中心点为注视点对应在图像上的位置时原分辨率采样区域是否超出图像边界：若否，则调整所述原分辨率采样区域的中心点为注视点对应在图像上的位置；若是，则调整所述原分辨率采样区域的中心点为在原分辨率采样区域不超出图像边界的情况下最接近注视点对应在图像上的位置的位置。优选地，在所述根据调整后的渲染模型，对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样之前，该方法还包括：对所述待显示在所述显示屏上的图像进行反畸变处理得到反畸变图像；并且所述根据调整后的渲染模型，对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样包括：根据调整后的渲染模型对反畸变图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样。在应用于虚拟现实设备，特别是虚拟现实头戴显示设备时，由于虚拟现实设备的显示屏通常设有透镜，为了正常显示，需要对图像进行反畸变。通过在本专利技术第一方面提供的图像渲染方法中加入上述步骤，实现了将本专利技术第一方面提供的图像渲染方法应用于计算机装置向虚拟现实设备的图像传输。优选地，该方法还包括：对所述虚拟现实设备接收的图像进行拉伸后在所述显示屏上显示。本专利技术第二方面提供了一种面向虚拟现实的图像渲染装置，包括：注视点投影模块、调整模块、渲染引擎和拼接模块；所述注视点投影模块，人眼在虚拟现实设备的显示屏上的注视点位置，得到所述注视点对应在待显示在所述显示屏上的图像上的位置；所述渲染引擎，加载渲染模型，其中，所述渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及所述压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；所述调整模块，根据所述注视点对应在待显示在所述显示屏上的图像上的位置，调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；所述渲染引擎，根据调整后的渲染模型，对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样；所述拼接模块，将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接，得到待传输至所述虚拟现实设备的图像。本专利技术第三方面提供了一种面向虚拟现实的图像渲染系统，包括：虚拟现实设备和图像渲染装置；图像渲染装置，包括：注视点投影模块、调整模块、渲染引擎和拼接模块；所述注视点投影模块，人眼在虚拟现实设备的显示屏上的注视点位置，得到所述注视点对应在待显示在所述显示屏上的图像上的位置；所述渲染引擎，加载渲染模型，其中，所述渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及所述压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；所述调整模块，根据所述注视点对应在待显示在所述显示屏上的图像上的位置，调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；所述渲染引擎，根据调整后的渲染模型，对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样；所述拼接模块，将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接，得到待传输至所述虚拟现实设备的图像；所述头戴显示设备，获取人眼在本文档来自技高网...

【技术保护点】
1.一种面向虚拟现实的图像渲染方法，其特征在于，包括：根据人眼在虚拟现实设备的显示屏上的注视点位置，得到所述注视点对应在待显示在所述显示屏上的图像上的位置；加载渲染模型，其中，所述渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及所述压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；根据所述注视点对应在待显示在所述显示屏上的图像上的位置，调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；根据调整后的渲染模型，对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样；将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接，得到待传输至所述虚拟现实设备的图像。

【技术特征摘要】
1.一种面向虚拟现实的图像渲染方法，其特征在于，包括：根据人眼在虚拟现实设备的显示屏上的注视点位置，得到所述注视点对应在待显示在所述显示屏上的图像上的位置；加载渲染模型，其中，所述渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及所述压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；根据所述注视点对应在待显示在所述显示屏上的图像上的位置，调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；根据调整后的渲染模型，对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样；将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接，得到待传输至所述虚拟现实设备的图像。2.根据权利要求1所述的方法，其特征在于，所述压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数根据压缩分辨率采样区域与原分辨率采样区域的位置关系预设及调整。3.根据权利要求1所述的方法，其特征在于，所述原分辨率采样区域和所述压缩分辨率采样区域构成九宫格结构。4.根据权利要求1所述的方法，其特征在于，调整原分辨率采样区域的中心点位置进一步包括：判断所述原分辨率采样区域的中心点为注视点对应在图像上的位置时原分辨率采样区域是否超出图像边界：若否，则调整所述原分辨率采样区域的中心点为注视点对应在图像上的位置；若是，则调整所述原分辨率采样区域的中心点为在原分辨率采样区域不超出图像边界的情况下最接近注视点对应在图像上的位置的位置。5.根据权利要求1所述的方法，其特征在于，在所述根据调整后的渲染模型，对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样之前，该方法还包括：对所述待显示在所述显示屏上的图像进行反畸变处理得到反畸变图像；并且所述根据调整后的渲染模型，对图像的原...

【专利技术属性】
技术研发人员：王雪丰，孙玉坤，苗京花，陈丽莉，张浩，赵斌，王立新，李茜，索健文，李文宇，彭金豹，范清文，陆原介，王晨如，刘亚丽，孙建康，
申请(专利权)人：京东方科技集团股份有限公司，北京京东方光电科技有限公司，
类型：发明
国别省市：北京,11