基于渲染引擎生成和显示全景图像的方法和显示装置制造方法及图纸

本申请公开了基于与显示装置相关联的渲染引擎生成全景图像的方法。该方法包括确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎。另外，该方法包括使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个子平面的相应方向上捕获全景视图的多个样本子图像。该方法包括将多个样本子图像附加到相应的多个子平面以形成构建的显示模型。此外，该方法包括由渲染引擎渲染构建的显示模型以重建全景图像，并在显示装置上显示全景图像。

Method and Display Device for Generating and Displaying Panoramic Images Based on Rendering Engine

The present application discloses a method for generating panoramic images based on a rendering engine associated with a display device. The method includes determining a display model configured as a polygonal prism for a rendering engine corresponding to a panoramic view of the scene. In addition, the method includes capturing a plurality of sample sub-images of panoramic views in the corresponding directions towards multiple Sub-Planes of polygonal prisms using a plurality of sampling cameras associated with the rendering engine. The method includes attaching multiple sample sub-images to corresponding Sub-Planes to form the constructed display model. In addition, the method includes a display model constructed by the rendering engine to reconstruct the panoramic image and display the panoramic image on the display device.

【技术实现步骤摘要】
【国外来华专利技术】基于渲染引擎生成和显示全景图像的方法和显示装置
本专利技术涉及显示技术，更具体地，涉及一种基于渲染引擎生成全景图像的方法、以及实现该方法的显示装置。
技术介绍
在一些应用中，移动虚拟现实(VR)装置需要显示全景图像而不是实时渲染真实场景，以平滑地播放VR视频。传统的全景图像包括从球形的纹理模型生成的单个360°图像。该球体模型存在的几个问题包括：1)由球体模型的顶点到底点的垂直方向上的单个全景图像的斑块聚集引起的显示图像失真；2)由于在特定视场角下缺乏对单个全景图像的图像的像素分辨率的解码能力，限制了在该视场角下图像的最大图像分辨率。
技术实现思路
一方面，本公开提供了一种基于与显示装置相关联的渲染引擎来生成全景图像的方法。该方法包括确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎。该方法还包括使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个子平面的相应方向上捕获全景视图的多个样本子图像。另外，该方法包括将多个样本子图像附加到相应的多个子平面以形成构建的显示模型。此外，该方法包括由渲染引擎渲染构建的显示模型以重建全景图像。此外，该方法包括在显示装置上显示全景图像。可选地，多边形棱柱是等边N侧面多边形棱柱。N是不小于3的整数。可选地，确定显示模型的步骤包括确定分别从等边N侧面多边形棱柱的每一个侧面或顶面或底面划分的多个子平面。可选地，确定显示模型的步骤还包括：确定与等边N侧面多边形棱柱的不同平面的相应的多个子平面对应的不同图像分辨率，并基于tan(u/2)/tan(v/2)的比率确定所述多个子平面中的每一个的宽度和长度以及宽长比。u是从所述多个采样相机中的至少一个投射到所述多个子平面中的每一个的水平视场角，v是从多个采样相机中的至少一个投射到多个子平面中的每一个的垂直视场角。可选地，多个采样相机中的至少一个位于显示模型的中心。可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤包括：在从多个采样相机中的一个朝向多个子平面中的一个投射的的相应一个方向上，根据场景以独立定义的图像分辨率分别对所述多个样本子图像中的每一个进行采样。可选地，单个子平面的独立定义的图像分辨率被配置为比传统模型中的单个视场图像所允许的最大图像分辨率大若干倍。可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤包括：通过略微增大视场角以使分别针对朝向顶面的顶视图和朝向底面的底视图的投射正方形大于顶面或底面，在投射正方形中捕获至少两个样本子图像。可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤包括：使用两组采样相机针对多个子平面捕获具有视差的两组样本子图像；以及，基于具有视差的两组样本子图像重建3D全景图像。可选地，将多个样本子图像附加到相应的多个子平面的步骤包括：执行UV映射以将每个样本子图像的图像纹理添加到对应的子平面，并生成用于渲染引擎的构建的显示模型。可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤还包括：针对显示模型的多个子平面中的每一个，以采样频率按时间顺序采样一系列样本子图像；根据被采样的顺序编码同一子平面的所有样本子图像，以生成样本子视频；并将样本子视频附加到相应的子平面以形成构建的显示模型。可选地，渲染构建的显示模型的步骤包括：对同时采样的分别用于多个子平面的多个样本子图像进行渲染，以同时生成一个全景图像，并通过按时间顺序编码一系列全景图像来进一步生成全景视频。可选地，显示全景图像的步骤包括：通过至少显示单独针对在视场方向上的相应一个子平面的子视频，在显示装置上显示全景视频。另一方面，本公开提供了一种基于与显示装置相关联的渲染引擎来生成全景图像的装置。该装置包括存储器和一个或多个处理器。存储器和所述一个或多个处理器彼此连接。存储器存储计算机可执行指令，用于控制所述一个或多个处理器：确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎；使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个子区域的相应方向上捕获全景视图的多个样本子图像；将多个样本子图像附加到相应的多个子区域，以形成构建的显示模型；通过渲染引擎渲染构建的显示模型以重建全景图像；以及在显示装置上显示全景图像。可选地，所述一个或多个处理器包括可编程指令，以创建被配置为等边多边形棱柱的显示模型，等边多边形棱柱的侧面、顶面和底面中的每一个被分成一个或多个子平面。每个子平面被独立定义有图像分辨率。可选地，所述一个或多个处理器包括具有多个采样相机的渲染引擎，所述多个采样相机被配置为在从位于显示模型内的所述多个采样相机中的至少一个朝向相应的多个子区域中的一个的多个投射方向上捕获场景的多个样本子图像。可选地，所述一个或多个处理器包括可编程指令，以将多个样本子图像中的每一个作为纹理附加到多边形棱柱的多个子区域中的相应一个子区域，以形成用于渲染引擎的构建的显示模型。可选地，渲染引擎被配置为渲染与构建的显示模型的相应多个子区域相关联的多个样本子图像以生成全景图像。可选地，渲染引擎被配置为顺序地渲染与构建的显示模型的相应的多个子区域相关联的多组的多个样本子图像，每组多个样本子图像被多个采样相机中的相应的一个以采样频率依次捕获，并且被按时间顺序编码，以生成与多个子区域相关联的相应多个采样子视频，并生成全景视频。又一方面，本公开提供了一种显示装置，包括显示面板，其耦接到本文描述的用于生成全景图像或全景视频的装置，并且被配置为将全景图像或全景视频显示为虚拟现实显示。又一方面，本公开提供了一种计算机程序产品，包括其上具有计算机可读指令的非暂时性有形计算机可读介质。计算机可读指令可由处理器执行以使处理器执行：确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎；使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个子区域的相应方向上捕获全景视图的多个样本子图像；将多个样本子图像附加到相应的多个子区域以形成构建的显示模型；并且由渲染引擎渲染构建的显示模型以重建全景图像。附图说明以下附图仅是用于根据各种公开的实施例的说明性目的的示例，而不旨在限制本专利技术的范围。图1是示出根据本公开的一些实施例的基于渲染引擎生成全景图像的方法的流程图。图2是根据本公开的实施例的比较传统模型和用于渲染引擎的显示模型的示意图。图3是示出根据本公开的实施例的由采样相机基于显示模型采样的场景的样本子图像的示意图。图4是示出根据本公开的实施例的从六边形棱柱显示模型的八个平面采样的八个样本子图像的示例图。图5是根据本公开的实施例的通过运行渲染引擎从构建的显示模型生成的虚拟全景图像的示意图。图6是示出根据本公开的一些实施例的由渲染引擎生成的虚拟全景图像中的若干随机视场角的视觉效果的示例图。图7是根据本公开另一实施例的用于生成全景图像的渲染引擎的显示模型的示意图。具体实施方式现在将参考以下实施例更具体地描述本公开。应注意，本文仅出于说明和描述的目的呈现了一些实施例的以下描述。其并非旨在穷举或限于所公开的精确形式。对于具有内置高图像分辨率的VR显示装置，期望以相当的高分辨率提供其要显示的内容图像。高分辨率内容图像的一个来源是基于用于与显示装置相关联的渲染引擎的适当显示模型，通过多个采样相机直接从真实本文档来自技高网...

【技术保护点】
1.一种基于与显示装置相关联的渲染引擎生成全景图像的方法，包括：确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎；使用与所述渲染引擎相关联的多个采样相机在朝向所述多边形棱柱的多个子平面的相应方向上捕获所述全景视图的多个样本子图像；将所述多个样本子图像附加到相应的多个子平面以形成构建的显示模型；由所述渲染引擎渲染所述构建的显示模型以重建全景图像；以及在所述显示装置上显示所述全景图像。

【技术特征摘要】
【国外来华专利技术】1.一种基于与显示装置相关联的渲染引擎生成全景图像的方法，包括：确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎；使用与所述渲染引擎相关联的多个采样相机在朝向所述多边形棱柱的多个子平面的相应方向上捕获所述全景视图的多个样本子图像；将所述多个样本子图像附加到相应的多个子平面以形成构建的显示模型；由所述渲染引擎渲染所述构建的显示模型以重建全景图像；以及在所述显示装置上显示所述全景图像。2.根据权利要求1所述的方法，其中，所述多边形棱柱是等边N侧面多边形棱柱，其中N是不小于3的整数。3.根据权利要求2所述的方法，其中，确定显示模型包括确定分别从所述等边N侧面多边形棱柱的每一个侧面或顶面或底面划分的所述多个子平面。4.根据权利要求3所述的方法，其中，确定显示模型还包括：确定与所述等边N侧面多边形棱柱的不同平面的相应的多个子平面对应的不同图像分辨率，并基于tan(u/2)/tan(v/2)的比率确定所述多个子平面中的每一个的宽度和长度以及宽长比，其中u是从所述多个采样相机中的至少一个投射到所述多个子平面中的每一个的水平视场角，v是从所述多个采样相机中的所述至少一个投射到所述多个子平面中的每一个的垂直视场角。5.根据权利要求4所述的方法，其中，所述多个采样相机中的所述至少一个位于所述显示模型的中心。6.根据权利要求4所述的方法，其中，使用与所述渲染引擎相关联的多个采样相机捕获多个样本子图像包括：在从所述多个采样相机中的一个朝向多个子平面中的一个投射的相应一个方向上，根据场景以独立定义的图像分辨率分别对所述多个样本子图像中的每一个进行采样。7.根据权利要求6所述的方法，其中，针对单个子平面的独立定义的图像分辨率被配置为比传统模型中的单个视场图像所允许的最大图像分辨率大若干倍。8.根据权利要求4所述的方法，其中，使用与所述渲染引擎相关联的多个采样相机捕获多个样本子图像包括：通过略微增大视场角以使分别针对朝向所述顶面的顶视图和朝向所述底面的底视图的投射正方形大于所述顶面或所述底面，在所述投射正方形中捕获至少两个样本子图像。9.根据权利要求4所述的方法，其中，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像包括：使用两组采样相机针对所述多个子平面捕获具有视差的两组样本子图像；以及，基于具有视差的两组样本子图像重建3D全景图像。10.根据权利要求1所述的方法，其中，将所述多个样本子图像附加到相应的多个子平面包括：执行UV映射以将每个样本子图像的图像纹理添加到对应的子平面，以及生成用于所述渲染引擎的构建的显示模型。11.根据权利要求1所述的方法，其中，使用与所述渲染引擎相关联的多个采样相机捕获多个样本子图像还包括：针对所述显示模型的所述多个子平面中的每一个，以采样频率按时间顺序采样一系列样本子图像；根据被采样的顺序编码同一子平面的所有样本子图像，以生成样本子视频；以及将所述样本子视频附加到对应的子平面以形成所述构建的显示模型。12.根据权利要求11所述的方法，其中，渲染所述构建的显示模型包括：对同...

【专利技术属性】
技术研发人员：王雪丰，孙玉坤，苗京花，张浩，陈丽莉，李茜，赵斌，索健文，彭金豹，李文宇，范清文，李治富，陆原介，
申请(专利权)人：京东方科技集团股份有限公司，北京京东方光电科技有限公司，
类型：发明
国别省市：北京,11