基于渲染引擎的实时图像处理方法以及显示设备技术

技术编号:20882324 阅读:20 留言:0更新日期:2019-04-17 13:19
本申请公开了基于渲染引擎实时处理图像数据的方法。所述方法包括:采样将在具有第二像素排列的像素的显示屏幕中显示为图像的第一像素排列的第一数据集合。所述方法还包括创建第一模型和第二模型,第一模型映射有第一数据集合以产生第二数据集合并且第二模型映射有第一数据集合以产生第三数据集合。此外,所述方法还包括:利用第一着色器渲染第二数据集合以输出第四数据集合,以及利用第二着色器渲染第三数据集合以输出第五数据集合。此外,所述方法包括:将第四数据集合叠加在第五数据集合上以显示第六数据集合。

【技术实现步骤摘要】
【国外来华专利技术】基于渲染引擎的实时图像处理方法以及显示设备
本申请涉及图像处理技术,更具体地,涉及基于渲染引擎的实时图像处理方法、实时图像处理设备、以及实现所述方法的显示设备。
技术介绍
比如虚拟现实(VR)或增强现实(AR)之类的显示产品的现代显示技术需要在显示静态图像或视频图像的同时进行实时图像处理。渲染引擎恰好是一种与这些显示产品相关联的实时图像处理器,用于实时地处理图像数据并且将可以采样的虚拟场景方面的处理后的图像数据输出至显示屏幕进行显示。此外,一直以来要求这些产品有更高的图像分辨率。
技术实现思路
在一方面,本公开提供了一种基于渲染引擎实时处理图像数据的方法。所述方法包括:采样将在具有第二像素排列的像素的显示屏幕中显示为图像的第一像素排列的第一数据集合。所述方法还包括:将所述第一数据集合映射至用于渲染引擎的第一模型以产生第二数据集合,并且将第一数据集合映射至用于渲染引擎的第二模型以产生第三数据集合。此外,所述方法包括:将第二数据集合和第三数据集合加载至渲染引擎,并且利用与第一像素排列相关联的第一着色器通过渲染引擎处理第二数据集合以输出第四数据集合。所述方法还包括:利用与第二像素排列相关联的第二着色器通过渲染引擎处理第三数据集合以输出第五数据集合。此外,所述方法包括:将第四数据集合叠加在第五数据集合上以获得第六数据集合。此外,所述方法包括:在具有第二像素排列的像素的显示屏幕中显示第六数据集合。可选地,所述方法还包括:基于显示屏幕创建用于渲染引擎的第一模型和第二模型。创建第一模型的步骤包括:产生第一数量的矩形条状体,每个矩形条状体具有像素的第一宽度和一行第二数量的像素的第一长度并且通过一行像素与相邻的矩形条状体分隔开。第一数量和第二数量分别表示与显示屏幕相关联的竖直显示分辨率的一半和横向显示分辨率的一半。第二模型由与显示屏幕对应的、具有第二宽度和第二长度的矩形体表征,第二宽度等于一行像素的第一长度,第二长度等于两倍于第一数量行的像素的第一宽度之和。可选地,采样第一数据集合的步骤包括:利用与渲染引擎相关联的采样相机实时地收集第一数据集合。可选地,采样相机包括正交投影相机或透视投影相机。可选地,将第一数据集合映射至第一模型以产生第二数据集合的步骤包括:通过按照UV映射将第一数据集合转换为第二数据集合来产生第一虚拟图像,所述第一虚拟图像的第一边缘与第一模型的第一数量的矩形条状体中的第一个对齐。将第一数据集合映射至第二模型以产生第三数据集合的步骤包括:通过按照UV映射将第一数据集合转换为第三数据集合来产生附着至第二模型的单个矩形体的第二虚拟图像。可选地,将第二数据集合和第三数据集合加载至渲染引擎包括:产生分别加载至渲染引擎的至少承载与第一模型相关联的第二数据集合的信息的第一Filmbox(FBX)文件以及至少承载与第二模型相关联的第三数据集合的信息的第二FBX文件。可选地,所述方法还包括:创建与第一像素排列相关联的第一着色器。创建第一着色器的步骤包括:定义对第一像素排列的图像数据的一个或多个计算机可执行处理,第一像素排列的每行像素以真实RGB子像素顺序排列。可选地,处理第二数据集合的步骤包括:通过渲染引擎渲染第一虚拟图像。处理第二数据集合的步骤还包括:通过第一着色器对与第一模型相关联的第二数据集合调整颜色、纹理和网格信息,以获得第一像素排列的第四数据集合。可选地,所述方法还包括:创建与第二像素排列相关联的第二着色器。创建第二着色器的步骤包括:定义对第二像素排列的图像数据的一个或多个计算机可执行处理,在第二像素排列中,每行像素的数量是第一像素排列中每行像素的数量的一半,每个奇数行像素保持为与第一像素排列一样的真实RGB子像素顺序,并且每个偶数行像素改变为BRG子像素顺序并且偶数行中的一个颜色的每个子像素移动至奇数行中的两个不同颜色的两个最接近的子像素之间的位置。可选地,处理第三数据集合的步骤包括:通过渲染引擎渲染第二虚拟图像,并且通过第二着色器对与第二模型相关联的第三数据集合调整颜色、纹理和网格信息,以获得第二像素排列的第五数据集合。可选地,将第四数据集合叠加在第五数据集合上以获得第六数据集合的步骤包括:将奇数行像素的全部第四数据集合和偶数行像素的全部第五数据集合组合,以有效地获得第六数据集合,从而在渲染引擎中产生虚拟场景。将第四数据集合叠加在第五数据集合上以产生第六数据集合的步骤还包括:利用与渲染引擎相关联的采样相机从虚拟场景实时地采样第二像素排列的第六数据集合。可选地,在显示屏幕中显示第六数据集合的步骤包括:发送具有显示屏幕的一半横向显示分辨率的第二像素排列的第六数据集合,并且以全显示分辨率在显示屏幕中显示图像。在另一方面,本公开提供了一种实时图像处理设备。该设备包括存储器和一个或多个处理器。所述存储器和所述一个或多个处理器彼此连接。所述存储器存储计算机可执行指令,用于控制所述一个或多个处理器以:采样将在具有第二像素排列的像素的显示屏幕中显示为图像的第一像素排列的第一数据集合;将第一数据集合映射至用于渲染引擎的第一模型以产生第二数据集合;将第一数据集合映射至用于渲染引擎的第二模型以产生第三数据集合;将第二数据集合和第三数据集合加载至渲染引擎;利用与第一像素排列相关联的第一着色器通过渲染引擎处理第二数据集合以输出第四数据集合;利用与第二像素排列相关联的第二着色器通过渲染引擎处理第三数据集合以输出第五数据集合;将第四数据集合叠加在第五数据集合上以获得第六数据集合。可选地,所述一个或多个处理器包括:渲染引擎、第一着色器、以及第二着色器。渲染引擎至少包括用于采样第一数据集合的采样相机并且构造为经由第一Filmbox(FBX)文件接收第一模型。通过外部模型建立器创建第一模型,并且第一FBX文件包括基于第二数据集合附着至第一模型的第一虚拟图像的信息,第二数据集合通过UV映射从第一数据集合转换而来。渲染引擎构造为经由第二FBX文件接收第二模型。第二FBX文件包括基于第三数据集合附着至第二模型的第二虚拟图像,第三数据集合通过UV映射从第一数据集合转换而来。可选地,通过外部模型建立器基于与显示屏幕对应的矩形体将第一模型产生为第一数量的矩形条状体,每个矩形条状体具有像素的第一宽度和一行第二数量的像素的第一长度并且通过一行像素与相邻的矩形条状体分隔开。第二模型由与显示屏幕对应的、具有第二宽度和第二长度的矩形体表征,第二宽度等于一行像素的第一长度,第二长度等于两倍于第一数量行的像素的第一宽度之和。第一数量和第二数量分别表示与显示屏幕相关联的竖直显示分辨率的一半和横向显示分辨率的一半。可选地,渲染引擎包括一个或多个计算机可执行指令,其用于基于第一模型渲染第二数据集合以形成第一虚拟图像并且基于第二模型渲染第三数据集合以形成第二虚拟图像。可选地,第一着色器包括一个或多个计算机可执行指令,其用于对第一虚拟图像调整颜色、纹理、以及网格信息,以获得第一像素排列的第四数据集合,第一像素排列的每行像素以真实RGB子像素顺序排列。可选地,第二着色器包括一个或多个计算机可执行指令,其用于对第二虚拟图像调整颜色、纹理、以及网格信息,以获得第二像素排列的第五数据集合,在第二像素排列中,每行像素的数量是第一像素排列中每行像素的数量的一半,每个奇数行像素保本文档来自技高网...

【技术保护点】
1.一种基于渲染引擎实时处理图像数据的方法,包括:采样将在具有第二像素排列的像素的显示屏幕中显示为图像的第一像素排列的第一数据集合;将所述第一数据集合映射至用于渲染引擎的第一模型以产生第二数据集合;将所述第一数据集合映射至用于所述渲染引擎的第二模型以产生第三数据集合;将所述第二数据集合和所述第三数据集合加载至所述渲染引擎;利用与所述第一像素排列相关联的第一着色器通过所述渲染引擎处理所述第二数据集合以输出第四数据集合;利用与所述第二像素排列相关联的第二着色器通过所述渲染引擎处理所述第三数据集合以输出第五数据集合;将所述第四数据集合叠加在所述第五数据集合上以获得第六数据集合;以及,在具有所述第二像素排列的像素的所述显示屏幕中显示所述第六数据集合。

【技术特征摘要】
【国外来华专利技术】1.一种基于渲染引擎实时处理图像数据的方法,包括:采样将在具有第二像素排列的像素的显示屏幕中显示为图像的第一像素排列的第一数据集合;将所述第一数据集合映射至用于渲染引擎的第一模型以产生第二数据集合;将所述第一数据集合映射至用于所述渲染引擎的第二模型以产生第三数据集合;将所述第二数据集合和所述第三数据集合加载至所述渲染引擎;利用与所述第一像素排列相关联的第一着色器通过所述渲染引擎处理所述第二数据集合以输出第四数据集合;利用与所述第二像素排列相关联的第二着色器通过所述渲染引擎处理所述第三数据集合以输出第五数据集合;将所述第四数据集合叠加在所述第五数据集合上以获得第六数据集合;以及,在具有所述第二像素排列的像素的所述显示屏幕中显示所述第六数据集合。2.根据权利要求1所述的方法,还包括:基于所述显示屏幕创建用于所述渲染引擎的所述第一模型和所述第二模型;其中,创建所述第一模型包括:产生第一数量的矩形条状体,每个矩形条状体具有像素的第一宽度和一行第二数量的像素的第一长度并且通过一行像素与相邻的矩形条状体分隔开,其中,所述第一数量和所述第二数量分别表示与所述显示屏幕相关联的竖直显示分辨率的一半和横向显示分辨率的一半;其中,所述第二模型由与所述显示屏幕对应的、具有第二宽度和第二长度的矩形体表征,所述第二宽度等于一行像素的所述第一长度,所述第二长度等于两倍于所述第一数量行的像素的第一宽度之和。3.根据权利要求1所述的方法,其中,采样所述第一数据集合包括:利用与所述渲染引擎相关联的采样相机实时地收集所述第一数据集合。4.根据权利要求3所述的方法,其中,所述采样相机包括正交投影相机或透视投影相机。5.根据权利要求2所述的方法,其中,将所述第一数据集合映射至所述第一模型以产生所述第二数据集合包括:通过按照UV映射将所述第一数据集合转换为所述第二数据集合来产生第一虚拟图像,所述第一虚拟图像的第一边缘与所述第一模型的所述第一数量的矩形条状体中的第一个对齐;将所述第一数据集合映射至所述第二模型以产生所述第三数据集合包括:通过按照UV映射将所述第一数据集合转换为所述第三数据集合来产生附着至所述第二模型的单个矩形体的第二虚拟图像。6.根据权利要求5所述的方法,其中,将所述第二数据集合和所述第三数据集合加载至所述渲染引擎包括:产生分别加载至所述渲染引擎的至少承载与所述第一模型相关联的所述第二数据集合的信息的第一Filmbox文件以及至少承载与所述第二模型相关联的所述第三数据集合的信息的第二Filmbox文件。7.根据权利要求6所述的方法,还包括:创建与所述第一像素排列相关联的所述第一着色器;其中,创建所述第一着色器包括:定义对所述第一像素排列的图像数据的一个或多个计算机可执行处理,所述第一像素排列的每行像素以真实RGB子像素顺序排列。8.根据权利要求7所述的方法,其中,处理所述第二数据集合包括:通过所述渲染引擎渲染所述第一虚拟图像;以及通过所述第一着色器对与所述第一模型相关联的所述第二数据集合调整颜色、纹理和网格信息,以获得所述第一像素排列的所述第四数据集合。9.根据权利要求6所述的方法,还包括:创建与所述第二像素排列相关联的所述第二着色器;其中,创建所述第二着色器包括:定义对所述第二像素排列的图像数据的一个或多个计算机可执行处理,在所述第二像素排列中,每行像素的数量是所述第一像素排列中每行像素的数量的一半,每个奇数行像素保持为与所述第一像素排列一样的真实RGB子像素顺序,并且每个偶数行像素改变为BRG子像素顺序并且所述偶数行中的一个颜色的每个子像素移动至奇数行中的两个不同颜色的两个最接近的子像素之间的位置。10.根据权利要求9所述的方法,其中,处理所述第三数据集合包括:通过所述渲染引擎渲染所述第二虚拟图像;并且,通过所述第二着色器对与所述第二模型相关联的所述第三数据集合调整颜色、纹理和网格信息,以获得所述第二像素排列的所述第五数据集合。11.根据权利要求1所述的方法,其中,将所述第四数据集合叠加在所述第五数据集合上以获得所述第六数据集合包括:将奇数行像素的全部第四数据集合和偶数行像素的全部第五数据集合组合,以有效地获得所述第六数据集合,从而在所述渲染引擎中产生虚拟场景;以及,利用与所述渲染引擎相关联的采样相机从所述虚拟场景实时地采样所述第二像素排列的所述第六数据集合。12.根据权利要求1所述的方法,其中,在所述显示屏幕中显示所述第六数据集合包括:发送具有所述显示屏幕的一半横向显示分辨率的所述第二像素排列的所述第六数据集合,并且以全显示分辨率在所述显示屏幕中显示图像。13.一种实时图像处理设备,包括:存储器;以及,一个或多个处理器;其中,所述存储器和所述一个或多个处理器彼此连接;并且所述存储器存储计算机可执行指令,用于控制所述一个或多个处理器以:采样将在具有第二像素排列的像素的显示屏幕中显示为图像的第一像素排列的第一数据集合;将所述第一数据集合映射至用于渲染引擎的第一模型以产生第二数据集合;将所述第一数据集合映射至用于所述渲染引擎的第二模型以产生第三数据集...

【专利技术属性】
技术研发人员:王雪丰李文宇苗京花赵斌孙玉坤王立新李茜陆原介索健文彭金豹范清文李治富张浩陈丽莉
申请(专利权)人:京东方科技集团股份有限公司北京京东方光电科技有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1