图像处理方法技术

本申请公开了一种图像处理方法

【技术实现步骤摘要】
图像处理方法、装置及电子设备


[0001]本申请属于图像渲染
，具体涉及一种图像处理方法
、
装置及电子设备
。

技术介绍

[0002]目前，为了提升图像的成像效果，电子设备可以通过光追混合光栅技术，即光追技术和光栅化技术，对图像进行渲染处理，以得到成像效果较好的图像
。
相关技术中，电子设备可以通过低分辨率光追渲染和插值算法，对图像进行渲染处理
。
[0003]然而，上述方法中，电子设备无法保证在低分辨率光追渲染下的画质效果
。

技术实现思路

[0004]本申请实施例的目的是提供一种图像处理方法
、
装置及电子设备，能够提高低分辨率光追渲染的图像效果
。
[0005]第一方面，本申请实施例提供了一种图像处理方法，该图像处理方法包括：对第一图像帧进行光栅化渲染，得到第一渲染颜色图；基于第一图像帧对应的第一深度图，对第一图像帧进行低分辨率光追渲染，得到第二渲染颜色图，并提取低分辨率光追渲染的渲染过程中第一图像帧中的通过深度测试的区域的运动向量；基于通过深度测试的区域的运动向量
、
第二渲染颜色图，进行多帧超分计算，得到第三渲染颜色图；基于第一渲染颜色图和第三渲染颜色图，进行融合渲染，得到第一图像帧对应的目标渲染颜色图
。
[0006]第二方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：渲染模块和处理模块
。
渲染模块，用于对第一图像帧进行光栅化渲染，得到第一渲染颜色图；并基于第一图像帧对应的第一深度图，对第一图像帧进行低分辨率光追渲染，得到第二渲染颜色图，并提取低分辨率光追渲染的渲染过程中第一图像帧中的通过深度测试的区域的运动向量
。
处理模块，用于基于通过深度测试的区域的运动向量
、
第二渲染颜色图，进行多帧超分计算，得到第三渲染颜色图
。
渲染模块，还用于基于第一渲染颜色图和第三渲染颜色图，进行融合渲染，得到第一图像帧对应的目标渲染颜色图
。
[0007]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤
。
[0008]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤
。
[0009]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法
。
[0010]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法
。
[0011]在本申请实施例中，电子设备可以对第一图像帧进行光栅化渲染，得到第一渲染
颜色图；并基于第一图像帧对应的第一深度图，对第一图像帧进行低分辨率光追渲染，得到第二渲染颜色图，并提取低分辨率光追渲染的渲染过程中第一图像帧中的通过深度测试的区域的运动向量；基于通过深度测试的区域的运动向量
、
第二渲染颜色图，进行多帧超分计算，得到第三渲染颜色图；基于第一渲染颜色图和第三渲染颜色图，进行融合渲染，得到第一图像帧对应的目标渲染颜色图
。
本方案中，由于电子设备可以在低分辨率光追渲染下进行多帧超分计算，进而得到清晰度较高的图像画质，如此，电子设备可以提升在低分辨率光追渲染下的画质效果；进一步的，由于多帧超分计算是基于低分辨率光追渲染下得到的渲染颜色图和部分图像区域
(
也即通过深度测试的区域
)
进行的计算，而部分图像区域的低分辨率光追渲染下得到的渲染颜色图计算数据量较小，所以电子设备可以用低功耗成本保证光追渲染的画质效果
。
附图说明
[0012]图1是本申请实施例提供的一种图像处理方法的流程图之一；
[0013]图2是本申请实施例提供的一种图像处理方法的流程图之二；
[0014]图3是本申请实施例提供的一种采样方法的示例图；
[0015]图4是本申请实施例提供的一种图像处理方法的流程图之三；
[0016]图5是本申请实施例提供的一种镜面的结构示意图；
[0017]图6是本申请实施例提供的一种图像处理装置的结构示意图；
[0018]图7是本申请实施例提供的一种电子设备的硬件结构示意图之一；
[0019]图8是本申请实施例提供的一种电子设备的硬件结构示意图之二
。
具体实施方式
[0020]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围
。
[0021]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序
。
应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个
。
此外，说明书以及权利要求中“和
/
或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系
。
[0022]下面对本申请实施例中涉及的专业术语进行解释说明
。
[0023]光线追踪
(ray tracing)
：光线追踪技术是一种高精度的图形渲染技术，用于创建某些需要高度逼真的场景和效果的时候，如汽车
、
空间等应用场景中的反射
、
折射等效果，模拟从每个像素发出的光线的传播路径
。
业内简称为“光追”。
[0024]图像上采样
(image upsampling)
：将低分辨率图像
(
例如
256x256
像素
)
放大到高分辨率
(
例如
512x512
像素
)
的过程
。
通过添加新的像素来增大原图像的尺寸，以提高图像的分辨率和细节
。
[0025]光栅化
(rasterization)
：将三维图形转换为二维图像的最常用的图形渲染技术
。
简单而言，就是将三维空间中的几何体或曲面投影到二维平面上，并以像素为单位来描述二维图像的颜色<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像处理方法，其特征在于，所述方法包括：对第一图像帧进行光栅化渲染，得到第一渲染颜色图；基于所述第一图像帧对应的第一深度图，对所述第一图像帧进行低分辨率光追渲染，得到第二渲染颜色图，并提取所述低分辨率光追渲染的渲染过程中所述第一图像帧中的通过深度测试的区域的运动向量；基于所述通过深度测试的区域的运动向量
、
所述第二渲染颜色图，进行多帧超分计算，得到第三渲染颜色图；基于所述第一渲染颜色图和所述第三渲染颜色图，进行融合渲染，得到所述第一图像帧对应的目标渲染颜色图
。2.
根据权利要求1所述的方法，其特征在于，所述基于所述第一图像帧对应的第一深度图，对所述第一图像帧进行低分辨率光追渲染，得到第二渲染颜色图之前，所述方法还包括：获取所述第一图像帧对应的第一深度图；对所述第一深度图的深度通道，根据纹理采样点进行抖动采样，得到所述第二深度图，所述第一深度图的分辨率大于所述第二深度图的分辨率；所述基于所述第一图像帧对应的第一深度图，对所述第一图像帧进行低分辨率光追渲染，得到第二渲染颜色图，包括：基于所述第二深度图，确定第一像素点，并对所述第一像素点进行光追渲染，得到第二渲染颜色图；其中，所述第一像素点为所述第一图像帧中的像素点
。3.
根据权利要求1或2所述的方法，其特征在于，所述基于所述通过深度测试的区域的运动向量
、
所述第二渲染颜色图，进行多帧超分计算，得到第三渲染颜色图，包括：基于所述通过深度测试的区域的运动向量
、
所述第二渲染颜色图和所述第二深度图，进行多帧超分计算，得到第三渲染颜色图
。4.
根据权利要求2所述的方法，其特征在于，所述基于所述第二深度图，确定第一像素点，包括：将所述第一图像帧中的第二像素点，确定为所述第一像素点；其中，所述第二像素点满足以下至少之一：与所述第一深度图中深度值小于第一预设阈值的像素点对应；与所述第二深度图中深度值小于第二预设阈值的像素点对应
。5.
根据权利要求1所述的方法，其特征在于，所述提取所述低分辨率光追渲染的渲染过程中所述第一图像帧中的通过深度测试的区域的运动向量，包括：在所述低分辨率光追渲染的渲染方式为非蒙皮动画方式的情况下，获取所述第一图像帧中的第一交点，所述第一交点为所述第一图像帧中的第一反射光线与所述第一图像帧中的镜像第一物体之间的最近交点，所述第一反射光线为摄像头发出的光线经过镜面反射的光线；根据所述第一图像帧的前一帧图像帧的视图投影
VP
矩阵与所述第一交点，得到第一向量，并根据所述第一图像帧的
VP
矩阵与所述第一交点，得到第二向量；根据所述第一向量和所述第二向量，得到所述镜像第一物体在所述低分辨率光追渲染
的渲染过程中的通过深度测试的区域的运动向量
。6.
根据权利要求1所述的方法，其特征在于，所述提取所述低分辨率光追渲染的渲染过程中所述第一图像帧中的通过深度测试的区域的运动...

【专利技术属性】
技术研发人员：孙晔，陈家楠，黄南海，周轶霄，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：