一种图像处理方法及终端技术

一种图像处理方法及终端，涉及图像处理技术领域，利用当前帧图像渲染过程中得到的深度渲染结果和阴影渲染结果实现降噪处理，无需获取大量的信息参与运算，降低了对带宽的要求，可以适用于手机、平板等移动终端。方法包括：终端完成深度渲染，得到第一图像的深度渲染结果。终端完成阴影渲染，得到第一图像的阴影渲染结果。终端基于深度渲染结果和阴影渲染结果完成降噪处理，得到平滑变化的阴影效果图。得到平滑变化的阴影效果图。得到平滑变化的阴影效果图。

【技术实现步骤摘要】
一种图像处理方法及终端


[0001]本申请涉及图像处理
，尤其涉及一种图像处理方法及终端。

技术介绍

[0002]在手机、平板等移动终端中，可以将光线追踪算法用于图形渲染管线中的各个渲染阶段，使得渲染效果和精确性上具有较大提升。光线追踪算法是通过从相机发射光线，与场景中的几何体进行碰撞检测，从而计算光照、材质、阴影等着色效果。与此同时，由于采用光线追踪算法时发射的光线数量是有限，画面上的采样点之间并不连续，会产生噪点。因此，采用光线追踪算法渲染得到的图像的质量需要高度依赖降噪处理。
[0003]然而，现有的降噪方案中，通常需要大量的信息参与运算。例如，采用时空方差引导滤波器(Spatiotemporal Variance
‑
Guided Filter，SVGF)算法实现降噪时，不仅需要获取当前帧的信息，还需要获取前一帧图像的深度、颜色等信息来参与降噪运算。相应的，图形处理器(Graphics Processing Unit，GPU)需要从内存中读取大量的信息。这就对GPU与内存之间的读写带宽提出了较高的要求，而手机、平板等移动终端极有可能无法负担该带宽要求。

技术实现思路

[0004]有鉴于此，本申请提供了一种图像处理方法及终端，可以利用当前帧图像渲染过程中得到的深度渲染结果和阴影渲染结果实现降噪处理，无需获取大量的信息参与运算，降低了对带宽的要求，可以适用于手机、平板等移动终端。
[0005]为了达到上述目的，本申请实施例采用如下技术方案：
[0006]第一方面，提供一种图像处理方法，可用于手机、平板等终端。终端需要显示第一图像时，可以完成深度渲染，得到第一图像的深度渲染结果。以及，完成阴影渲染，得到第一图像的阴影渲染结果。然后，终端基于深度渲染结果和阴影渲染结果完成对第一图像中阴影的边缘的铝箔处理，从而实现降噪，并且可以得到平滑变化的阴影效果图。
[0007]综上所述，采用本申请实施例，依据深度渲染结果和阴影渲染结果即可得到平滑的阴影效果图，从而可以消除阴影边缘的噪点。无需获取大量的渲染结果来实现降噪，可以减少对数据读写带宽的开销。并且，对阴影的边缘完成滤波处理即可消除阴影边缘的噪点，无需大量复杂的运算，可以有针对性的降噪，简化运算。如此，本申请实施例的图像处理方法也可以适用于手机、平板等数据读写带宽和运算资源都有限的移动终端，提高了降噪处理的通用性。
[0008]常规的渲染管线包括延迟渲染管线和前向渲染管线，上述图像处理方法可以应用于延迟渲染管线和前向渲染管线。下面对本申请实施例提供的图像处理方法在延迟渲染管线和前向渲染管线中的具体实现分别说明。
[0009]第一，应用于延迟渲染管线。
[0010]在一种可能的设计方式中，在终端完成阴影渲染，得到第一图像的阴影渲染结果
之前，上述方法还包括：终端完成几何绘制(即G
‑
Buffer Pass)，得到第一图像的几何绘制结果，几何绘制结果包括法线信息。终端完成阴影渲染，得到第一图像的阴影渲染结果，包括：终端基于深度渲染结果和法线信息，完成阴影渲染，得到第一图像的阴影渲染结果，阴影渲染结果包括法线信息、阴影信息和距离信息。
[0011]采用延迟渲染管线，可以将场景内所有几何体绘制到帧缓冲(如图6所示几何绘制过程)后再进行着色计算。几何绘制过程可以计算得到场景中的几何体映射到像素(片元)的位置、颜色、法线等信息。也就是说，采用延迟渲染管线，可以在着色之前计算出法线信息。相应的，可以将该法线信息用于阴影渲染，得到包括法线信息的阴影渲染结果。从而可以得到更丰富的几何信息用于后续降噪处理。
[0012]在一种可能的设计方式中，终端基于深度渲染结果和阴影渲染结果完成降噪处理，包括：终端基于深度渲染结果、法线信息、阴影信息和距离信息完成降噪处理。其中，深度渲染结果用于确定第一图像中的不连续表面，法线信息用于确定第一图像中各个像素的方向，阴影信息用于确定第一图像中的阴影区域，距离信息用于确定第一图像中的半影区域。
[0013]在一种可能的设计方式中，在得到第一图像的阴影渲染结果后，上述方法还包括：终端将阴影渲染结果编码到第一贴图后存储到内存中，第一贴图包括至少四个通道，其中两个通道用于存储法线信息，剩余两个通道中的一个通道用于存储阴影信息、另一个通道用于存储距离信息。在降噪处理前，终端从内存中获取第一贴图，得到阴影渲染结果。
[0014]采用本实施例，将阴影渲染结果编码到一张贴图上存储，从而可以减少后续将阴影渲染结果写入内存或者在降噪处理时从内存中读取阴影渲染结果所需的带宽。例如，在降噪处理时，仅需获取第一贴图，即可获取到用于降噪处理的绝大多数信息，即阴影渲染结果。
[0015]在一种可能的设计方式中，第一贴图为RGBA16F格式，第一贴图包括R通道、G通道、B通道和A通道共四个通道。示例性的，R通道和G通道可用于存储法线信息，B通道可用于存储阴影信息，A通道可用于存储距离信息。如此，可以将阴影渲染结果存储在一张贴图的四个通道。
[0016]在一种可能的设计方式中，终端完成几何绘制，得到第一图像的几何绘制结果，包括：终端在终端的GPU的第一片上缓存Tile Buffer中完成几何绘制，并将几何绘制结果存储在第一Tile Buffer中。
[0017]由于几何绘制过程中，GPU需要向帧缓冲中完成大量几何绘制，因此对GPU与帧缓冲之间的读写数据带宽的开销较大。基于此，设置几何绘制的帧缓冲为GPU的Tile Buffer中的帧缓冲(即第一Tile Buffer)。如此，可以利用Tile Buffer低带宽开销特性，减少GPU绘制几何信息的带宽开销。
[0018]在一种可能的设计方式中，在终端基于深度渲染结果和法线信息，完成阴影渲染之前，上述方法还包括：GPU从第一Tile Buffer中获取法线信息。终端基于深度渲染结果和法线信息，完成阴影渲染，包括：GPU在GPU的第二Tile Buffer中基于深度渲染结果和法线信息，完成阴影渲染。
[0019]在将几何绘制结果存储到第一Tile Buffer后，GPU在降噪处理时，则可以从第一Tile Buffer中获取法线信息。与从内存中获取法线信息相比：从第一Tile Buffer中获取
法线信息，可以减少带宽消耗。
[0020]第二，应用于前向渲染管线。
[0021]在一种可能的设计方式中，上述终端完成阴影渲染，得到第一图像的阴影渲染结果，包括：终端基于深度渲染结果，完成阴影渲染，得到第一图像的阴影渲染结果，阴影渲染结果包括阴影信息和距离信息。
[0022]采用前向渲染管线，不会有几何绘制过程，则不会得到包括法线信息的几何绘制结果。但是，终端依然可以基于深度渲染结果来完成阴影渲染。
[0023]在一种可能的设计方式中，终端基于深度渲染结果和阴影渲染结果完成降噪处理，包括：终端基于深度渲染结果、阴影信息和距离信息完成降噪处理。其中，深度渲染结果用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于终端，所述终端需要显示第一图像，所述方法包括：所述终端完成深度渲染，得到所述第一图像的深度渲染结果；所述终端完成阴影渲染，得到所述第一图像的阴影渲染结果；所述终端基于所述深度渲染结果和所述阴影渲染结果完成降噪处理，得到平滑变化的阴影效果图。2.根据权利要求1所述的方法，其特征在于，所述终端采用延迟渲染管线渲染所述第一图像，在所述终端完成阴影渲染，得到所述第一图像的阴影渲染结果之前，所述方法还包括：所述终端完成几何绘制，得到所述第一图像的几何绘制结果，所述几何绘制结果包括法线信息；所述终端完成阴影渲染，得到所述第一图像的阴影渲染结果，包括：所述终端基于所述深度渲染结果和法线信息，完成阴影渲染，得到所述第一图像的阴影渲染结果，所述阴影渲染结果包括法线信息、阴影信息和距离信息。3.根据权利要求2所述的方法，其特征在于，所述终端基于所述深度渲染结果和所述阴影渲染结果完成降噪处理，包括：所述终端基于所述深度渲染结果、所述法线信息、所述阴影信息和所述距离信息完成降噪处理，所述深度渲染结果用于确定所述第一图像中的不连续表面，所述法线信息用于确定所述第一图像中各个像素的方向，所述阴影信息用于确定所述第一图像中的阴影区域，所述距离信息用于确定所述第一图像中的半影区域。4.根据权利要求2或3所述的方法，其特征在于，在所述得到所述第一图像的阴影渲染结果后，所述方法还包括：所述终端将所述阴影渲染结果编码到第一贴图后存储到内存中，所述第一贴图包括至少四个通道，其中两个通道用于存储所述法线信息，剩余两个通道中的一个通道用于存储阴影信息、另一个通道用于存储距离信息；在降噪处理前，所述终端从所述内存获取所述第一贴图，得到所述阴影渲染结果。5.根据权利要求4所述的方法，其特征在于，所述第一贴图为RGBA16F格式，所述第一贴图包括R通道、G通道、B通道和A通道共四个通道。6.根据权利要求2
‑
5中任一项所述的方法，其特征在于，所述终端完成几何绘制，得到所述第一图像的几何绘制结果，包括：所述终端在所述终端的GPU的第一片上缓存Tile Buffer中完成几何绘制，并将所述几何绘制结果存储在所述第一Tile Buffer中。7.根据权利要求6所述的方法，其特征在于，在所述终端基于所述深度渲染结果和法线信息，完成阴影渲染之前，所述方法还包括：所述GPU从所述第一Tile Buffer中获取法线信息；所述终端基于所述深度渲染结果和法线信息，完成阴影渲染，包括：所述GPU在所述GPU的第二Tile Buffer中基于所述深度渲染结果和所述法线信息，完成阴影渲染。8....

【专利技术属性】
技术研发人员：王伟亮，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：