处理图像的方法和相关设备技术

本申请提供一种处理图像的方法和相关设备，该方法包括：获取待处理图像的彩色图像和亮度图像，其中该彩色图像为红绿蓝RGB格式的图像使用深度神经网络图像信号处理和时域空域降噪技术对该彩色图像和该亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像对该低频参考图像、该中频参考图像和该高频参考图像进行融合，得到已处理图像。上述技术方案利用两种降噪方法对图像进行降噪处理，可以得到噪声弱、细节强、运动结构清晰的彩色降噪增强结果。色降噪增强结果。色降噪增强结果。

【技术实现步骤摘要】
处理图像的方法和相关设备


[0001]本申请涉及图像处理领域，更具体地，涉及一种处理图像的方法和相关设备。

技术介绍

[0002]在一些拍摄场景中，由于光照强度较低，摄像机捕捉到的图像信息的信噪比低，图像内容差，不利于辨识场景内物体内容。通过传统的图像处理流程，往往只能提升静态物体成像效果，无法提升动态物体成像质量。甚至有时甚至会牺牲动态物体成像效果来提升整体静态视觉质量，产生极强的运动拖影，即鬼影。
[0003]因此，需要一个更适合的图像处理流程，以期在光照强度较低的场景下提供良好的图像处理效果。

技术实现思路

[0004]本申请提供一种处理图像的方法和相关设备，可以得到噪声弱、细节强、运动结构清晰的彩色降噪增强结果。
[0005]第一方面，本申请实施例提供一种处理图像的方法，包括获取待处理图像的彩色图像和亮度图像，其中该彩色图像为红绿蓝RGB格式的图像使用深度神经网络图像信号处理DNN ISP和时域空域降噪技术对该彩色图像和该亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像对该低频参考图像、该中频参考图像和该高频参考图像进行融合，得到已处理图像。
[0006]DNN ISP降噪能够很好地降低噪声，且不会引入传统算法造成的运动鬼影。时域空域降噪算法能够更好地保留细节纹理。上述技术方案利用两种降噪方法对图像进行降噪处理，可以得到噪声弱、细节强、运动结构清晰的彩色降噪增强结果。
[0007]在一种可能的设计中，该使用深度神经网络图像信号处理DNN ISP和时域空域降噪技术对该彩色图像和该亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像，包括对该彩色图像进行DNN ISP降噪处理，得到该低频参考图像对该亮度图像进行时域空域降噪处理，得到该高频参考图像；对该亮度图像和该高频参考图像进行DNN ISP降噪处理，得到该中频参考图像。
[0008]上述技术方案将主要影响运动物体结构和低频平坦区域噪声情况的中低频信息与主要影响纹理信息的高频亮度信息区分开，使图像降噪增强算法可以针对不同频率信息进行更有侧重的降噪增强处理，发挥各自长处。具体地，DNN ISP降噪能够很好地降低噪声，且不会引入传统算法造成的运动鬼影。因此，使用DNN ISP应用到中频信息和低频信息的降噪任务中，可以获得良好的降噪结果，且保留中低频信息的结构信息和色彩信息。时域空域降噪算法能够更好地保留细节纹理。将时域空域降噪算法应用到高频信息的降噪任务中，可以保留更好的细节信息。上述技术方案结合各频段降噪结果的降噪优势，突出低频色彩降噪的低色彩噪声、少运动鬼影、保留色彩信息，中频亮度降噪的少运动鬼影、少结构噪声、保留结构信息，以及高频亮度降噪的细节保留完善。
[0009]在一种可能的设计中，该对该亮度图像和该高频参考图像进行DNS ISP降噪处理，得到该中频参考图像，包括对该亮度图像进行拆分，得到N个第一通道数据，N为大于或等于2的正整数对该高频参考图像进行拆分，得到N个第二通道数据将该N个第一通道数据与该N个第二通道数据延通道拼接，得到2
×
N个第三通道数据将该2
×
N个第三通道数据输入降噪网络，得到N个第四通道数据，该N个第四通道数据与该N个彩色滤色镜的颜色一一对应，该N个第四通道数据中的每个第四通道数据包括对应的颜色的像素强度将该N个第四通道数据组合，得到该中频参考图像。
[0010]在一种可能的设计中，该对该低频参考图像、该中频参考图像和该高频参考图像进行融合，得到已处理图像，包括对该低频参考图像和该中频参考图像进行融合，得到第一参考图像对该高频参考图像和该第一参考图像进行融合，得到该已处理图像。
[0011]在一种可能的设计中，该对该低频参考图像和该中频参考图像进行融合，包括将RGB格式的该低频参考图像转为亮度色度YUV格式的第二参考图像使用该中频参考图像替换该第二参考图像中的明亮度Y图像，得到该第一参考图像。
[0012]在一种可能的设计中，该对该高频参考图像和该第一次参考图像进行融合，得到该已处理图像，包括使用低频滤波器提取该高频参考图像的高频细节，得到高频细节图像将该高频细节图像与该第一参考图像中的Y图像相加，得到第三参考图像，其中该第三参考图像为YUV格式的图像将该第三参考图像转换为RGB格式的该已处理图像。
[0013]在一种可能的设计中，该获取待处理图像的彩色图像和亮度图像，包括在该待处理图像是通过包括红绿蓝白RGBW滤色镜的感光元件获取的情况下，根据该RGBW滤色镜中的RGB滤色镜对应的感光单位的像素强度得到该彩色图像，根据该RGBW滤色镜中的白色W滤色镜对应的感光单位的像素强度得到该亮度图像。
[0014]在一种可能的设计中，该获取待处理图像的彩色图像和亮度图像，包括在该待处理图像是通过包括RGGB滤色镜的感光元件获取的情况下，根据该感光元件的像素强度得到该彩色图像确定对应于该彩色图像的YUV格式的图像中的亮度Y图像为该亮度图像。
[0015]第二方面，本申请实施例提供一种电子设备，该电子设备包括用于实现第一方面或第一方面的任一种可能的实现方式的单元。
[0016]第三方面，本申请实施例提供一种电子设备，该电子设备包括处理器，该处理器用于与存储器耦合，读取并执行该存储器中的指令和/或程序代码，以执行第一方面或第一方面的任一种可能的实现方式。
[0017]第四方面，本申请实施例提供一种芯片系统，该芯片系统包括逻辑电路，该逻辑电路用于与输入/输出接口耦合，通过该输入/输出接口传输数据，以执行第一方面或第一方面任一种可能的实现方式。
[0018]第五方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，当该计算机存储介质在计算机上运行时，使得计算机执行如第一方面或第一方面的任一种可能的实现方式。
[0019]第六方面，本申请实施例提供一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行如第一方面或第一方面的任一种可能的实现方式。
附图说明
[0020]图1是一个摄像设备的示意性结构框图。
[0021]图2是拜耳滤色镜以及滤色镜矩阵的示意图。
[0022]图3是一个RGBW滤色镜的滤色镜矩阵的示意图。
[0023]图4是根据本申请实施例提供的图像处理的方法的示意性流程图。
[0024]图5是根据DNN ISP算法的示意性流程图。
[0025]图6是对彩色图像进行DNN ISP降噪处理的示意性流程图。
[0026]图7是对该亮度图像和该高频参考图像进行DNN ISP降噪处理的示意性流程图。
[0027]图8是对该亮度图像进行时域空域降噪处理的示意性流程图。
[0028]图9是低频参考图像和中频参考图像融合的示意性流程图。
[0029]图10是高频参考图像和第一参考图像融合的示意性结构框图。
[0030本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理图像的方法，其特征在于，包括：获取待处理图像的彩色图像和亮度图像，其中所述彩色图像为红绿蓝RGB格式的图像；使用深度神经网络图像信号处理DNN ISP和时域空域降噪技术对所述彩色图像和所述亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像；对所述低频参考图像、所述中频参考图像和所述高频参考图像进行融合，得到已处理图像。2.如权利要求1所述的方法，其特征在于，所述使用深度神经网络图像信号处理DNNISP和时域空域降噪技术对所述彩色图像和所述亮度图像进行降噪，得到低频参考图像、中频参考图像和高频参考图像，包括：对所述彩色图像进行DNN ISP降噪处理，得到所述低频参考图像；对所述亮度图像进行时域空域降噪处理，得到所述高频参考图像；对所述亮度图像和所述高频参考图像进行DNN ISP降噪处理，得到所述中频参考图像。3.如权利要求2所述的方法，其特征在于，所述对所述亮度图像和所述高频参考图像进行DNSISP降噪处理，得到所述中频参考图像，包括：对所述亮度图像进行拆分，得到N个第一通道数据，N为大于或等于2的正整数；对所述高频参考图像进行拆分，得到N个第二通道数据；将所述N个第一通道数据与所述N个第二通道数据延通道拼接，得到2
×
N个第三通道数据；将所述2
×
N个第三通道数据输入降噪网络，得到N个第四通道数据，所述N个第四通道数据与所述N个彩色滤色镜的颜色一一对应，所述N个第四通道数据中的每个第四通道数据包括对应的颜色的像素强度；将所述N个第四通道数据组合，得到所述中频参考图像。4.如权利要求1至3中任一项所述的方法，其特征在于，所述对所述低频参考图像、所述中频参考图像和所述高频参考图像进行融合，得到已处理图像，包括：对所述低频参考图像和所述中频参考图像进行融合，得到第一参考图像；对所述高频参考图像和所述第一参考图像进行融合，得到所述已处理图像。5.如权利要求4所述的方法，其特征在于，所述对所述低频参考图像和所述中频参考图像进行融合，包括：将RGB格式的所述低频参考图像转为亮度色度YUV格式的第二参考图像；使用所述中频参考图像替换所述第二参考图像中的明亮度Y图像，得到所述第一参考图像。6.如权利要求5所述的方法，其特征在于，所述对所述高频参考图像和所述第一次参考图像进行融合，得到所述已处理图像，包括：使用低频滤波器提取所述高频参考图像的高频细节，得到高频细节图像；将所述高频细节图像与所述第一参考图像中的Y图像相加，得到第三参考图像，其中所述第三参考图像为YUV格式的图像；将所述第三参考图像转换为RGB格式的所述已处理图像。7.如权利要求1至6中任一项所述的方法，其特征在于，所述获取待处理图像的彩色图像和亮度图像，包括：
在所述待处理图像是通过包括红绿蓝白RGBW滤色镜的感光元件获取的情况下，根据所述RGBW滤色镜中的RGB滤色镜对应的感光单位的像素强度得到所述彩色图像，根据所述RGBW滤色镜中的白色W滤色镜对应的感光单位的像素强度得到所述亮度图像。8.如权利要求1至6中任一项所述的方法，其特征在于，所述获取待处理图像的彩色图像和亮度图像，包括：在所述待处理图像是通过包括RGGB滤色镜的感光元件获取的情况下，根据所述感光元件的像素强度得到所述彩色图像；确定对应于所述彩色图像的YUV格式的图像中的亮度Y图像为所述亮度图像。9.一种电子设备，其特征在于，包括：获取单元，用于获取待处理图像的彩色图像和亮度图像，其中所述彩色图像为红绿蓝R...

【专利技术属性】
技术研发人员：高源，朱力于，许俊峰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：