原始图像的处理方法、模型的训练方法、装置和设备制造方法及图纸

本公开实施例公开了一种原始图像的处理方法、模型的训练方法、装置和设备，其中，原始图像的处理方法包括：获取待处理原始图像对应的目标多通道原始图像；基于目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得待处理原始图像对应的曝光恢复后原始图像；基于曝光恢复后原始图像，利用原始图像处理模型中的色彩增强网络，获得曝光恢复后原始图像对应的色彩增强结果；基于色彩增强结果，确定待处理原始图像对应的处理后的目标图像。本公开实施例基于原始图像处理模型中的曝光恢复网络和色彩增强网络实现了对原始图像的联合去噪去马赛克，从而恢复出高质量的目标图像，大大提高目标图像的质量。大大提高目标图像的质量。大大提高目标图像的质量。

【技术实现步骤摘要】
原始图像的处理方法、模型的训练方法、装置和设备


[0001]本公开涉及图像处理技术，尤其是一种原始图像的处理方法、模型的训练方法、装置和设备。

技术介绍

[0002]在图像处理的应用中，由于受到光子计数限制和复杂的图像信号处理(Image Signal Processing，简称：ISP)所引起的各种噪声的影响，将低光下的原始图像(即RAW图像)恢复成高质量的目标图像(比如RGB图像)是具有挑战性的任务。相关技术中，通常先将低光下的原始图像恢复为目标图像，再进行图像亮度增强，以提高图像质量，但是，从原始图像恢复的目标图像质量较低，导致最终增强后的图像质量较差。

技术实现思路

[0003]为了解决上述从原始图像恢复的目标图像质量较低等技术问题，本公开的实施例提供了一种原始图像的处理方法、模型的训练方法、装置和设备，以有效提高恢复的目标图像的质量。
[0004]本公开的第一个方面，提供了一种原始图像的处理方法，包括：获取待处理原始图像对应的目标多通道原始图像；基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像；基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果；基于所述色彩增强结果，确定所述待处理原始图像对应的处理后的目标图像。
[0005]本公开的第二个方面，提供了一种原始图像处理模型的训练方法，包括：获取至少一个训练原始图像和各所述训练原始图像分别对应的训练目标图像标签；基于各所述训练原始图像，确定各所述训练原始图像分别对应的训练多通道原始图像；基于各所述训练多通道原始图像和各所述训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，所述原始图像处理网络包括曝光恢复网络和色彩增强网络。
[0006]本公开的第三个方面，提供了一种原始图像的处理装置，包括：第一获取模块，用于获取待处理原始图像对应的目标多通道原始图像；第一处理模块，用于基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像；第二处理模块，用于基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果；第三处理模块，用于基于所述色彩增强结果，确定所述待处理原始图像对应的处理后的目标图像。
[0007]本公开的第四个方面，提供了一种原始图像处理模型的训练装置，包括：第二获取模块，用于获取至少一个训练原始图像和各所述训练原始图像分别对应的训练目标图像标签；第四处理模块，用于基于各所述训练原始图像，确定各所述训练原始图像分别对应的训
练多通道原始图像；训练处理模块，用于基于各所述训练多通道原始图像和各所述训练目标图像标签，对原始图像处理网络进行训练，获得训练好的原始图像处理模型，所述原始图像处理网络包括曝光恢复网络和色彩增强网络。
[0008]本公开的第五个方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的原始图像的处理方法，或者，用于执行本公开上述任一实施例所述的原始图像处理模型的训练方法。
[0009]本公开的第六个方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的原始图像的处理方法，或者，实现本公开上述任一实施例所述的原始图像处理模型的训练方法。
[0010]本公开的第七个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行本公开上述任一实施例提供的原始图像的处理方法，或者，执行本公开上述任一实施例提供的原始图像处理模型的训练方法。
[0011]基于本公开上述实施例提供的原始图像的处理方法、模型的训练方法、装置和设备，基于原始图像处理模型中的曝光恢复网络和色彩增强网络实现了对原始图像的联合去噪去马赛克，通过曝光恢复网络去除原始图像因光照不足引起的像素级噪声，通过色彩增强网络有效模拟ISP处理的色彩增强步骤，恢复细节和准确的颜色，从而恢复出高质量的目标图像，大大提高目标图像的质量。
附图说明
[0012]图1是本公开提供的原始图像的处理方法的一个示例性的应用场景；
[0013]图2是本公开一示例性实施例提供的原始图像的处理方法的流程示意图；
[0014]图3是本公开另一示例性实施例提供的原始图像的处理方法的流程示意图；
[0015]图4是本公开一示例性实施例提供的Bayer格式的原始图像的打包原理示意图；
[0016]图5是本公开一示例性实施例提供的X
‑
Trans 6*6格式的原始图像的打包原理示意图；
[0017]图6是本公开再一示例性实施例提供的原始图像的处理方法的流程示意图；
[0018]图7是本公开一示例性实施例提供的曝光恢复网络的网络结构示意图；
[0019]图8是本公开一示例性实施例提供的色彩增强网络的网络结构示意图；
[0020]图9是本公开一示例性实施例提供的第一色彩通道注意力网络的处理原理示意图；
[0021]图10是本公开一示例性实施例提供的残差卷积网络的网络结构示意图；
[0022]图11是本公开一示例性实施例提供的原始图像处理模型的训练方法的流程示意图；
[0023]图12是本公开另一示例性实施例提供的原始图像处理模型的训练方法的流程示意图；
[0024]图13是本公开再一示例性实施例提供的原始图像处理模型的训练方法的流程示意图；
[0025]图14是本公开一示例性实施例提供的原始图像的处理装置的结构示意图；
[0026]图15是本公开另一示例性实施例提供的原始图像的处理装置的结构示意图；
[0027]图16是本公开另一示例性实施例提供的第一获取模块501的结构示意图；
[0028]图17是本公开一示例性实施例提供的原始图像处理模型的训练装置的结构示意图；
[0029]图18是本公开另一示例性实施例提供的原始图像处理模型的训练装置的结构示意图；
[0030]图19是本公开再一示例性实施例提供的原始图像处理模型的训练装置的结构示意图；
[0031]图20是本公开实施例提供的一种电子设备的结构图。
具体实施方式
[0032]为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。
[0033]应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0034]本公开概述
[0035]在实现本公开的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种原始图像的处理方法，包括：获取待处理原始图像对应的目标多通道原始图像；基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像；基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果；基于所述色彩增强结果，确定所述待处理原始图像对应的处理后的目标图像。2.根据权利要求1所述的方法，其中，所述基于所述曝光恢复后原始图像，利用所述原始图像处理模型中的色彩增强网络，获得所述曝光恢复后原始图像对应的色彩增强结果，包括：利用所述色彩增强网络中的第一色彩通道注意力网络，对所述曝光恢复后原始图像进行处理，获得第一注意力结果；利用所述色彩增强网络中的残差卷积网络，对所述第一注意力结果进行处理，获得第一中间结果；利用所述色彩增强网络中的像素重排网络，对所述第一中间结果进行处理，获得像素重排结果；利用所述色彩增强网络中的第二色彩通道注意力网络，对所述像素重排结果进行处理，获得所述色彩增强结果。3.根据权利要求2所述的方法，其中，所述利用所述色彩增强网络中的残差卷积网络，对所述第一注意力结果进行处理，获得第一中间结果，包括：利用所述残差卷积网络中的第一卷积层，对所述第一注意力结果进行处理，获得第一处理结果；利用所述残差卷积网络中的中间卷积层，对所述第一处理结果进行处理，获得第二处理结果，所述中间卷积层包括至少一个卷积层和各卷积层分别对应的激活函数；利用所述残差卷积网络中的融合层，对所述第一处理结果和所述第二处理结果进行融合，获得第一融合结果；利用所述残差卷积网络中的第二卷积层，对所述第一融合结果进行处理，获得所述第一中间结果。4.根据权利要求2所述的方法，其中，所述利用所述色彩增强网络中的第一色彩通道注意力网络，对所述曝光恢复后原始图像进行处理，获得第一注意力结果，包括：对所述曝光恢复后原始图像进行池化处理，获得池化后的第一特征图；基于所述第一特征图，确定所述曝光恢复后原始图像对应的第一注意力权重；基于所述曝光恢复后原始图像和所述第一注意力权重，确定所述第一注意力结果；和/或，所述利用所述色彩增强网络中的第二色彩通道注意力网络，对所述像素重排结果进行处理，获得所述色彩增强结果，包括：对所述像素重排结果进行池化处理，获得池化后的第二特征图；基于所述第二特征图，确定所述像素重排结果对应的第二注意力权重；基于所述像素重排结果和所述第二注意力权重，确定所述色彩增强结果。
5.根据权利要求1所述的方法，其中，所述基于所述目标多通道原始图像，利用预先训练获得的原始图像处理模型中的曝光恢复网络，获得所述待处理原始图像对应的曝光恢复后原始图像，包括：利用所述曝光恢复网络中的编码器网络，对所述目标多通道原始图像进行处理，获得编码结果；利用所述曝光恢复网络中的解码器网络，对所述编码结果进行处理，获得所述曝光恢复后原始图像。6.根据权利要求5所述的方法，其中，所述编码器网络包括第一数量个编码器，所述解码器网络包括分别与第一数量个编码器对应的第一数量个解码器；所述利用所述曝光恢复网络中的编码器网络，对所述目标多通道原始图像进行处理，获得编码结果，包括：利用所述编码器网络中的第i个编码器，对第i
‑
1编码结果进行处理，获得第i编码结果；其中，i＝1、2、
…
、N，N表示第一数量，第1个编码器对所述目标多通道原始图像进行处理，获得第1编码结果，第N编码结果作为所述编码器网络的所述编码结果；所述利用所述曝光恢复网络中的解码器网络，对所述编码结果进行处理，获得所述曝光恢复后原始图像，包括：利用所述解码器网络中的第j个解码器，对第j
‑
1解码结果和所述第j个解码器对应的第N
‑
j+1个编码器的第N
‑
j+1编码结果进行处理，获得第j解码结果；其中，j＝1、2、
…
、N，第1个解码器对所述编码器网络的所述编码结果进行处理，获得第1解码结果，第N解码结果作为所述曝光恢复后原始图像。7.根据权利要求1所述的方法，其中，所述获取待处理原始图像对应的目标多通道原始图像，包括：根据所述待处理原始图像对应的打包规则，对所述待处理原始图像进行打包处理，获得所述目标多通道原始图像。8.根据权利要求1所述的方法，其中，所述获取待处理原始图像对应的目标多通道原始图像，包括：根据所述待处理原始图像对应的黑电平，对所述待处理原始图像进行黑电平去除处理，获得去除黑电平后的第一原始图像；对所述第一原始图像进行归一化处理，获得归一化原始图像；根据所述待处理原始图像对应的打包规则，对所述归一化原始图像进行打包处理，获得所述目标多通道原始图像。9.根据权利要求8所...

【专利技术属性】
技术研发人员：马嘉祺，王国利，张骞，黄畅，
申请(专利权)人：北京地平线信息技术有限公司，
类型：发明
国别省市：