图像处理方法和装置制造方法及图纸

本申请公开了一种图像处理方法和装置。其中，该方法包括获取第一图像，所述第一图像为图像信号处理器ISP处理后的图像，利用图像逆处理模型对所述第一图像进行与目标图像处理过程对应的逆处理，得到第二图像，其中，所述目标图像处理过程包括所述ISP处理过程中除高动态范围成像HDR处理过程之外的其他图像处理过程，利用HDR逆处理模型对所述第二图像中的局部区域进行模糊处理，得到第三图像。根据本申请实施例的图像处理方法，能够简化ISP的仿真过程，提升仿真效果。提升仿真效果。提升仿真效果。

【技术实现步骤摘要】
图像处理方法和装置


[0001]本申请属于图像处理
，尤其涉及一种图像处理方法和装置。

技术介绍

[0002]图像传感器是摄像机的重要组成部分。图像传感器可以采集光学图像并将光学图像转换成后端图像信号处理器(Image Signal Processor，ISP)可用的图像信号。ISP可以对前端图像传感器输出的图像信号(即输入图像信号)进行高动态范围成像(High Dynamic Range，HDR)、自动白平衡(Auto white balance，AWB)、色彩校正(Color correction Matrix，CCM)、Gamma矫正等处理，以在不同的光学条件下都能较好的还原出摄像的现场细节，得到目标图像。
[0003]现有技术中，为了对ISP的输入图像进行仿真，通常是对目标图像进行与上述ISP处理对应的逆处理，也即，对目标图像进行Gamma逆变换、逆CCM色彩校正、逆白平衡等处理，以得到输入ISP之前的输入图像。另外，目前无法实现与HDR对应的逆处理。
[0004]但是，目前与ISP处理对应的逆处理过程复杂，且得到的输入图像的准确率较低。也即，现有技术中ISP的逆处理仿真过程复杂，且逆处理仿真效果较差。

技术实现思路

[0005]本申请实施例提供了一种图像处理方法、装置、设备、计算机可读存储介质及计算机程序产品，能够简化ISP的逆处理仿真过程，提升仿真效果。
[0006]第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
[0007]获取第一图像，所述第一图像为图像信号处理器ISP处理后的图像，
[0008]利用图像逆处理模型对所述第一图像进行与目标图像处理过程对应的逆处理，得到第二图像，其中，所述目标图像处理过程包括所述ISP处理过程中除高动态范围成像HDR处理过程之外的其他图像处理过程，
[0009]利用HDR逆处理模型对所述第二图像中的局部区域进行模糊处理，得到第三图像。
[0010]在一种可能的实现方式中，所述利用图像逆处理模型对所述第一图像进行与目标图像处理过程对应的逆处理，得到第二图像之前，所述方法还包括：
[0011]获取多个ISP处理后的第一图像样本及其分别对应的ISP处理前的第二图像样本，
[0012]对所述第一图像样本和所述第二图像样本进行特征提取，得到与每个所述第一图像样本分别对应的第一图像特征，以及与每个所述第二图像样本分别对应的第二图像特征，
[0013]利用初始图像逆处理模型对所述第一图像特征进行与所述目标图像处理过程对应的逆处理，得到与每个所述第一图像特征分别对应的第一预测图像特征，
[0014]根据多个所述第二图像特征及其分别对应的第一预测图像特征之间的相似度确定第一损失函数值，
[0015]根据所述第一损失函数值调整所述初始图像逆处理模型的模型参数，训练得到所
述图像逆处理模型。
[0016]在一种可能的实现方式中，所述根据多个所述第二图像特征及其分别对应的第一预测图像特征之间的相似度确定第一损失函数值，包括：
[0017]计算多个所述第一预测图像特征和多个所述第二图像特征之间的均方差，
[0018]将所述均方差确定为所述第一损失函数值。
[0019]在一种可能的实现方式中，所述利用HDR逆处理模型对所述第二图像中的局部区域进行模糊处理，得到第三图像之前，所述方法还包括：
[0020]获取多个HDR处理后的第三图像样本及其分别对应的HDR处理前的第四图像样本，
[0021]利用初始HDR逆处理模型对每个所述第三图像样本的局部区域分别进行模糊处理，得到与每个所述第三图像样本分别对应的第二预测图像，
[0022]根据多个所述第四图像样本及其分别对应的第二预测图像之间的相似度确定第二损失函数值，
[0023]根据所述第二损失函数值调整所述初始HDR逆处理模型的模型参数，训练得到所述HDR逆处理模型。
[0024]在一种可能的实现方式中，所述获取多个HDR处理后的第三图像样本，包括：
[0025]获取多个在时间上连续的第四图像，
[0026]利用所述图像逆处理模型分别对多个所述第四图像进行与所述目标图像处理过程对应的逆处理，得到多个第五图像，
[0027]在所述多个第五图像中获取连续的三帧第三图像样本。
[0028]在一种可能的实现方式中，所述利用初始HDR逆处理模型对每个所述第三图像样本的局部区域分别进行模糊处理，得到与每个所述第三图像样本分别对应的第二预测图像，包括：
[0029]利用所述初始HDR逆处理模型提取所述连续的三帧第三图像样本之间的关联特征，
[0030]根据所述关联特征对目标图像样本的局部区域进行模糊处理，得到与所述目标图像样本对应的第二预测图像，所述目标图像样本为所述连续的三帧第三图像样本中处于中间位置的图像样本。
[0031]在一种可能的实现方式中，所述根据所述关联特征对目标图像样本的局部区域进行模糊处理，得到与所述目标图像样本对应的第二预测图像，包括：
[0032]将所述关联特征确定为与所述目标图像样本对应的目标图像特征，
[0033]利用随机算法对所述目标图像特征进行处理，得到第二预测图像特征，
[0034]确定与所述第二预测图像特征对应的图像为第二预测图像。
[0035]在一种可能的实现方式中，所述图像逆处理模型为四层的卷积神经网络模型，所述HDR逆处理模型为双向长短时记忆循环神经网络模型。
[0036]在一种可能的实现方式中，所述模糊处理包括欠曝处理和过曝处理中的任意一个。
[0037]第二方面，本申请实施例提供了一种图像处理装置，该装置包括：
[0038]第一获取模块，用于获取第一图像，所述第一图像为图像信号处理器ISP处理后的图像，
[0039]第一处理模块，用于利用图像逆处理模型对所述第一图像进行与目标图像处理过程对应的逆处理，得到第二图像，其中，所述目标图像处理过程包括所述ISP处理过程中除高动态范围成像HDR处理过程之外的其他图像处理过程，
[0040]第二处理模块，用于利用HDR逆处理模型对所述第二图像中的局部区域进行模糊处理，得到第三图像。
[0041]第三方面，本申请实施例提供了一种电子设备，该设备包括：处理器以及存储有计算机程序指令的存储器，
[0042]所述处理器执行所述计算机程序指令时实现上述第一方面中任一种可能的实现方法中的方法。
[0043]第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现上述第一方面中任一种可能的实现方法中的方法。
[0044]第五方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备执行如上述第一方面中任一种可能的实现方法中的方法。
[0045本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取第一图像，所述第一图像为图像信号处理器ISP处理后的图像，利用图像逆处理模型对所述第一图像进行与目标图像处理过程对应的逆处理，得到第二图像，其中，所述目标图像处理过程包括所述ISP处理过程中除高动态范围成像HDR处理过程之外的其他图像处理过程，利用HDR逆处理模型对所述第二图像中的局部区域进行模糊处理，得到第三图像。2.根据权利要求1所述的方法，其特征在于，所述利用图像逆处理模型对所述第一图像进行与目标图像处理过程对应的逆处理，得到第二图像之前，所述方法还包括：获取多个ISP处理后的第一图像样本及其分别对应的ISP处理前的第二图像样本，对所述第一图像样本和所述第二图像样本进行特征提取，得到与每个所述第一图像样本分别对应的第一图像特征，以及与每个所述第二图像样本分别对应的第二图像特征，利用初始图像逆处理模型对所述第一图像特征进行与所述目标图像处理过程对应的逆处理，得到与每个所述第一图像特征分别对应的第一预测图像特征，根据多个所述第二图像特征及其分别对应的第一预测图像特征之间的相似度确定第一损失函数值，根据所述第一损失函数值调整所述初始图像逆处理模型的模型参数，训练得到所述图像逆处理模型。3.根据权利要求2所述的方法，其特征在于，所述根据多个所述第二图像特征及其分别对应的第一预测图像特征之间的相似度确定第一损失函数值，包括：计算多个所述第一预测图像特征和多个所述第二图像特征之间的均方差，将所述均方差确定为所述第一损失函数值。4.根据权利要求1所述的方法，其特征在于，所述利用HDR逆处理模型对所述第二图像中的局部区域进行模糊处理，得到第三图像之前，所述方法还包括：获取多个HDR处理后的第三图像样本及其分别对应的HDR处理前的第四图像样本，利用初始HDR逆处理模型对每个所述第三图像样本的局部区域分别进行模糊处理，得到与每个所述第三图像样本分别对应的第二预测图像，根据多个所述第四图像样本及其分别对应的第二预测图像之间的相似度确定第二损失函数值，根据所述第二损失函数值调整所述初始HD...

【专利技术属性】
技术研发人员：欧颖，杨尚威，
申请(专利权)人：北京经纬恒润科技股份有限公司，
类型：发明
国别省市：