ISP参数预测方法及装置制造方法及图纸

本发明专利技术提供一种ISP参数预测方法及装置，该方法包括：将待处理RAW图像输入特征提取器中，得到第一特征矩阵；将第一特征矩阵输入自注意力层，得到自注意力层输出的注意力图，将注意力图输入多尺度Swin Transformer模型，得到第二特征矩阵；将第二特征矩阵输入第一分支和第二分支，得到待处理RAW图像中每个像素对应的ISP参数最优值和置信分数；将像素对应的ISP参数最优值和置信分数相乘后计算平均值，得到待处理RAW图像对应的ISP参数最优值。本发明专利技术对任意RAW图像均可自动预测最优ISP参数，且预测参数适用于全局图像，提高成像质量和效率。率。率。

【技术实现步骤摘要】
ISP参数预测方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种ISP参数预测方法及装置。

技术介绍

[0002]ISP(Image Signal Processor，图像信号处理器)广泛应用于智能手机、显示器、监控设备和智能驾驶系统等。ISP内部包含具有自动对焦、自动白平衡、自动色调映射等一系列功能的算法模块，通过对一幅失真的RAW图像进行加工处理，可输出一幅高质量的RGB图像。ISP中每一个算法模块具有若干可配置的参数，用于调节算法作用在图像上的强度。
[0003]目前这些算法模块的参数依赖有经验的专家进行手工调节，人工调参效率低下。另外，专家在调参时，依赖主观感受对图像质量进行评估，评估标准较为主观，难以保持一致性。
[0004]AI(Artificial Intelligence，人工智能)算法具有强大的学习能力，目前已有基于AI的自动调参算法。一种方法是采用深度神经网络构建AI ISP模型，取代传统的ISP，不需要考虑ISP参数配置，直接学习RAW图像到高质量RGB图像的映射。但该方法需要大量RAW图像和高质量的RGB图像对，训练集制作成本较高。另外，由于失真因素复杂，为提高对多样化失真类型的处理能力，需要较大规模的网络模型和精细化的结构设计，网络参数量较大，难以在手机等移动设备上部署。
[0005]另一种方法是保留传统的ISP，采用AI算法对ISP内部各个算法模块的配置参数进行自动求解。代表性方法之一是采用各类搜索算法在参数空间内搜索得分最高的图像。基于搜索的算法虽能够搜索到较优的ISP参数，但是不具备对其他图像的泛化能力。这意味着给定一幅新的图像，只能重新搜索，并且搜索空间与搜索时间随ISP参数数量的增加爆炸式增长。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术提供一种ISP参数预测方法及装置。
[0007]本专利技术提供一种ISP参数预测方法，包括：
[0008]将待处理RAW图像输入ISP参数预测模型中的特征提取器中，得到所述特征提取器输出的第一特征矩阵；
[0009]将所述第一特征矩阵输入所述ISP参数预测模型中的自注意力层，得到所述自注意力层输出的注意力图，将所述注意力图输入所述ISP参数预测模型中的多尺度Swin Transformer模型，得到所述多尺度Swin Transformer模型输出的第二特征矩阵；
[0010]将所述第二特征矩阵输入所述ISP参数预测模型中的第一分支和第二分支，得到所述第一分支输出的所述待处理RAW图像中每个像素对应的ISP参数最优值，以及所述第二分支输出的所述每个像素对应的置信分数；
[0011]将所述每个像素对应的ISP参数最优值和置信分数相乘，得到所述每个像素对应的ISP参数预测结果，将所有像素对应的ISP参数预测结果的平均值作为所述待处理RAW图
像对应的ISP参数最优值。
[0012]根据本专利技术提供的一种ISP参数预测方法，所述特征提取器为ViT模型，所述将待处理RAW图像输入ISP参数预测模型中的特征提取器中，得到所述特征提取器输出的第一特征矩阵，包括：
[0013]将待处理RAW图像划分成多个图像块，并将每个图像块转换为向量；
[0014]将所有图像块的向量输入所述ViT模型中，得到每个图像块的第一特征矩阵；
[0015]将所有图像块在同一个通道上的第一特征矩阵进行拼接，得到所述第一特征矩阵。
[0016]根据本专利技术提供的一种ISP参数预测方法，所述将所述第一特征矩阵输入所述ISP参数预测模型中的自注意力层，得到所述自注意力层输出的注意力图，包括：
[0017]基于所述自注意力层将所述第一特征矩阵进行尺寸变换，计算尺寸变换后的所述第一特征矩阵的Q矩阵、K矩阵和V矩阵；
[0018]对所述K矩阵进行尺寸变换，确定所述Q矩阵与尺寸变换后的所述K矩阵之间的乘积；
[0019]将所述乘积输入softmax层，将所述softmax层的输出结果与所述V矩阵进行相乘，得到注意力图。
[0020]根据本专利技术提供的一种ISP参数预测方法，所述将所述注意力图输入所述ISP参数预测模型中的多尺度Swin Transformer模型，得到所述多尺度Swin Transformer模型输出的第二特征矩阵，包括：
[0021]将所述注意力图进行尺寸变换后，通过第一残差连接与所述第一特征矩阵进行融合；
[0022]将融合结果依次经过所述多尺度Swin Transformer模型中的Swin Transformer模块层和卷积层后，通过第二残差连接与所述融合结果进行融合，得到所述第二特征矩阵。
[0023]根据本专利技术提供的一种ISP参数预测方法，在所述将待处理RAW图像输入ISP参数预测模型中的特征提取器中，得到所述特征提取器输出的第一特征矩阵的步骤之前，还包括：
[0024]将RAW图像样本输入初始ISP参数预测模型中，得到所述初始ISP参数预测模型输出的ISP参数预测结果；
[0025]确定所述RAW图像样本对应的ISP参数预测结果和专家标注的ISP参数值之间的第一损失；
[0026]将所述RAW图像样本对应的ISP参数预测结果和所述RAW图像样本输入ISP中，得到所述ISP处理后的第一图像；
[0027]将所述专家标注的ISP参数值和所述RAW图像样本输入ISP中，得到所述ISP处理后的第二图像；
[0028]确定所述第一图像和所述第二图像之间的第二损失；
[0029]根据所述第一损失和第二损失对所述初始ISP参数预测模型的权重进行更新，得到所述ISP参数预测模型。
[0030]根据本专利技术提供的一种ISP参数预测方法，在所述将待处理RAW图像输入ISP参数预测模型中的特征提取器中，得到所述特征提取器输出的第一特征矩阵的步骤之前，还包
括：
[0031]将所述RAW图像样本输入初始ISP参数预测模型中，得到所述初始ISP参数预测模型输出的ISP参数预测结果；
[0032]将所述RAW图像样本对应的ISP参数预测结果和所述RAW图像样本输入ISP中，得到所述ISP处理后的第一图像；
[0033]将所述第一图像输入目标检测器中，得到所述第一图像的预测检测框；
[0034]确定所述第一图像的预测检测框与所述RAW图像样本的人工标注检测框之间的第三损失；
[0035]根据所述第三损失对所述初始ISP参数预测模型的权重进行更新，得到所述ISP参数预测模型。
[0036]本专利技术还提供一种ISP参数预测装置，包括：
[0037]第一提取模块，用于将待处理RAW图像输入ISP参数预测模型中的特征提取器中，得到所述特征提取器输出的第一特征矩阵；
[0038]第二提取模块，用于将所述第一特征矩阵输入所述ISP参数预测模型中的自注意力层，得到所述自注意力层输出的注意力图，将所述注意力图输入所述ISP参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种ISP参数预测方法，其特征在于，包括：将待处理RAW图像输入ISP参数预测模型中的特征提取器中，得到所述特征提取器输出的第一特征矩阵；将所述第一特征矩阵输入所述ISP参数预测模型中的自注意力层，得到所述自注意力层输出的注意力图，将所述注意力图输入所述ISP参数预测模型中的多尺度Swin Transformer模型，得到所述多尺度Swin Transformer模型输出的第二特征矩阵；将所述第二特征矩阵输入所述ISP参数预测模型中的第一分支和第二分支，得到所述第一分支输出的所述待处理RAW图像中每个像素对应的ISP参数最优值，以及所述第二分支输出的所述每个像素对应的置信分数；将所述每个像素对应的ISP参数最优值和置信分数相乘，得到所述每个像素对应的ISP参数预测结果，将所有像素对应的ISP参数预测结果的平均值作为所述待处理RAW图像对应的ISP参数最优值。2.根据权利要求1所述的ISP参数预测方法，其特征在于，所述特征提取器为ViT模型，所述将待处理RAW图像输入ISP参数预测模型中的特征提取器中，得到所述特征提取器输出的第一特征矩阵，包括：将待处理RAW图像划分成多个图像块，并将每个图像块转换为向量；将所有图像块的向量输入所述ViT模型中，得到每个图像块的第一特征矩阵；将所有图像块在同一个通道上的第一特征矩阵进行拼接，得到所述第一特征矩阵。3.根据权利要求1所述的ISP参数预测方法，其特征在于，所述将所述第一特征矩阵输入所述ISP参数预测模型中的自注意力层，得到所述自注意力层输出的注意力图，包括：基于所述自注意力层将所述第一特征矩阵进行尺寸变换，计算尺寸变换后的所述第一特征矩阵的Q矩阵、K矩阵和V矩阵；对所述K矩阵进行尺寸变换，确定所述Q矩阵与尺寸变换后的所述K矩阵之间的乘积；将所述乘积输入softmax层，将所述softmax层的输出结果与所述V矩阵进行相乘，得到注意力图。4.根据权利要求1所述的ISP参数预测方法，其特征在于，所述将所述注意力图输入所述ISP参数预测模型中的多尺度Swin Transformer模型，得到所述多尺度Swin Transformer模型输出的第二特征矩阵，包括：将所述注意力图进行尺寸变换后，通过第一残差连接与所述第一特征矩阵进行融合；将融合结果依次经过所述多尺度Swin Transformer模型中的Swin Transformer模块层和卷积层后，通过第二残差连接与所述融合结果进行融合，得到所述第二特征矩阵。5.根据权利要求1
‑
4任一所述的ISP参数预测方法，其特征在于，在所述将待处理RAW图像输入ISP参数预测模型中的特征提取器中，得到所述特征提取器输出的第一特征矩阵的步骤之前，还包括：将RAW图像样本输入初始ISP参数预测模型中，得到所述初始ISP参数预测模型输出的ISP参数预测结果；确定...

【专利技术属性】
技术研发人员：王隽，覃海纳，李兵，胡卫明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：