【技术实现步骤摘要】
ISP参数预测方法及装置
[0001]本专利技术涉及图像处理
，尤其涉及一种ISP参数预测方法及装置。
技术介绍
[0002]ISP(Image Signal Processor，图像信号处理器)广泛应用于智能手机、显示器、监控设备和智能驾驶系统等。ISP内部包含具有自动对焦、自动白平衡、自动色调映射等一系列功能的算法模块，通过对一幅失真的RAW图像进行加工处理，可输出一幅高质量的RGB图像。ISP中每一个算法模块具有若干可配置的参数，用于调节算法作用在图像上的强度。
[0003]目前这些算法模块的参数依赖有经验的专家进行手工调节，人工调参效率低下。另外，专家在调参时，依赖主观感受对图像质量进行评估，评估标准较为主观，难以保持一致性。
[0004]AI(Artificial Intelligence，人工智能)算法具有强大的学习能力，目前已有基于AI的自动调参算法。一种方法是采用深度神经网络构建AI ISP模型，取代传统的ISP，不需要考虑ISP参数配置，直接学习RAW图像到高质量RGB图像的映射。但该...
【技术保护点】
【技术特征摘要】
1.一种ISP参数预测方法，其特征在于，包括：将待处理RAW图像输入ISP参数预测模型中的特征提取器中，得到所述特征提取器输出的第一特征矩阵；将所述第一特征矩阵输入所述ISP参数预测模型中的自注意力层，得到所述自注意力层输出的注意力图，将所述注意力图输入所述ISP参数预测模型中的多尺度Swin Transformer模型，得到所述多尺度Swin Transformer模型输出的第二特征矩阵；将所述第二特征矩阵输入所述ISP参数预测模型中的第一分支和第二分支，得到所述第一分支输出的所述待处理RAW图像中每个像素对应的ISP参数最优值，以及所述第二分支输出的所述每个像素对应的置信分数；将所述每个像素对应的ISP参数最优值和置信分数相乘，得到所述每个像素对应的ISP参数预测结果，将所有像素对应的ISP参数预测结果的平均值作为所述待处理RAW图像对应的ISP参数最优值。2.根据权利要求1所述的ISP参数预测方法，其特征在于，所述特征提取器为ViT模型，所述将待处理RAW图像输入ISP参数预测模型中的特征提取器中，得到所述特征提取器输出的第一特征矩阵，包括：将待处理RAW图像划分成多个图像块，并将每个图像块转换为向量；将所有图像块的向量输入所述ViT模型中，得到每个图像块的第一特征矩阵；将所有图像块在同一个通道上的第一特征矩阵进行拼接，得到所述第一特征矩阵。3.根据权利要求1所述的ISP参数预测方法，其特征在于，所述将所述第一特征矩阵输入所述ISP参数预测模型中的自注意力层，得到所述自注意力层输出的注意力图，包括：基于所述自注意力层将所述第一特征矩阵进行尺寸变换，计算尺寸变换后的所述第一特征矩阵的Q矩阵、K矩阵和V矩阵；对所述K矩阵进行尺寸变换，确定所述Q矩阵与尺寸变换后的所述K矩阵之间的乘积；将所述乘积输入softmax层，将所述softmax层的输出结果与所述V矩阵进行相乘，得到注意力图。4.根据权利要求1所述的ISP参数预测方法，其特征在于，所述将所述注意力图输入所述ISP参数预测模型中的多尺度Swin Transformer模型，得到所述多尺度Swin Transformer模型输出的第二特征矩阵，包括：将所述注意力图进行尺寸变换后，通过第一残差连接与所述第一特征矩阵进行融合；将融合结果依次经过所述多尺度Swin Transformer模型中的Swin Transformer模块层和卷积层后，通过第二残差连接与所述融合结果进行融合，得到所述第二特征矩阵。5.根据权利要求1
‑
4任一所述的ISP参数预测方法，其特征在于，在所述将待处理RAW图像输入ISP参数预测模型中的特征提取器中，得到所述特征提取器输出的第一特征矩阵的步骤之前，还包括：将RAW图像样本输入初始ISP参数预测模型中，得到所述初始ISP参数预测模型输出的ISP参数预测结果；确定...
【专利技术属性】
技术研发人员：王隽，覃海纳，李兵，胡卫明，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。