模型训练与参数预测方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例提供了一种模型训练与参数预测方法、装置、电子设备和存储介质。所述模型训练方法包括：确定图像信号处理管线的代理模型中串行连接的多个第一神经网络；将所述多个第一神经网络分别与所述图像信号处理管线的多个图像处理模块对应，以对所述多个图像处理模块进行仿真；至少将所述图像信号处理管线的输入图像样本作为第一输入，将所述多个图像处理模块的内部成像参数作为第二输入，将所述图像信号处理管线的输出图像样本作为输出，训练所述代理模型；根据所述代理模型的输入和输出，确定所述图像信号处理管线的参数预测模型的输入和输出。本发明专利技术实施例的方案更准确地仿真了多个图像处理模块的处理能力，进而更准确地预测各个图像处理模块的内部成像参数。地预测各个图像处理模块的内部成像参数。地预测各个图像处理模块的内部成像参数。

【技术实现步骤摘要】
模型训练与参数预测方法、装置、电子设备和存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种模型训练与参数预测方法、装置、电子设备和存储介质。

技术介绍

[0002]图像信号处理器(Image Signal Processor，ISP)的功能为对图像传感器输出的原始图像进行一系列的算法处理，最终得到目标图像，一系列图像处理过程也被成为ISP管线(即，图像信号处理管线)，完整的ISP管线流程一般具有多个算法模块，包括但不限于拜耳处理模块、去马赛克模块、RGB处理模块、颜色空间转换模块、YUV处理模块等。
[0003]针对特定场景，通过调试上述多个算法模块中的内部成像参数，可以提高图像质量(例如，提升图像的画质、亮度和色彩等)，以满足特定场景对ISP成像效果的需求。
[0004]一种典型的ISP调试方案是采用代理模型对ISP管线中各个算法模块的处理能力进行黑盒仿真，通过代理模型获得配置ISP硬件的内部成像参数。由于多个算法模型之间存在复杂的依存及联动关系，现有的代理模型难以对ISP管线进行准确的仿真。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种模型训练与参数预测方法、装置、电子设备和存储介质，以至少部分解决上述问题。
[0006]根据本专利技术实施例的第一方面，提供了一种模型训练方法，包括：确定图像信号处理管线的代理模型中串行连接的多个第一神经网络；将所述多个第一神经网络分别与所述图像信号处理管线的多个图像处理模块对应，对所述多个图像处理模块进行仿真；至少将所述图像信号处理管线的输入图像样本作为第一输入，将所述多个图像处理模块的内部成像参数作为第二输入，将所述图像信号处理管线的输出图像样本作为输出，训练所述代理模型；根据所述代理模型的输入和输出，确定所述图像信号处理管线的参数预测模型的输入和输出。
[0007]在本专利技术的另一实现方式中，根据所述代理模型的输入和输出，确定所述图像信号处理管线的参数预测模型的输入和输出，包括：将所述代理模型的第一输入和输出确定为所述图像信号处理管线的参数预测模型的输入，并且将所述代理模型的第二输入确定为所述参数预测模型的输出。
[0008]在本专利技术的另一实现方式中，确定图像信号处理管线的代理模型中串行连接的多个第一神经网络，包括：确定用于仿真所述多个图像处理模块仿真的多个卷积神经网络，作为图像信号处理管线的代理模型中串行连接的多个第一神经网络。
[0009]在本专利技术的另一实现方式中，第一神经网络包括上采样卷积层或下采样卷积层、以及扁平卷积层，所述上采样卷积层或所述下采样卷积层的输入为第一神经网络的输入，所述扁平卷积层的输出为第一神经网络的输出，所述上采样卷积层或所述下采样卷积层的输出连接到所述扁平卷积层的输入。
[0010]在本专利技术的另一实现方式中，所述至少将所述图像信号处理管线的输入图像样本作为第一输入，将所述多个图像处理模块的内部成像参数作为第二输入，将所述图像信号处理管线的输出图像样本作为输出，训练所述代理模型，包括：将所述图像信号处理管线的输入图像样本作为至少一个第一输入特征图，将所述多个图像处理模块的内部成像参数作为至少一个第二输入特征图，将所述图像信号处理管线的输出图像样本作为输出特征图，训练所述代理模型，所述至少一个第一输入特征图的维度与所述至少一个第二输入特征图的维度一致。
[0011]在本专利技术的另一实现方式中，所述至少将所述图像信号处理管线的输入图像样本作为第一输入，将所述多个图像处理模块的内部成像参数作为第二输入，将所述图像信号处理管线的输出图像样本作为输出，训练所述代理模型，还包括：将所述图像信号处理管线的成像外部参数作为至少一个第三输入特征图，其中，所述至少一个第三输入特征图的维度与所述至少一个第一输入特征图一致。
[0012]在本专利技术的另一实现方式中，所述代理模型还包括第二神经网络和第三神经网络，所述第二神经网络的输出连接到所述多个第一神经网络整体的输入，所述第二神经网络的输入作为所述代理模型的输入，所述第三神经网络的输入连接到所述多个第一神经网络整体的输出，所述第三神经网络的输出作为所述代理模型的输出。
[0013]在本专利技术的另一实现方式中，所述训练所述代理模型，包括：在所述代理模型的损失函数收敛到预设阈值时，停止所述代理模型的训练，其中，所述代理模型的损失函数指示所述输入图像样本和所述内部成像参数在输出侧的数值与所述输出图像样本之间的差异。
[0014]在本专利技术的另一实现方式中，所述多个图像处理模块包括拜耳处理模块、去马赛克模块、RGB处理模块、颜色空间转换模块、YUV处理模块中的至少一者。
[0015]根据本专利技术实施例的第二方面，提供了一种参数预测方法，包括：获取原始图像和所述原始图像对应的目标图像；将所述原始图像和所述目标图像输入到参数预测模型中，得到图像信号处理管线的内部成像参数，所述参数预测模型通过根据第一方面所述的模型训练方法训练得到。
[0016]在本专利技术的另一实现方式中，所述将所述原始图像和所述目标图像输入到参数预测模型中，得到图像信号处理管线的内部成像参数，包括：确定图像信号处理管线的内部成像参数，使所述原始图像和所述内部成像参数在所述代理模型的输出侧的数值与所述目标图像之间的差异满足所述代理模型的损失函数。
[0017]根据本专利技术实施例的第三方面，提供了一种模型训练装置，包括：第一确定模块，确定图像信号处理管线的代理模型中串行连接的多个第一神经网络；仿真模块，将所述多个第一神经网络分别与所述图像信号处理管线的多个图像处理模块对应，以对所述多个图像处理模块进行仿真；训练模块，至少将所述图像信号处理管线的输入图像样本作为第一输入，将所述多个图像处理模块的内部成像参数作为第二输入，将所述图像信号处理管线的输出图像样本作为输出，训练所述代理模型；第二确定模块，根据所述代理模型的输入和输出，确定所述图像信号处理管线的参数预测模型的输入和输出。
[0018]根据本专利技术实施例的第四方面，提供了一种参数预测装置，包括：获取模块，获取原始图像和所述原始图像对应的目标图像；预测模块，将所述原始图像和所述目标图像输入到参数预测模型中，得到图像信号处理管线的内部成像参数，所述参数预测模型通过根
据第一方面所述的模型训练方法训练得到。
[0019]根据本专利技术实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述的方法对应的操作。
[0020]根据本专利技术实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的方法。
[0021]在本专利技术实施例的方案中，通过图像信号处理管线的代理模型中串行连接的多个第一神经网络分别与多个图像处理模块对应，仿真了多个图像处理模块之间的依存关系，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：确定图像信号处理管线的代理模型中串行连接的多个第一神经网络；将所述多个第一神经网络分别与所述图像信号处理管线的多个图像处理模块对应，以对所述多个图像处理模块进行仿真；至少将所述图像信号处理管线的输入图像样本作为第一输入，将所述多个图像处理模块的内部成像参数作为第二输入，将所述图像信号处理管线的输出图像样本作为输出，训练所述代理模型；根据所述代理模型的输入和输出，确定所述图像信号处理管线的参数预测模型的输入和输出。2.根据权利要求1所述的方法，其中，所述确定图像信号处理管线的代理模型中串行连接的多个第一神经网络，包括：确定用于仿真所述多个图像处理模块仿真的多个卷积神经网络，作为图像信号处理管线的代理模型中串行连接的多个第一神经网络。3.根据权利要求2所述的方法，其中，第一神经网络包括上采样卷积层或下采样卷积层、以及扁平卷积层，所述上采样卷积层或所述下采样卷积层的输入为第一神经网络的输入，所述扁平卷积层的输出为第一神经网络的输出，所述上采样卷积层或所述下采样卷积层的输出连接到所述扁平卷积层的输入。4.根据权利要求1所述的方法，其中，所述至少将所述图像信号处理管线的输入图像样本作为第一输入，将所述多个图像处理模块的内部成像参数作为第二输入，将所述图像信号处理管线的输出图像样本作为输出，训练所述代理模型，包括：将所述图像信号处理管线的输入图像样本作为至少一个第一输入特征图，将所述多个图像处理模块的内部成像参数作为至少一个第二输入特征图，将所述图像信号处理管线的输出图像样本作为输出特征图，训练所述代理模型，所述至少一个第一输入特征图的维度与所述至少一个第二输入特征图的维度一致。5.根据权利要求4所述的方法，其中，所述至少将所述图像信号处理管线的输入图像样本作为第一输入，将所述多个图像处理模块的内部成像参数作为第二输入，将所述图像信号处理管线的输出图像样本作为输出，训练所述代理模型，还包括：将所述图像信号处理管线的成像外部参数作为至少一个第三输入特征图，其中，所述至少一个第三输入特征图的维度与所述至少一个第一输入特征图一致。6.根据权利要求5所述的方法，其中，所述代理模型还包括第二神经网络和第三神经网络，所述第二神经网络的输出连接到所述多个第一神经网络整体的输入，所述第二神经网络的输入作为所述代理模型的输入，所述第三神经网络的输入连接到所述多个第一神经网络整体的输出，所述第三神经网络的输出作为所述代理模型的输出。7.根据权利要求5所述的方法，其中，所述训练所述代理模型，包括：在所述代理模型的损失函数收敛到预设阈值时，停止所述代...

【专利技术属性】
技术研发人员：刘子豪，徐淑淞，李思成，陆彦珩，范益波，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：