图像处理方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种图像处理方法、装置、电子设备及存储介质，属于人工智能技术领域。该图像处理方法包括：获取第一样本图像数据集和第二样本图像数据集；基于第一样本图像数据集和第二样本图像数据集对初始差异检测模型进行训练，得到目标差异检测模型，目标差异检测模型用于输出第一样本图像数据集与第二样本图像数据集的差异图像；将第一待处理图像与第二待处理图像输入目标差异检测模型，得到目标差异图像；基于目标差异图像对第一待处理图像或第二待处理图像进行图像处理，得到目标图像。像。像。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本申请属于人工智能
，具体涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]由于不同型号的图像传感器的设计方案和制造工艺存在差别，因此不同图像传感器对光的响应特性不一致，从而使得信号采集过程存在差异，这样会导致不同型号的图像传感器输出给图像信号处理(Image Signal Processing，ISP)单元的原始图像在颜色、亮度、清晰度等方面存在较大差异，这种图像间的原生差异在经过ISP管线(Pipeline)时始终无法消除，最终导致不同型号的图像传感器在成像效果上存在差异，出现所谓的多摄效果一致性异常问题。
[0003]相关技术中，为了解决上述问题，通常对不同型号的图像传感器对应的ISP单元的参数进行针对性调试，以在图像经过ISP单元时消除图像间的差异。
[0004]但是，这种方法需要人为手动调整参数，很难保证多摄效果的一致性，还会消耗大量人力资源。

技术实现思路

[0005]本申请实施例的目的是提供一种图像处理方法、装置、电子设备及存储介质，能够保证不同摄像模组采集的图像的一致性。
[0006]第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
[0007]获取第一样本图像数据集和第二样本图像数据集，第一样本图像数据集是通过第一摄像模组采集得到的图像数据，第二样本图像数据集是通过第二摄像模组在相同拍摄场景下采集得到的图像数据，其中，第一摄像模组的视场角与第二摄像模组的视场角不同，或者第一摄像模组的感光性能与第二摄像模组的感光性能不同；
[0008]基于第一样本图像数据集和第二样本图像数据集对初始差异检测模型进行训练，得到目标差异检测模型，目标差异检测模型用于输出第一样本图像数据集与第二样本图像数据集的差异图像；
[0009]将第一待处理图像与第二待处理图像输入目标差异检测模型，得到目标差异图像，第一待处理图像为第一摄像模组采集得到的图像，第二待处理图像为第二摄像模组在相同拍摄场景下采集得到的图像；
[0010]基于目标差异图像对第一待处理图像或第二待处理图像进行图像处理，得到目标图像；
[0011]其中，在对初始差异检测模型进行训练时，对第一样本图像数据集中的第一样本图像和第二样本图像数据集中的第二样本图像进行图像通道拆分，分别计算不同图像通道的第一损失函数值，并基于不同图像通道的第一损失函数值计算初始差异检测模型的总损失函数值。
[0012]第二方面，本申请实施例提供了一种图像处理装置，该装置包括：
[0013]获取模块，用于获取第一样本图像数据集和第二样本图像数据集，第一样本图像数据集是通过第一摄像模组采集得到的图像数据，第二样本图像数据集是通过第二摄像模组在相同拍摄场景下采集得到的图像数据，其中，第一摄像模组的视场角与第二摄像模组的视场角不同，或者第一摄像模组的感光性能与第二摄像模组的感光性能不同；
[0014]训练模块，用于基于第一样本图像数据集和第二样本图像数据集对初始差异检测模型进行训练，得到目标差异检测模型，目标差异检测模型用于输出第一样本图像数据集与第二样本图像数据集的差异图像；
[0015]检测模块，用于将第一待处理图像与第二待处理图像输入目标差异检测模型，得到目标差异图像，第一待处理图像为第一摄像模组采集得到的图像，第二待处理图像为第二摄像模组在相同拍摄场景下采集得到的图像；
[0016]处理模块，用于基于目标差异图像对第一待处理图像或第二待处理图像进行图像处理，得到目标图像；
[0017]其中，在对初始差异检测模型进行训练时，对第一样本图像数据集中的第一样本图像和第二样本图像数据集中的第二样本图像进行图像通道拆分，分别计算不同图像通道的第一损失函数值，并基于不同图像通道的第一损失函数值计算初始差异检测模型的总损失函数值。
[0018]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0019]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0020]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0021]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0022]在本申请实施例中，能够通过基于不同视场角或不同感光性能的摄像模组采集的第一样本图像数据集和第二样本图像数据集，对初始差异检测模型进行训练，得到目标差异检测模型，然后将基于不同摄像模组在相同拍摄场景下采集的第一待处理图像与第二待处理图像输入目标差异检测模型，得到目标差异图像，再基于目标差异图像对第一待处理图像或第二待处理图像进行图像处理，便可以得到目标图像。这样得到的目标图像与第二待处理图像或第一待处理图像的拍摄效果是一致的。如此，通过图像处理便可以使基于不同摄像模组采集的图像的拍摄效果一致，弥补了不同摄像模组之间的差异，保证了多摄效果的一致性，而且无需消耗大量人力资源。而且，在对初始差异检测模型进行训练时，对第一样本图像数据集中的第一样本图像和第二样本图像数据集中的第二样本图像进行图像通道拆分，分别计算不同图像通道的第一损失函数值，并基于不同图像通道的第一损失函数值计算初始差异检测模型的总损失函数值。这样可以通过提高损失函数值的准确性提高模型训练的精度，从而进一步提升目标图像与第二待处理图像或第一待处理图像的拍摄效
果一致性。
附图说明
[0023]图1是根据一示例性实施例示出的一种图像处理方法的流程图之一；
[0024]图2是根据一示例性实施例示出的一种第一权重信息的生成过程的示意图；
[0025]图3是根据一示例性实施例示出的一种图像处理方法的流程图之二；
[0026]图4是根据一示例性实施例示出的一种差异检测模型的训练过程的示意图；
[0027]图5是根据一示例性实施例示出的一种通道拆分过程的示意图；
[0028]图6是根据一示例性实施例示出的一种图像处理装置的结构框图；
[0029]图7是根据一示例性实施例示出的一种电子设备的结构框图；
[0030]图8为实现本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
[0031]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0032]本申请的说明书本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一样本图像数据集和第二样本图像数据集，所述第一样本图像数据集是通过第一摄像模组采集得到的图像数据，所述第二样本图像数据集是通过第二摄像模组在相同拍摄场景下采集得到的图像数据，其中，所述第一摄像模组的视场角与所述第二摄像模组的视场角不同，或者所述第一摄像模组的感光性能与所述第二摄像模组的感光性能不同；基于所述第一样本图像数据集和所述第二样本图像数据集对初始差异检测模型进行训练，得到目标差异检测模型，所述目标差异检测模型用于输出所述第一样本图像数据集与所述第二样本图像数据集的差异图像；将第一待处理图像与第二待处理图像输入所述目标差异检测模型，得到目标差异图像，所述第一待处理图像为所述第一摄像模组采集得到的图像，所述第二待处理图像为所述第二摄像模组在相同拍摄场景下采集得到的图像；基于所述目标差异图像对所述第一待处理图像或所述第二待处理图像进行图像处理，得到目标图像；其中，在对所述初始差异检测模型进行训练时，对所述第一样本图像数据集中的第一样本图像和所述第二样本图像数据集中的第二样本图像进行图像通道拆分，分别计算不同图像通道的第一损失函数值，并基于所述不同图像通道的第一损失函数值计算所述初始差异检测模型的总损失函数值。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一样本图像数据集和所述第二样本图像数据集对初始差异检测模型进行训练，得到目标差异检测模型，包括：利用初始差异检测模型对所述第一样本图像数据集中的第一样本图像和所述第二样本图像数据集中对应的第二样本图像进行差异检测，得到样本差异图像；融合所述样本差异图像和所述第二样本图像，得到目标样本图像；将所述目标样本图像拆分为与四个图像通道分别对应的第一单通道图像，将所述第一样本图像拆分为与所述四个图像通道分别对应的第二单通道图像；根据所述四个图像通道中每个所述图像通道对应的所述第一单通道图像和所述第二单通道图像分别确定损失函数值，得到与所述四个图像通道分别对应的第一损失函数值；将所述四个图像通道分别对应的所述第一损失函数值的平均值确定为所述总损失函数值；根据所述总损失函数值调整所述初始差异检测模型的模型参数，训练得到所述目标差异检测模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述四个图像通道中每个所述图像通道对应的所述第一单通道图像和所述第二单通道图像分别确定损失函数值，得到与所述四个图像通道分别对应的第一损失函数值，包括：对所述第一单通道图像进行M次降采样，得到M个不同图像尺寸的第三单通道图像，对所述第二单通道图像进行M次降采样，得到M个不同图像尺寸的第四单通道图像，所述第一单通道图像和所述第二单通道图像进行降采样的倍数相同，M为大于1的整数；根据M+1个图像尺寸中每个图像尺寸下的第五单通道图像和第六单通道图像分别确定损失函数值，得到与所述M+1个图像尺寸分别对应的第二损失函数值，所述第五单通道图像为M个所述第三单通道图像和所述第一单通道图像中的任一图像，所述第六单通道图像为M
个所述第四单通道图像和所述第二单通道图像中的任一图像；将与所述M+1个图像尺寸分别对应的第二损失函数值的平均值确定为所述第一损失函数值。4.根据权利要求3所述的方法，其特征在于，所述根据M+1个图像尺寸中每个图像尺寸下的第五单通道图像和第六单通道图像分别确定损失函数值，得到与所述M+1个图像尺寸分别对应的第二损失函数值，包括：根据所述第五单通道图像和所述第六单通道图像，确定至少两种损失函数分别对应的第三损失函数值；根据所述至少两种损失函数分别对应的预设权重，对至少两个所述第三损失函数值进行加权求和，得到所述第二损失函数值。5.根据权利要求1所述的方法，其特征在于，所述将第一待处理图像与第二待处理图像输入所述目标差异检测模型，得到目标差异图像，包括：获取权重信息，所述权...

【专利技术属性】
技术研发人员：刘浪涛，陈承隆，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：