【技术实现步骤摘要】
本专利技术涉及图像融合领域，尤其涉及一种多任务图像融合方法、模型训练方法、装置、设备及介质。
技术介绍
1、图像融合任务从安全领域到工业和民用领域都具有广泛的应用。由于硬件设备或光学成像的限制，使用一种类型的传感器或单一拍摄设置捕获的图像只能捕获部分信息。例如，反射光的信息，其亮度在有限范围内，在预定义的景深范围内，无法完全展示原本场景细节信息。图像融合的目标是通过整合不同传感器或光学设置捕获的多幅源图像的互补信息来生成合成图像。不同图像融合任务包括多曝光图像合成、多对焦图像合成和可见光与红外光图像合成等。单任务图像融合模型具有较好的场景表示和视觉感知能力，适合后续的视觉任务，如视频监控、场景理解、目标识别等。但是随着应用场景增加，单任务图像融合模型只能完成单个融合图像任务，无法满足多任务图像融合需求。
2、因此，有必要提出一种多任务图像融合方法、模型训练方法、装置、设备及介质以解决上述问题。
技术实现思路
1、本专利技术的目的在于提供一种多任务图像融合方法、模型训练方法、装置、设备及介质，用以解决现有单任务图像融合模型无法满足多任务图像融合的问题。
2、第一方面，本专利技术提供了一种多任务图像融合方法，该方法包括：
3、s101：将k组训练图像输入图像融合模型，其中，每组训练图像包括n帧训练图像，所述图像融合模型包括第一卷积层、m个残差滑窗转换器以及第二卷积层，k、n、m分别为大于1的正整数；
4、s102：利用所述第一卷积层将k组
5、s103：利用m个所述残差滑窗转换器对所述合并图像特征进行处理，得到转换处理特征，根据所述合并图像特征和所述转换处理特征，得到残差特征，其中，所述转换处理特征包括深度信息、纹理信息及语义信息；
6、s104：利用所述第二卷积层对所述残差特征进行图像重构，得到k张预测融合图像；
7、s105：根据k张所述预测融合图像和k张标准图像，计算损失函数，若所述损失函数不满足设定阈值，重复执行步骤s101至s104，若所述损失函数满足设定阈值，得到训练后图像融合模型。
8、在一种可能的实施例中，从k张所述合并图像中提取合并图像特征之后，还包括：
9、将所述合并图像特征映射到高维特征空间，得到映射特征；
10、利用m个所述残差滑窗转换器对所述合并图像特征进行处理，得到转换处理特征，包括：
11、利用m个所述残差滑窗转换器对所述映射特征进行处理，得到转换处理特征。
12、在一种可能的实施例中，将所述合并图像特征映射到高维特征空间，得到映射特征之后，还包括：
13、将所述映射特征进行缩小尺寸处理，得到缩小特征；
14、利用m个所述残差滑窗转换器对所述合并图像特征进行处理，得到转换处理特征，包括：
15、利用m个所述残差滑窗转换器对所述缩小特征进行处理，得到转换处理特征。
16、在一种可能的实施例中，利用所述第二卷积层对所述残差特征进行图像重构，得到k张预测融合图像之前，还包括：
17、根据k张所述标准图像尺寸与所述残差特征，得到恢复尺寸特征；
18、利用所述第二卷积层对所述残差特征进行图像重构，得到k张预测融合图像，包括：
19、利用所述第二卷积层对所述恢复尺寸特征进行图像重构，得到k张预测融合图像。
20、在一种可能的实施例中，根据k张所述预测融合图像和k张标准图像，计算损失函数，包括：
21、根据k张所述预测融合图像和k张标准图像，计算k张所述预测融合图像与k张所述标准图像的均值方差、弹性权重巩固损失函数，更新所述图像融合模型的参数。
22、第二方面，本专利技术还提了一种多任务图像融合方法，该方法包括：
23、获取n帧待融合图像，其中，n为大于1的正整数；
24、将n帧所述待融合图像输入如上述任一实施例中所述训练后图像融合模型，得到融合后图像。
25、第三方面，本专利技术还提了一种多任务图像融合模型训练装置，该装置包括执行上述第一方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
26、第四方面，本专利技术还提了一种多任务图像融合装置，该装置包括执行上述第二方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
27、第五方面，本专利技术实施例提供了一种电子设备，包括处理器和存储器。其中，存储器用于存储一个或多个计算机程序；当存储器存储的一个或多个计算机程序被处理器执行时，使得该电子设备能够实现上述任一方面的任意一种可能的设计的方法。
28、第六方面，本专利技术实施例中还提供了一种计算机可读存储介质，计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行上述任一方面的任意一种可能的设计的方法。
29、第七方面，本专利技术实施例还提供了一种包含计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行上述任一方面的任意一种可能的设计的方法。
30、本专利技术的有益效果在于：将不同任务的k组训练图像输入图像融合模型，经第一卷积层、m个残差滑窗转换器以及第二卷积层处理，以逐步提取更详细、丰富的图像特征，基于损失函数更新模型参数，并判断模型是否训练完成，通过分次将多组不同任务的训练图像输入图像融合模型进行模型训练，以逐步更新模型参数，得到满足不同图像融合任务的图像融合模型。
本文档来自技高网...【技术保护点】
1.一种多任务图像融合模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，从K张所述合并图像中提取合并图像特征之后，还包括：
3.根据权利要求2所述的方法，其特征在于，将所述合并图像特征映射到高维特征空间，得到映射特征之后，还包括：
4.根据权利要求3所述的方法，其特征在于，利用所述第二卷积层对所述残差特征进行图像重构，得到K张预测融合图像之前，还包括：
5.根据权利要求1-4中任一项所述的方法，其特征在于，根据K张所述预测融合图像和K张标准图像，计算损失函数，包括：
6.一种多任务图像融合方法，其特征在于，所述方法包括：
7.一种多任务图像融合模型训练装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，所述合并图像模块从K张所述合并图像中提取合并图像特征之后，还包括：
9.根据权利要求8所述的装置，其特征在于，还包括：
10.一种多任务图像融合装置，其特征在于，所述装置包括：
11.一种电子设备，其特征在
12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。
...【技术特征摘要】
1.一种多任务图像融合模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，从k张所述合并图像中提取合并图像特征之后，还包括：
3.根据权利要求2所述的方法，其特征在于，将所述合并图像特征映射到高维特征空间，得到映射特征之后，还包括：
4.根据权利要求3所述的方法，其特征在于，利用所述第二卷积层对所述残差特征进行图像重构，得到k张预测融合图像之前，还包括：
5.根据权利要求1-4中任一项所述的方法，其特征在于，根据k张所述预测融合图像和k张标准图像，计算损失函数，包括：
6.一种多任务图像融合方法，其特征在于，所述方法包括：
7.一种多任务图像融合模...
【专利技术属性】
技术研发人员：高瑞，宋博，王勇，温建新，
申请(专利权)人：成都微光集电科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。