图像融合方法及装置制造方法及图纸

本申请实施例提供了一种图像融合方法及装置，方法包括：获取N个图像，其中所述N个图像均为对同一原始图像进行缩放后得到的图像，且所述N个图像的缩放比例不同，N为大于1的数值；以预设像素数为分割窗口，对每个图像进行分割，得到针对每个图像的分割图块；基于所述分割图块进行图像融合，得到融合后图块。本申请实施例能够将局部特征信息与更全局的特征信息融合到一起，实现了一次能够向神经网络输入更多的信息，提高了神经网络的解译效果。

【技术实现步骤摘要】
图像融合方法及装置
本申请属于图像处理
，尤其涉及一种图像融合方法及装置。
技术介绍
在遥感影像中，较大尺寸的影像是非常常见的，此外，我们要解译的河流、湖泊、树林等的影像像素也较大。而影像的像素大小一般会大于神经网络的输入视野(例如400×400像素)，此时一般会将影像缩小到400×400像素，而这会导致丢失大量有用信息，这导致神经网络解译的效果比较差。
技术实现思路
本申请实施例的目的是提供一种图像融合方法及装置，以解决现有神经网络解译效果较差的问题。第一方面，本申请实施例提供了一种图像融合方法，包括：获取N个图像，其中所述N个图像均为对同一原始图像进行缩放后得到的图像，且所述N个图像的缩放比例不同，N为大于1的数值；以预设像素数为分割窗口，对每个图像进行分割，得到针对每个图像的分割图块；基于所述分割图块进行图像融合，得到融合后图块。可选地，所述基于所述分割图块，进行图像融合，得到融合后图块，包括下述至少一项：将所述N个图像中，不同图像的分割图块进行融合，得到所述融合后图块；将所述N个图像中，同一图像的不同分割图块进行融合，得到所述融合后图块；将所述N个图像中，不同图像的分割图块以及同一图像的分割图块进行融合，得到所述融合后图块。可选地，所述将所述N个图像中，不同图像的分割图块进行融合，得到所述融合后图块，包括：获取所述N个图像中，至少两个图像的分割图块之间的对应关系表；基于所述对应关系表，将所述至少两个图像中具有对应关系的分割图块进行融合。可选地，所述获取所述N个图像中，至少两个图像的分割图块之间的对应关系表，包括：在二维坐标轴下，获取所述至少两个图像中，每个图像的分割图块的图块索引，其中所述至少两个图像所对应的图块索引的起始索引相同；基于所述N个图像的缩放比例，获取第二图像中与第一图像中的第一图块索引相对应的第二图块索引；其中，所述第二图块索引与第一图块索引之间的比例关系为所述第二图像与所述第一图像之间的比例关系，且所述第一图像、第二图像为所述至少两个图像中的任意图像。获取所述第一图块索引所对应的第一分割图块以及所述第二图块索引所对应的第二分割图块，并建立所述第一分割图块与所述第二分割图块之间的对应关系。可选地，所述将所述N个图像中，同一图像的不同分割图块进行融合，得到所述融合后图块，包括：获取目标图像中的至少两个分割图块，其中所述至少两个分割图块在所述图像中具有预设位置关系，所述目标图像为N个图像中的任意图像；将所述至少两个分割图块进行融合，得到所述融合后图块。可选地，所述将所述N个图像中，不同图像的分割图块以及同一图像的分割图块进行融合，得到所述融合后图块，包括：将目标图像中具有预设位置关系的至少两个分割图块进行融合，得到半融合图块；获取所述N个图像除所述目标图像之外的至少一个图像中，与所述目标图像中的目标分割图块具有对应关系的分割图块；所述目标分割图块为所述至少两个分割图块中的其中一个；将与所述目标分割图块具有对应关系的分割图块与所述半融合图块进行融合，得到所述融合后图块。可选地，所述基于所述分割图块进行图像融合，得到融合后图块，包括下述任意一项：沿RGB通道方向，将所述分割图块进行融合，得到所述融合后图块；基于预先设置的针对每一图像的权重值，对每个分割图块进行加权操作，并沿RGB通道方向，将加权后的分割图块进行融合，得到所述融合后图块；基于预先设置的针对每一图像的权重值，对所述分割图块进行加权后相加操作，得到所述融合后图块。可选地，所述预设像素数小于或等于预设神经网络的输入视野所对应的输入像素数。可选地，所述基于所述分割图块进行图像融合，得到融合后图块，包括：通过所述融合后图块对所述预设神经网络进行训练，得到训练好的神经网络模型。第二方面，本申请实施例提供了一种图像融合装置，包括：第一获取模块，用于获取N个图像，其中所述N个图像均为对同一原始图像进行缩放后得到的图像，且所述N个图像的缩放比例不同，N为大于1的数值；第二获取模块，用于以预设像素数为分割窗口，对每个图像进行分割，得到针对每个图像的分割图块；第三获取模块，用于基于所述分割图块进行图像融合，得到融合后图块。在本申请实施中提供的图像融合方法及装置，通过获取N个图像，该N个图像均为对同一原始图像进行缩放后得到的图像，且N个图像的缩放比例不同，然后以预设像素数为分割窗口，对每个图像进行分割，得到针对每个图像的分割图块，最后基于分割图块进行图像融合，得到融合后图块；基于N个图像的缩放比例不同，使得在基于同样的预设像素数为分割窗口对图像进行分割时，每个图像所分割到的分割图块的图像信息都不相同，缩小比例的图像中的分割图块中能够包含更全局的图像信息，从而使得在基于分割图块进行图像融合时，能够将不同的图像信息融合到一起，实现了在通过融合后图块进行解译时，能够感知周边环境信息，避免了仅分割图像以缩小图像像素，导致的依据局部信息产生错误解译结果的问题，提升了解译效果。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例中图像融合方法的流程示意图；图2为本申请实施例中图像示意图之一；图3为本申请实施例中图像示意图之二；图4为本申请实施例中图像示意图之三；图5为本申请实施例中分割图块位置示意图之一；图6为本申请实施例中分割图块位置示意图之二；图7为本申请实施例中分割图块位置示意图之三；图8为本申请实施例中图像示意图之四；图9为本申请实施例中miou趋势图；图10为本申请实施例中loss趋势图；图11为本申请实施例中图像融合装置的模块组成示意图；图12为本申请实施例中电子设备的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。具体的，现有技术中，在利用神经网络模型对图像进行解译时，若图像略大于神经网络输入视野，比如神经网络的输入视野为400×400像素，图像大小为1000×1000像素，则通常会将图像缩小到400×400像素，以使得能够输入到神经网络模型中。但是，该种方式会丢失大量有用信息，从而降低解译效果。基于此，可以将图像分割成与输入视野相适应的图块，但是图像分割会面临“盲人摸象”的问题，即依凭局部信息对目标进行解译，往往本文档来自技高网...

【技术保护点】
1.一种图像融合方法，其特征在于，包括：/n获取N个图像，其中所述N个图像均为对同一原始图像进行缩放后得到的图像，且所述N个图像的缩放比例不同，N为大于1的数值；/n以预设像素数为分割窗口，对每个图像进行分割，得到针对每个图像的分割图块；/n基于所述分割图块进行图像融合，得到融合后图块。/n

【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：
获取N个图像，其中所述N个图像均为对同一原始图像进行缩放后得到的图像，且所述N个图像的缩放比例不同，N为大于1的数值；
以预设像素数为分割窗口，对每个图像进行分割，得到针对每个图像的分割图块；
基于所述分割图块进行图像融合，得到融合后图块。


2.根据权利要求1所述的图像融合方法，其特征在于，所述基于所述分割图块进行图像融合，得到融合后图块，包括下述至少一项：
将所述N个图像中，不同图像的分割图块进行融合，得到所述融合后图块；
将所述N个图像中，同一图像的不同分割图块进行融合，得到所述融合后图块；
将所述N个图像中，不同图像的分割图块以及同一图像的分割图块进行融合，得到所述融合后图块。


3.根据权利要求2所述的图像融合方法，其特征在于，所述将所述N个图像中，不同图像的分割图块进行融合，得到所述融合后图块，包括：
获取所述N个图像中，至少两个图像的分割图块之间的对应关系表；
基于所述对应关系表，将所述至少两个图像中具有对应关系的分割图块进行融合，得到所述融合后图块。


4.根据权利要求3所述的图像融合方法，其特征在于，所述获取所述N个图像中，至少两个图像的分割图块之间的对应关系表，包括：
在二维坐标轴下，获取所述至少两个图像中，每个图像的分割图块的图块索引，其中所述至少两个图像所对应的起始图块索引相同；
基于所述N个图像的缩放比例，获取第二图像中与第一图像中的第一图块索引相对应的第二图块索引；其中，所述第二图块索引与第一图块索引之间的比例关系为所述第二图像与所述第一图像之间的比例关系，且所述第一图像、第二图像为所述至少两个图像中的任意图像。
获取所述第一图块索引所对应的第一分割图块以及所述第二图块索引所对应的第二分割图块，并建立所述第一分割图块与所述第二分割图块之间的对应关系。


5.根据权利要求2所述的图像融合方法，其特征在于，所述将所述N个图像中，同一图像的不同分割图块进行融合，得到所述融合后图块，包括：
获取目标图像中的至少两个分割...

【专利技术属性】
技术研发人员：刘金伟，吴鹏志，
申请(专利权)人：西安泽塔云科技股份有限公司，
类型：发明
国别省市：陕西;61