一种基于密集连接网络的图像融合方法技术

本发明专利技术提供的一种基于密集连接网络的图像融合方法，首先将获取的第一图像和第二图像分别输入至第一卷积层中，通过第一卷积层来提取第一图像和第二图像的浅层特征，接着，再将提取后得到的第一浅层特征图和第二浅层特征图分别输入至密集连接网络中，通过密集连接网络提取第一浅层特征图和第二浅层特征图的深层特征，并且通过密集连接网络提取的特征具有上下文联系，能够更好地进行图像融合；最后，本申请对密集连接网络中提取得到的第一深层特征图和第二深层特征图进行深层特征融合，并对融合后的特征进行重构后获得最终的融合图像，该融合图像包含丰富的边缘信息和场景信息，提高了融合质量。

【技术实现步骤摘要】
一种基于密集连接网络的图像融合方法
本专利技术涉及图像融合
，尤其涉及一种基于密集连接网络的图像融合方法。
技术介绍
近年来，红外和可见光图像融合技术得到了广泛的关注。红外成像受环境影响较小，在恶劣天气、光线较弱、目标突出的情况下仍能成像。可见光成像通过利用物体对可见光的反射，获得边缘清晰、轮廓清晰的可见光图像。然而，由于红外相机的固有特点，存在细节信息不明显、对比度低、目标纹理信息不足等问题。因此，结合红外和可见光图像的优点，融合红外和可见光图像可以获得信息丰富和鲁棒性强的图像。目前，随着深度学习的发展，许多基于深度学习的融合方法被广泛用于红外和可见光图像融合领域中。通过利用卷积网络获得图像特征和重建融合图像，但基于卷积网络的方法仍然存在缺陷，使用卷积网络对图像进行融合时，容易丢失中间层特征以及难以提取深层特征，使得最终得到的融合图像的融合质量较低。
技术实现思路
本专利技术的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中使用卷积网络对图像进行融合时，容易丢失中间层特征以及难以提取深层特征，使得最终得到的融合图像的融合质量较低的技术缺陷。本专利技术提供了一种基于密集连接网络的图像融合方法，所述方法包括：获取待融合的第一图像和第二图像；通过第一卷积层提取所述第一图像和所述第二图像的浅层特征，得到第一浅层特征图和第二浅层特征图；通过密集连接网络提取所述第一浅层特征图和所述第二浅层特征图的深层特征，得到第一深层特征图和第二深层特征图；对所述第一深层特征图和所述第二深层特征图进行加权融合；将加权融合后的特征图进行重构，得到最终的融合图像。可选地，所述第一图像包括红外图像，所述第二图像包括可见光图像；所述获取待融合的第一图像和第二图像的步骤，包括：获取红外图像和原始可见光图像；利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像。可选地，所述利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像的步骤，包括：确定所述红外图像的分辨率；根据所述红外图像的分辨率对所述原始可见光图像进行裁剪，得到可见光图像。可选地，所述密集连接网络包括至少一个第二卷积层、至少三个密集连接的卷积块和至少一个第三卷积层，每个卷积块包括至少三个密集卷积层。可选地，所述通过密集连接网络提取所述第一浅层特征图的深层特征，得到第一深层特征图的步骤，包括：通过所述密集连接网络中的第二卷积层提取所述第一浅层特征图的特征信息，并将所述特征信息输入至所述卷积块中；依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷积层中；将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中，通过所述第三卷积层提取所述特征图的特征信息，得到第一深层特征图。可选地，所述通过密集连接网络提取所述第二浅层特征图的深层特征，得到第二深层特征图的步骤，包括：通过所述密集连接网络中的第二卷积层提取所述第二浅层特征图的特征信息，并将所述特征信息输入至所述卷积块中；依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷积层中；将所述卷积块中最后一个密集卷积层输出的特征图输入至所述第三卷积层中，通过所述第三卷积层提取所述特征图的特征信息，得到第二深层特征图。可选地，所述对所述第一深层特征图和所述第二深层特征图进行加权融合的步骤，包括：确定所述第一深层特征图的像素值和权值，以及所述第二深层特征图的像素值和权值；根据所述第一深层特征图的像素值和权值，以及所述第二深层特征图的像素值和权值，对所述第一深层特征图和所述第二深层特征图进行加权融合。可选地，所述第一深层特征图的权值和所述第二深层特征图的权值相同。可选地，所述重构过程包括至少四个第四卷积层。可选地，所述将加权融合后的特征图进行重构，得到最终的融合图像的步骤，包括：将所述加权融合后的特征图输入至所述第四卷积层中，通过所述第四卷积层对所述加权融合后的特征图进行特征重构，得到最终的融合图像。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术提供的一种基于密集连接网络的图像融合方法，首先将获取的第一图像和第二图像分别输入至第一卷积层中，通过第一卷积层来提取第一图像和第二图像的浅层特征，接着，再将提取后得到的第一浅层特征图和第二浅层特征图分别输入至密集连接网络中，通过密集连接网络提取第一浅层特征图和第二浅层特征图的深层特征，并且通过密集连接网络提取的特征具有上下文联系，能够更好地进行图像融合；最后，本申请对密集连接网络中提取得到的第一深层特征图和第二深层特征图进行深层特征融合，并对融合后的特征进行重构后获得最终的融合图像，该融合图像包含丰富的边缘信息和场景信息，提高了融合质量。另外，本申请的图像融合方法，不仅适用于红外和可见光图像的融合，还适用于其他不同图像之间的融合，适用范围较广。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术实施例提供的一种基于密集连接网络的图像融合方法的流程示意图；图2为本专利技术实施例提供的红外图像和可见光图像的采集过程示意图；图3为本专利技术实施例提供的网络框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。近年来，红外和可见光图像融合技术得到了广泛的关注。红外成像受环境影响较小，在恶劣天气、光线较弱、目标突出的情况下仍能成像。可见光成像通过利用物体对可见光的反射，获得边缘清晰、轮廓清晰的可见光图像。然而，由于红外相机的固有特点，存在细节信息不明显、对比度低、目标纹理信息不足等问题。因此，结合红外和可见光图像的优点，融合红外和可见光图像可以获得信息丰富和鲁棒性强的图像。目前，随着深度学习的发展，许多基于深度学习的融合方法被广泛用于红外和可见光图像融合领域中。通过利用卷积网络获得图像特征和重建融合图像，但基于卷积网络的方法仍然存在缺陷，使用卷积网络对图像进行融合时，容易丢失中间层特征以及难以提取深层特征，使得最终得到的融合图像的融合质量较低。因此，本专利技术的目的是解决现有技术中使用卷积网络对图像进行融合时，容易丢失中间层特征以及难以提本文档来自技高网...

【技术保护点】
1.一种基于密集连接网络的图像融合方法，其特征在于，所述方法包括：/n获取待融合的第一图像和第二图像；/n通过第一卷积层提取所述第一图像和所述第二图像的浅层特征，得到第一浅层特征图和第二浅层特征图；/n通过密集连接网络提取所述第一浅层特征图和所述第二浅层特征图的深层特征，得到第一深层特征图和第二深层特征图；/n对所述第一深层特征图和所述第二深层特征图进行加权融合；/n将加权融合后的特征图进行重构，得到最终的融合图像。/n

【技术特征摘要】
1.一种基于密集连接网络的图像融合方法，其特征在于，所述方法包括：
获取待融合的第一图像和第二图像；
通过第一卷积层提取所述第一图像和所述第二图像的浅层特征，得到第一浅层特征图和第二浅层特征图；
通过密集连接网络提取所述第一浅层特征图和所述第二浅层特征图的深层特征，得到第一深层特征图和第二深层特征图；
对所述第一深层特征图和所述第二深层特征图进行加权融合；
将加权融合后的特征图进行重构，得到最终的融合图像。


2.根据权利要求1所述的基于密集连接网络的图像融合方法，其特征在于，所述第一图像包括红外图像，所述第二图像包括可见光图像；
所述获取待融合的第一图像和第二图像的步骤，包括：
获取红外图像和原始可见光图像；
利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像。


3.根据权利要求2所述的基于密集连接网络的图像融合方法，其特征在于，所述利用所述红外图像对所述原始可见光图像进行预处理，得到可见光图像的步骤，包括：
确定所述红外图像的分辨率；
根据所述红外图像的分辨率对所述原始可见光图像进行裁剪，得到可见光图像。


4.根据权利要求1所述的基于密集连接网络的图像融合方法，其特征在于，所述密集连接网络包括至少一个第二卷积层、至少三个密集连接的卷积块和至少一个第三卷积层，每个卷积块包括至少三个密集卷积层。


5.根据权利要求4所述的基于密集连接网络的图像融合方法，其特征在于，所述通过密集连接网络提取所述第一浅层特征图的深层特征，得到第一深层特征图的步骤，包括：
通过所述密集连接网络中的第二卷积层提取所述第一浅层特征图的特征信息，并将所述特征信息输入至所述卷积块中；
依次通过每个卷积块中的每个密集卷积层，将之前所有的第二卷积层和/或密集卷积层输入的特征信息进行拼接，并将拼接后提取的特征信息传递至之后的各个密集卷...

【专利技术属性】
技术研发人员：程良伦，李凤，吴衡，陈妍伶，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44