本发明专利技术公开了一种弱配准下红外与可见光融合方法及双目成像装置，所述方法包括：获取针对同一目标的可见光图像以及红外图像，采用图像弱配准方法，生成目标图像对；将所述目标图像对输入训练好的深度学习融合模型中，得到输出的融合图像；所述的深度学习融合模型包括显著特征提取模块、编码器、融合模块以及解码器；所述双目成像装置中，可见光相机与红外相机分别捕获可见光图像和红外图像，AI处理器首先对红外图像和可见光图像进行校正和裁剪，然后利用深度学习融合模型进行融合处理，得到融合图像通过终端显示器进行显示。本发明专利技术提高成像质量并且准许融合的图像对存在配准偏差，有效突出显著信息，减少视觉伪影，更利于成像系统的全天候工作。统的全天候工作。统的全天候工作。
【技术实现步骤摘要】
一种弱配准下红外与可见光融合方法及双目成像装置
[0001]本专利技术涉及图像融合领域，具体涉及一种弱配准下红外与可见光融合方法及双目成像装置。
技术介绍
[0002]红外和可见光多传感器成像系统提供观测区域的补充信息，已广泛应用于医疗、安全、军事等领域，来增强人类的视觉感知、目标检测和目标识别。红外图像是利用热辐射信息成像的，因此可以很容易地将目标与背景区分开来。高分辨率相机拍摄的可见图像包含丰富的高分辨率纹理细节。这两种类型的图像可以融合，从不同方面提供互补的场景信息以提高成像质量。
[0003]近年来，红外与可见光融合成像技术被广泛应用，使得多模态传感器的信息利用率得到了提高，成像系统的工作时间进一步延长，但仍然存在一些缺点。首先，红外图像的热辐射特性和可见光图像的纹理细节在融合图像中难以平衡，融合图像仅与一个源图像相似，导致信息丢失。其次，在实际应用中，由于红外和可见光图像的分辨率不同，以及两台相机的视角和对准方式不同，因此需要对可见光和红外图像进行配准。然而，大多数融合方法其性能取决于配准精度。因此，基于红外与可见光成像系统的弱配准图像融合方法在图像信息融合领域显得格外重要，开发在图像有配准偏差的情况仍能保持良好图像融合性能的算法非常有助于信息融合技术的应用与发展。
技术实现思路
[0004]本专利技术的目的是提供一种弱配准下红外与可见光融合方法及双目成像装置，用以提高成像质量并且准许融合的图像对存在配准偏差，有效突出显著信息，减少视觉伪影，更利于成像系统的全天候工作。
[0005]为了实现上述任务，本专利技术采用以下技术方案：
[0006]一种弱配准下红外与可见光融合方法，包括：
[0007]获取针对同一目标的可见光图像以及红外图像，采用图像弱配准方法对红外图像与可见光图像对进行校正和裁剪，生成目标图像对；
[0008]将所述目标图像对输入训练好的深度学习融合模型中，得到输出的融合图像；所述的深度学习融合模型包括显著特征提取模块、编码器、融合模块以及解码器，其中：
[0009]所述显著特征提取模块用于根据所述目标图像对进行显著特征提取，得到图像显著特征对；
[0010]所述编码器的输入为目标图像对、图像显著特征对；目标图像对、图像显著特征对首先分别进行浅层特征提取后，再进行深层特征提取，生成红外深层特征图和可见光深层特征图、红外显著特征图和可见光显著图特征图；
[0011]融合模块包括四个融合层，每个融合层均使用l1
‑
范数和基于块的平均运算符来融合特征映射；融合模模块的第一个融合层首先融合由编码器传入的红外深层特征图和可
见光深层特征图生成融合特征f0，第二、三个融合层将f0分别与红外显著特征图和可见光显著特征图进行融合，以分别生成对应特征图f1和f2；特征图对(f1,f2)经过第四个融合层生成融合特征图f3；
[0012]解码器用于对所述的融合特征图f3进行重建，得到最终的融合图像。
[0013]进一步地，所述显著特征提取模块用于根据所述目标图像对进行显著特征提取，包括：
[0014]显著特征提取模块基于目标图像对计算图像显著特征对其数学模型如下：
[0015][0016]进一步地，所述编码器为一个双层网络结构，目标图像对以及显著图像特征对以图像张量格式被输入到编码器中，首先经过一个3
×
3卷积层完成浅层特征提取，分别得到第一特征图对与第一显著特征图对编码器的上下两层网络分别基于第一特征图对和第一显著特征图对提取红外图像的深度特征、可见光图像的深度特征。
[0017]进一步地，所述上层网络从左到右包括4层3
×
3卷积层和线性整流层ReLU的连续堆叠和跳转连接，最后还有1层3
×
3卷积层用于提取特征和重组信道；在上层网络中，特征图和被传入上层网络进行深度特征提取，生成红外深层特征图和红外显著特征图其中连续堆叠和跳转连接是指，每一个3
×
3卷积层和一个线性整流层ReLU构成一个特征提取单元，共4个特征提取单元；第一个特征提取单元的输入是特征图和第二个特征提取单元的输入是第一个特征提取单元的输出以及特征图和第三个特征提取单元的输入是第二个特征提取单元的输出、第一个特征提取单元的输出以及特征图和第四个特征提取单元的输入是第三个特征提取单元的输出、第二个特征提取单元的输出、第一个特征提取单元的输出以及特征图和从而构成连续堆叠和跳转连接。
[0018]进一步地，所述下层网络从左到右包括3层3
×
3卷积层和层线性整流层ReLU构成的特征提取单元，以及1层3
×
3卷积层；下层网络中，特征图和经过3层特征提取单元处理后，被传入1层3
×
3卷积层重新调整通道，生成可见光深层特征图和可见光显著特征图
[0019]进一步地，融合层对传入的特征图对中的每个特征图分别进行处理，生成带有权重的特征映射对，之后通过特征映射对彼此叠加生成一个融合特征映射；
[0020]其中，特征映射表示为为特征映射的通道数,i＝(1,2,
…
,k)表示特征映射的索引；特征映射的活动水平度量可通过的l1
‑
范数计算来表示，
初始活动水平映射A
i
(x,y)的数学模型如下所示：
[0021]A
i
(x,y)＝||f
i1:M
(x,y)||1[0022]其中，(x,y)表示活动水平图中的坐标，f
i1:M
(x,y)为一个M维的向量，表示在特征映射f
im
中(x,y)位置处的内容，A
i
(x,y)是初始活动水平图，||
·
||1表示l1
‑
范数计算；
[0023]利用基于块的平均运算符对初始活动水平图A
i
(x,y)处理，得到最终活动水平图其数学模型可以表示为：
[0024][0025]其中，r为操作因子尺寸；利用最终活动水平图计算特征图权重w
i
(x,y)：
[0026][0027]其中，w
i
(x,y)表示对应特征图(x,y)处的权重；
[0028]利用特征图权重w
i
(x,y)与对应特征映射相乘来得到融合图像特征图其表达式如下：
[0029][0030]进一步地，所述的解码器由四个依次连接的短连接层组成，每个短连接层包括3
×
3卷积层和线性整流层ReLU；在最后一个短连接层后设置1层3
×
3卷积层用于重建融合图像。
[0031]一种双目成像装置，包括可见光相机，红外相机，终端显示器和AI处理器，其中：
[0032]可见光相机与红外相机分别捕获可见光图像和红外图像，AI处理器中装载有前述的深度学习融合模型；AI处理器首先对红外图像和可见光图像进行校正和裁本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种弱配准下红外与可见光融合方法，其特征在于，包括：获取针对同一目标的可见光图像以及红外图像，采用图像弱配准方法对红外图像与可见光图像对进行校正和裁剪，生成目标图像对；将所述目标图像对输入训练好的深度学习融合模型中，得到输出的融合图像；所述的深度学习融合模型包括显著特征提取模块、编码器、融合模块以及解码器，其中：所述显著特征提取模块用于根据所述目标图像对进行显著特征提取，得到图像显著特征对；所述编码器的输入为目标图像对、图像显著特征对；目标图像对、图像显著特征对首先分别进行浅层特征提取后，再进行深层特征提取，生成红外深层特征图和可见光深层特征图、红外显著特征图和可见光显著图特征图；融合模块包括四个融合层，每个融合层均使用l1
‑
范数和基于块的平均运算符来融合特征映射；融合模模块的第一个融合层首先融合由编码器传入的红外深层特征图和可见光深层特征图生成融合特征f0，第二、三个融合层将f0分别与红外显著特征图和可见光显著特征图进行融合，以分别生成对应特征图f1和f2；特征图对(f1,f2)经过第四个融合层生成融合特征图f3；解码器用于对所述的融合特征图f3进行重建，得到最终的融合图像。2.根据权利要求1所述的弱配准下红外与可见光融合方法，其特征在于，所述显著特征提取模块用于根据所述目标图像对进行显著特征提取，包括：显著特征提取模块基于目标图像对计算图像显著特征对其数学模型如下：3.根据权利要求1所述的弱配准下红外与可见光融合方法，其特征在于，所述编码器为一个双层网络结构，目标图像对以及显著图像特征对以图像张量格式被输入到编码器中，首先经过一个3
×
3卷积层完成浅层特征提取，分别得到第一特征图对与第一显著特征图对编码器的上下两层网络分别基于第一特征图对和第一显著特征图对提取红外图像的深度特征、可见光图像的深度特征。4.根据权利要求3所述的弱配准下红外与可见光融合方法，其特征在于，所述上层网络从左到右包括4层3
×
3卷积层和线性整流层ReLU的连续堆叠和跳转连接，最后还有1层3
×
3卷积层用于提取特征和重组信道；在上层网络中，特征图和被传入上层网络进行深度特征提取，生成红外深层特征图和红外显著特征图其中连续堆叠和跳转连接是指，每一个3
×
3卷积层和一个线性整流层ReLU构成一个特征提取单元，共4个特征提取单元；第一个特征提取单元的输入是特征图和第二个特征提取单元的输入是第一个特征提取单元的输出以及特征图和第三个特征提取单元的输入是第二个特征提取单元的
输出、第一个特征提取单元的输出以及特征图和第四个特征提取单元的输入是第三个特征提取单元的输出、第二个特征提取单元的输出、第一个特征提取单元的输出以及特征图和从而构成连续堆叠和跳转连接。5.根据权利要求3所述的弱配准下红外与可见光融合方法，其特征在于，所述下层网络从左到右包括3层3
×
3卷积层和层线性整流层ReLU构成的特征提取单元，以及1层3
×
3卷...
【专利技术属性】
技术研发人员：程良伦，李卓，吴衡，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。