一种基于可见光-红外光电侦察图像融合的语义分割方法技术

本发明专利技术公开了一种基于可见光

【技术实现步骤摘要】
一种基于可见光
‑
红外光电侦察图像融合的语义分割方法


[0001]本专利技术涉及遥感图像处理领域，特别是一种基于可见光
‑
红外光电侦察图像融合的语义分割方法
。

技术介绍

[0002]随着深度学习技术的发展，近年来出现了许多有效的语义分割网络
。
然而，主流的语义分割网络主要采用可见光的光电侦察图像
。
当光照条件不满足时，可见光图像的质量容易降低，分割性能容易下降
。
例如，大多数算法在几乎完全黑暗的情况下无法正确分割物体
。
因此，亟需研发一种基于可见光
‑
红外光电侦察图像融合的语义分割方法，来减少干扰因素带来的错检和漏检现象，提高分割准确性
。

技术实现思路

[0003]本专利技术的目的在于，提供一种基于可见光
‑
红外光电侦察图像融合的语义分割方法
。
本专利技术具有能够有效提高分割准确性，减少因干扰因素带来的错检和漏检现象的特点
。
[0004]本专利技术的技术方案：一种基于可见光
‑
红外光电侦察图像融合的语义分割方法，包括以下步骤：
[0005]S1、
获取得到红外光电吊舱侦察图像和可见光的光电吊舱侦察图像；
[0006]S2、
利用
convNeXT
特征提取器分别提取红外光电吊舱侦察图像和可见光的光电吊舱侦察图像中的特征；
[0007]S3、
通过差分特征融合模块对提取到的特征进行融合；
[0008]S4、
经过解码器逐一进行上采样操作，得到语义分割图
。
[0009]前述的一种基于可见光
‑
红外光电侦察图像融合的语义分割方法中，
convNeXT
特征提取器依次采用四个
ConvNeXt
卷积块对图像进行处理，提取到不同尺度的特征；
[0010]所述
ConvNeXt
卷积块连接方式采用逆向瓶颈结构，将其可分离卷积上移到第一层；
[0011]ConvNeXt
卷积块的使用过程为：先使用7×7卷积核对图像进行卷积操作，然后使用线性正则化处理和两次1×1卷积操作，完成特征的提取；在两次1×1卷积操作之间使用
GELU
激活函数进行操作
。
[0012]前述的一种基于可见光
‑
红外光电侦察图像融合的语义分割方法中，差分特征融合模块的融合计算公式为：
[0013][0014]其中，
OUT
是融合后的输出特征，
M
为特征融合权重，
X
为对红外光电吊舱侦察图像进行特征提取得到的特征向量
,Y
为对可见光的光电吊舱侦察图像进行特征提取得到的特征向量
。
[0015]前述的一种基于可见光
‑
红外光电侦察图像融合的语义分割方法中，特征融合权
重
M
的计算过程为：
[0016]计算局部特征的通道注意力，计算公式为：
[0017]L(X)
＝
B(PWConv2(
δ
(B(PWConv1(G(X))))))
，
[0018]其中，
PWConv
表示点卷积，即1×1卷积，
B
表示批量归一化层，
δ
表示激活函数
GELU
，
X
为对红外光电吊舱侦察图像进行特征提取得到的特征向量；
[0019]计算全局特征的通道注意力，计算公式为：
[0020]L(X)
＝
B(PWConv2(
δ
(B(PWConv1(X)))))
，
[0021]其中，
G
表示全局平均池化操作；
PWConv
表示点卷积，即1×1卷积；
B
表示批量归一化层；
δ
表示激活函数
GELU
；
Y
为对可见光的光电吊舱侦察图像进行特征提取得到的特征向量；
[0022]最后，将两个权重逐元素相加得到最终的特征融合权重
M。
[0023]前述的一种基于可见光
‑
红外光电侦察图像融合的语义分割方法中，所述解码器采用简单的残差块加上采样函数
。
[0024]与现有技术相比，本专利技术利用红外光电吊舱侦察图像的优势，利用
convNeXT
特征提取器分别提取红外光电吊舱侦察图像和可见光的光电吊舱侦察图像中的特征
、
通过差分特征融合模块对提取到的特征进行融合，从而可以有效的融合可见光图像和红外图像，以获得鲁棒性更好
、
准确性更高的语义分割
。
[0025]具体的
[0026]本专利技术所采用的
ConvNeXt
卷积块通过7×7卷积核对图像进行卷积操作，然后使用线性正则化处理和两次1×1卷积操作，完成特征的提取；在两次1×1卷积操作之间使用
GELU
激活函数进行操作；从而能够很好的抑制噪点，减少光照植被等干扰因素带来的错检和漏检
。
差分特征融合模块，有选择地保留差异像素点，使得模型能够获得更加丰富的全局和局部信息
。
[0027]综上所述，本专利技术具有能够有效提高分割准确性，减少因干扰因素带来的错检和漏检现象的特点
。
[0028]经过实验验证，在可见光
‑
红外光电侦察图像数据集上，本专利技术的分割精度提高了
2.1
％，准确度提高了
2.3
％
。
附图说明
[0029]图1是本专利技术的总体框图；
[0030]图2是
ConvNeXt
卷积块结构示意图；
[0031]图3是差分特征融合模块的结构示意图
。
具体实施方式
[0032]下面结合附图和实施例对本专利技术作进一步的说明，但并不作为对本专利技术限制的依据
。
[0033]实施例
。
一种基于可见光
‑
红外光电侦察图像融合的语义分割方法，构成如图1‑3所示，包括以下步骤：
[0034]S1、
获取得到红外光电吊舱侦察图像和可见光的光电吊舱侦察图像；
[0035]S2、
利用
convNeXT
特征提取器分别提取红外光电吊舱侦察图像和可见光的光电吊舱侦察图像中的特征；
[0036]S3、
通过差分特征融合模块对提取到的特征进行融合；
[0037]S4、
经过解码器逐一进行上采样操作，得到语义分割图
。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于可见光
‑
红外光电侦察图像融合的语义分割方法，其特征在于，包括以下步骤：
S1、
获取得到红外光电吊舱侦察图像和可见光的光电吊舱侦察图像；
S2、
利用
convNeXT
特征提取器分别提取红外光电吊舱侦察图像和可见光的光电吊舱侦察图像中的特征；
S3、
通过差分特征融合模块对提取到的特征进行融合；
S4、
经过解码器逐一进行上采样操作，得到语义分割图
。2.
根据权利要求1所述的一种基于可见光
‑
红外光电侦察图像融合的语义分割方法，其特征在于：
convNeXT
特征提取器依次采用四个
ConvNeXt
卷积块对图像进行处理，提取到不同尺度的特征；所述
ConvNeXt
卷积块连接方式采用逆向瓶颈结构，将其可分离卷积上移到第一层；
ConvNeXt
卷积块的使用过程为：先使用7×7卷积核对图像进行卷积操作，然后使用线性正则化处理和两次1×1卷积操作，完成特征的提取；在两次1×1卷积操作之间使用
GELU
激活函数进行操作
。3.
根据权利要求2所述的一种基于可见光
‑
红外光电侦察图像融合的语义分割方法，其特征在于，差分特征融合模块的融合计算公式为：其中，
OUT
是融合后的输出特征，
M
为特征融合权重，
X
为对红外光电吊舱侦察图像进行特征提取得到的特征向量

【专利技术属性】
技术研发人员：程文明，陈国强，魏振兴，张国财，麻斌鑫，
申请(专利权)人：浙江航天润博测控技术有限公司，
类型：发明
国别省市：