一种融合可见光与红外热图像特征的复杂场景分割方法技术

本发明专利技术公开了一种融合可见光与红外热图像特征的复杂场景分割方法，其实施方案为：1)获取数据集与分割标签；2)数据扩充与处理；3)构建分割模型；4)构建损失函数；5)训练分割模型；6)可见光与红外热图像分割。本发明专利技术构建的具有双路特征空间自适应模块的场景分割模型，能够转换红外热特征至可见光特征空间内，并将二者的特征进行融合，从而有效利用可见光与红外热图像信息进行场景分割。本发明专利技术方法能够解决在光线条件不足或异常时的复杂场景分割问题，并可有效提高分割准确性和鲁棒性。并可有效提高分割准确性和鲁棒性。并可有效提高分割准确性和鲁棒性。

【技术实现步骤摘要】
一种融合可见光与红外热图像特征的复杂场景分割方法


[0001]本专利技术涉及图像处理
，具体涉及一种融合可见光与红外热图像特征的复杂场景分割方法。

技术介绍

[0002]场景分割方法旨在判断场景图像中每个像素所属的类别，实现场景中视觉要素的识别，并能提供图像丰富的细节信息，因而具有广泛的应用空间和发展前景。例如在自动驾驶领域中，可以通过场景分割算法帮助车辆判断当前的路况，对车辆附近的行人、障碍物进行检测；在增强现实领域中，可以利用场景分割算法辅助实现多种增强效果。
[0003]现有场景分割方法主要基于可见光图像，但在光线条件不足或光照异常时，可见光图像的质量会大幅降低，导致分割结果有误。红外热成像相机对光线与天气的变化更加鲁棒，缺点在于红外热图像提供的信息量较少，视觉效果模糊。由此可见，仅依靠单一模态的图像，难以精确分割不同环境下的场景。由于可见光与红外热图像属于两种不同模态的数据，而已有的场景分割模型大多只适用于单模态图像，不能有效融合两种模态的图像信息，因而无法得到精确的分割结果。

技术实现思路
r/>[0004]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合可见光与红外热图像特征的复杂场景分割方法，其特征在于包括以下步骤：(1)获取数据集与分割标签：获取可见光与红外热图像公开数据集与对应的分割标签；(2)数据扩充与处理，具体包括以下步骤：(2
‑
a)对步骤(1)获取的图像与分割标签同步水平翻转，使数据集样本数量扩充一倍；(2
‑
b)将步骤(2
‑
a)扩充后的图像缩放到m1×
m2像素大小，对应的分割标签也缩放至同样大小，其中m1为缩放后图像的宽，m2为缩放后图像的高，m1、m2都为正整数；(2
‑
c)将步骤(2
‑
b)缩放后的图像进行归一化操作；(3)构建分割模型，具体包括以下步骤：(3
‑
a)构建针对可见光图像的编码器，该编码器一共包含五组下采样层，可见光图像依次经过五组下采样层，分别得到中间特征图V1、V2、V3、V4和V5；第一组下采样层包括一个卷积块与一个池化层，第二、三组下采样层分别包括两个卷积块与一个池化层，第四组下采样层包括三个卷积块与一个池化层，第五组下采样层包括三个卷积块；(3
‑
b)构建针对红外热图像的编码器，该编码器与步骤(3
‑
a)所述编码器在结构上完全一致，红外热图像依次经过五组下采样层，分别得到中间特征图T1、T2、T3、T4和T5；(3
‑
c)构建解码器上采样层，该解码器一共包含五组上采样层，第一至第五组上采样层的输出结果分别表示为U1、U2、U3、U4和U5；第一组上采样层包括一个双路特征空间自适应模块与一个最邻近插值，双路特征空间自适应模块简称DPFSA模块；第二、三、四组上采样层包括一个DPFSA模块、一个卷积块与一个最邻近插值；第五组上采样层包括一个DPFSA模块与一个卷积块；(3
‑
d)将步骤(3
‑
a)得到的中间特征图V5与步骤(3
‑
b)得到的中间特征图T5输入到步骤(3
‑
c)构建的第一组上采样层内的DPFSA模块，第一组上采样层输出为U1；将U1与步骤(3
‑
a)得到的中间特征图V4与步骤(3
‑
b)得到的中间特征图T4输入到步骤(3
‑
c)构建的第二组上采样层内的DPFSA模块，第二组上采样层输出为U2；将U2与步骤(3
‑
a)得到的中间特征图V3与步骤(3
‑
b)得到的中间特征图T3输入到步骤(3
‑
c)构建的第三组上采样层内的DPFSA模块，第三组上采样层输出为U3；将U3与步骤(3
‑
a)得到的中间特征图V2与步骤(3
‑
b)得到的中间特征图T2输入到步骤(3
‑
c)构建的第四组上采样层内的DPFSA模块，第四组上采样层输出为U4；将U4与步骤(3
‑
a)得到的中间特征图V1与步骤(3
‑
b)得到的中间特征图T1输入到步骤(3
‑
c)构建的第五组上采样层内的DPFSA模块，第五组上采样层输出为U5，即最终的分割结果，完成分割模型的构建；(4)构建损失函数：根据数据集特点构建基于交叉熵与Dice的损失函数L
mix
，定义如下：L
mix
＝L
CE
+L
DiceDice
其中...

【专利技术属性】
技术研发人员：阳春华，陈武阳，赵于前，张帆，余伶俐，
申请(专利权)人：中南大学，
类型：发明
国别省市：