基于双源融合的语义分割网络制造技术

本发明专利技术涉及一种基于双源融合的语义分割网络，包括两个编码器和分段解码器，两个编码器分别为Thermal编码器和RGB编码器，分别采用FasterNet块作为基本特征提取单元，所述Thermal编码器用于从热成像图提取T特征图，所述RGB编码器用于从与所述热成像图相对应的RGB图提取RGB特征图；分段解码器包括依次连接的DPPM模块、两个MAFM模块和Seghead模块，所述DPPM模块用于在第一融合阶段提取所述T特征图和所述RGB特征图中的高级特征并进行粗融合，所述MAFM模块用于在第二阶段增强T特征图和所述RGB特征图中不同特征之间的相关性实现精细融合，所述Seghead模块用于以第二个MAFM模块的输出作为输入，输出分割结果。本发明专利技术可以保留更多的关键特征，提高分割精度和速度。

【技术实现步骤摘要】

本专利技术涉及机器视觉领域，具体涉及一种基于双源融合的语义分割网络。

技术介绍

1、热成像在交通场景语义分割中有广泛的应用范围和应用场景，可以用于提高交通安全、监测和管理交通流量，在夜间驾驶辅助、交通监测和管理、交通事故识别、交通信号优化、辅助无人驾驶车辆等领域都有应用。目前，大多数交通场景下的语义分割数据集都是使用可见光相机进行场景捕获，这些图像数据通常只有r，g，b三个通道。然而，主流的语义分割算法都是基于rgb图像工作，当存在环境干扰时，其性能会显著下降。

2、我们发现，热成像相机在完全黑暗的情况下仍能捕捉到交通场景下的热力信息。热辐射的光谱范围为0.1～100μm，远大于0.4～0.7μm的可见光谱。因此，热成像相机在黑暗的环境下可以为语义分割带来更多有效的信息。而且，热成像相机通常造价比较低，结构小巧，对于空间较狭窄的应用场景更具有优势。热成像相机的结果一般是单通道的热成像图，类似于深度图，因此仅需要对热成像图归一化。

3、基于此，亟需设计一种融合rgb图和热力图的语义分割网络，以提高分割精度和速度。</p>
...

【技术保护点】

1.基于双源融合的语义分割网络，其特征在于，

2.根据权利要求1所述的基于双源融合的语义分割网络，其特征在于，

3.根据权利要求1所述的基于双源融合的语义分割网络，其特征在于，

4.根据权利要求1所述的基于双源融合的语义分割网络，其特征在于，

5.根据权利要求1所述的基于双源融合的语义分割网络，其特征在于，

6.根据权利要求5所述的基于双源融合的语义分割网络，其特征在于，

7.根据权利要求6所述的基于双源融合的语义分割网络，其特征在于，

【技术特征摘要】

1.基于双源融合的语义分割网络，其特征在于，

2.根据权利要求1所述的基于双源融合的语义分割网络，其特征在于，

3.根据权利要求1所述的基于双源融合的语义分割网络，其特征在于，

4.根据权利要求1所述的基于双源融合的语义...

【专利技术属性】
技术研发人员：杨彪，房磊，胡义凯，倪蓉蓉，王睿，杨长春，
申请(专利权)人：常州大学，
类型：发明
国别省市：