多模态车辆环境图像融合分割方法、装置、设备及介质制造方法及图纸

技术编号:43481013 阅读:25 留言:0更新日期:2024-11-29 16:54
本发明专利技术提供一种多模态车辆环境图像融合分割方法、装置、设备及介质,该方法包括获取车辆环境的可见光图像和红外图像,将可见光图像和红外图像输入至训练后的编码器,通过训练后的编码器对可见光图像和红外图像分别进行全局特征提取,得到可见光图像全局特征和红外图像全局特征,对可见光图像全局特征和红外图像全局特征分别进行多分支特征提取,得到可见光图像分支特征集和红外图像分支特征集,对可见光图像分支特征集和红外图像分支特征集进行特征融合,得到融合图像特征,将融合图像特征输入至解码器,得到车辆环境的分割图像;能够同时兼顾高层语义特征和低层细节特征,使得融合后的图像特征更加全面和准确,进而提高分割图像的精度。

【技术实现步骤摘要】

本申请涉及图像融合分割,具体涉及一种多模态车辆环境图像融合分割方法、装置、设备及介质


技术介绍

1、红外图像与可见光图像各具优势与局限:红外图像虽能突出热目标,尤其是在恶劣环境下,但其分辨率较低,而可见光图像虽能更好地保留丰富的图像纹理细节,但其容易受到光照条件的影响。鉴于此,融合两种模态图像进行分割,成为应对复杂的特种车辆道路场景的有效策略,能够显著提升图像分割的鲁棒性与精度。

2、特种车辆通常用于执行各种特殊任务,无论是驰骋于军事前线、疾驰于救援现场,还是穿梭于医疗紧急任务中,其环境感知的精准性直接关乎任务安全与效率。因此,实现多模态车辆环境图像的精确融合分割,对于增强特种车辆交通安全性具有不可估量的价值。然而,传统多模态图像融合分割方法在提取高层语义特征与保持低层细节特征方面难以同时兼顾,对图像的特征提取不充分,导致图像分割的精度受限。


技术实现思路

1、鉴于以上所述现有技术的缺点,本申请提供一种多模态车辆环境图像融合分割方法、装置、设备及介质,以解决上述传统多模态图像融合分割方法在提取高本文档来自技高网...

【技术保护点】

1.一种多模态车辆环境图像融合分割方法,其特征在于,所述方法包括:

2.根据权利要求1所述的多模态车辆环境图像融合分割方法,其特征在于,对所述可见光图像全局特征和所述红外图像全局特征分别进行多分支特征提取,得到多个可见光图像分支特征和多个红外图像分支特征,包括:

3.根据权利要求2所述的多模态车辆环境图像融合分割方法,其特征在于,对所述可见光图像分支特征集和所述红外图像分支特征集进行特征融合,得到融合图像特征,包括:

4.根据权利要求2所述的多模态车辆环境图像融合分割方法,其特征在于,所述编码器包括用于分别对所述可见光图像和所述红外光图像进行全局特征提...

【技术特征摘要】

1.一种多模态车辆环境图像融合分割方法,其特征在于,所述方法包括:

2.根据权利要求1所述的多模态车辆环境图像融合分割方法,其特征在于,对所述可见光图像全局特征和所述红外图像全局特征分别进行多分支特征提取,得到多个可见光图像分支特征和多个红外图像分支特征,包括:

3.根据权利要求2所述的多模态车辆环境图像融合分割方法,其特征在于,对所述可见光图像分支特征集和所述红外图像分支特征集进行特征融合,得到融合图像特征,包括:

4.根据权利要求2所述的多模态车辆环境图像融合分割方法,其特征在于,所述编码器包括用于分别对所述可见光图像和所述红外光图像进行全局特征提取的全局特征提取模块、用于分别对所述可见光图像全局特征和所述红外图像全局特征进行细节分支特征提取的细节分支特征提取模块、用于分别对所述可见光图像全局特征和所述红外图像全局特征进行基础分支特征提取的基础分支特征提取模块、用于根据所述可见光图像全局特征和所述红外图像全局特征进行空间分支特征提取的空间分支特征提取模块。

5...

【专利技术属性】
技术研发人员:文斌熊小鹏陈诗尧段亦非谭玉梅李嫄源朱智勤安翼尧黄鑫周志浩
申请(专利权)人:重庆迪马工业有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1