一种基于热红外注意力机制神经网络的行车场景分割方法技术

本发明专利技术公开了一种基于热红外注意力机制神经网络的行车场景分割方法，本方法首先获取同场景、同分辨率的可见光、热红外影像，通过标记，形成复合影像训练数据集；接着构建热红外信息注意网络，使用复合影像训练集对其进行训练；当得到较好的训练模型后，使用热红外信息注意网络对行车影像进行分割；能够在不同环境下稳定地对行车环境影像进行分割，且分割精度较高。较高。较高。

【技术实现步骤摘要】
一种基于热红外注意力机制神经网络的行车场景分割方法


[0001]本专利技术涉及行车环境图像分割
，特别涉及一种基于热红外注意力机制神经网络的行车场景分割方法。

技术介绍

[0002]汽车驾驶员在驾驶汽车时需要对周围行车环境进行判断，从而进行安全驾驶。近些年，车载视觉传感器在汽车行业的应用大大帮助了驾驶员对于复杂行车环境的判断。车载视觉传感器的种类丰富，车后视觉传感器可以方便驾驶员观察汽车后面的状况，辅助驾驶员进行倒车动作，车侧视觉传感器可以方便驾驶员知晓行车时前侧方盲区状况，避免交通事故，除此之外，无人车辆的快速发展使这些视觉传感器成为汽车对周围环境进行判断的重要依据。因此，对视觉传感器捕获的图像进行快速分析，可以发挥视觉传感器的作用，方便驾驶员的判断，减少驾驶事故的发生。
[0003]车辆视觉传感器的选型方案目前主要分为两类，一种是以激光雷达(LiDAR)为主，建立3D地图，确认汽车周围的实时立体场景，从而进行判断；另一类以摄像工具为主，通过采集大量图像并进行快速分析与处理，感知可行使车道与障碍物，再进行环境判断。后一种方案整体成本相较前一种方案更低，且硬件条件成熟，引起了汽车厂商的普遍关注。
[0004]基于视觉传感器的行车场景语义分割技术可将视觉传感器生成的图像进行像素级别的语义分类，进而快速识别交通场景中的物体，方便驾驶系统进行后续的判断，其速度快、信息量大的特点引起了众多关注。然而，由于车辆行驶环境中的场景较为复杂，图像包含物体众多，且不同环境下图像质量相差巨大，尤其是夜间与白天相比可见光图像几乎失去作用，这些使得行车场景的语义分割较为困难。

技术实现思路

[0005]本专利技术针对现有技术缺陷，提出了一种基于热红外注意力机制神经网络的行车场景分割方法，解决了现有技术中存在的缺陷。
[0006]为了实现以上专利技术目的，本专利技术采取的技术方案如下：
[0007]一种基于热红外注意力机制神经网络的行车场景分割方法，包括以下步骤：
[0008]步骤1:获取车载相机提供的同分辨率、同一行车环境的可见光图像与热红外图像若干对，进行类别标记，得到复合图像训练数据集；
[0009]步骤2:构建热红外信息注意网络；
[0010]步骤3:根据复合图像训练数据集对热红外信息注意网络进行训练，得到完成训练的热红外信息注意网络；
[0011]步骤4:使用热红外信息注意网络对行车环境图像进行分割，行车环境图像为与复合图像训练数据集相同分辨率的可见光图像与热红外图像对。
[0012]进一步地，步骤1包括如下子步骤：
[0013]步骤1.1：获取车载相机提供的同分辨率、同一场景的行车环境可见光图像与热红
外图像，两张图像中对应像素的内容应相同。可见光图像是普通彩色相机拍摄的红、黄、蓝谱段形成的图像，热红外图像为热红外成像仪拍摄的图像，两张图像形成复杂图像对。同分辨率的图像对需准备若干对，且需要包含多种场景与多种环境；
[0014]步骤1.2：将复杂图像对裁剪为相同的大小，图像方向相同、长与宽均相同，形成复合图像训练数据集；
[0015]进一步地，步骤2包括如下子步骤：
[0016]步骤2.1：根据复杂图像对的质量、数量等因素确定热红外信息注意网络的基本参数；
[0017]步骤2.2：搭建基于深度学习环境的热红外信息注意网络结构，并按步骤2.1中确定的参数设置网络；
[0018]进一步地，步骤3包括如下子步骤：
[0019]步骤3.1：根据复合图像训练数据集的质量与数量设置热红外信息注意网络的训练次数；
[0020]步骤3.2：使用复合图像训练数据集训练热红外信息注意网络；
[0021]步骤3.3：保存完成训练的热红外信息注意网络的网络参数；
[0022]进一步地，步骤4包括如下子步骤：
[0023]步骤4.1：获取车载相机提供的，与复合图像训练数据集分辨率相同的行车环境复合图像对，规范化复合图像对，使复合图像对的长与宽与训练数据集中的图像对相同；
[0024]步骤4.2：将规范化后的待分割复合图像对输入至完成训练的热红外信息注意网络中，得到网络的分割结果；
[0025]步骤4.3：整理并保存热红外信息注意网络的行车场景分割结果。
[0026]与现有技术相比，本专利技术的有益效果如下：
[0027]1.该方法提出一套系统的行车环境语义分割方法，使用本方法可利用可见光图像高分辨率、色彩信息丰富与热红外图像环境适应范围广、亮度高的优点对行车环境进行判断。不仅如此，该方法提出的行车环境分割系统适用于各种车辆，且成本低、操作简单、分割效果好。
[0028]2.该方法提出一个新的基于深度学习的语义分割网络—热红外信息注意网络，该网络融合了可见光图像与热红外图像提取出的特征，并使用热红外信息注意块使提取出的热红外特征能够监督网络的学习，根据热红外图像中的基本行车环境信息决定可见光图像在分割过程中的权重。热红外信息注意网络与多数语义分割网络相比结构简单，能够快速处理行车传感器生成的大量图像，提高分割效率。
附图说明
[0029]图1是本专利技术基于热红外注意力机制神经网络的行车场景分割方法流程图；
[0030]图2是本专利技术所提及的可见光
‑
热红外双目相机的成像示意图；
[0031]图3是本专利技术构建的热红外信息注意网络结构图；
[0032]图4是本专利技术设计的热红外信息注意块结构图；
[0033]图5是本专利技术设计的热红外信息注意网络训练示意图；
[0034]图6是本专利技术设计的行车环境中热红外信息注意网络分割示意图；
[0035]图7是本专利技术采用公开数据集的行车场景分割结果示意图。
具体实施方式
[0036]为使本专利技术的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本专利技术做进一步详细说明。
[0037]下面对本专利技术的具体实施方式进行描述，以便于本
的技术人员理解本专利技术，但应该清楚，本专利技术不限于具体实施方式的范围，对本
的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本专利技术的精神和范围内，这些变化是显而易见的，一切利用本专利技术构思的专利技术创造均在保护之列。
[0038]如图1所示，一种基于热红外注意力机制神经网络的行车场景分割方法，包括以下步骤：
[0039]步骤1：收集同场景、同分辨率的可见光图像与热红外图像，制作复合图像训练数据集；
[0040]步骤2：构建基于深度学习的热红外信息注意网络，设置网络参数；
[0041]步骤3：使用复合图像训练数据集训练热红外信息注意网络；
[0042]步骤4：使用热红外信息注意网络对其它行车环境复合图像进行分割。
[0043]本实施方案的步骤1包括如下步骤：
[0044]步骤1.1：获取图像质量较好的车载视觉传感器生成的复合图像。包含一张可见光图像与一张本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于热红外注意力机制神经网络的行车场景分割方法，其特征在于，包括以下步骤：步骤1:获取车载相机提供的同分辨率、同一行车环境的可见光图像与热红外图像若干对，进行类别标记，得到复合图像训练数据集；步骤2:构建热红外信息注意网络；步骤3:根据复合图像训练数据集对热红外信息注意网络进行训练，得到完成训练的热红外信息注意网络；步骤4:使用热红外信息注意网络对行车环境图像进行分割，行车环境图像为与复合图像训练数据集相同分辨率的可见光图像与热红外图像对。2.根据权利要求1所述的基于热红外注意力机制神经网络的行车场景分割方法，其特征在于，所述步骤1包括如下子步骤：步骤1.1：获取车载相机提供的同分辨率、同一场景的行车环境可见光图像与热红外图像，两张图像中对应像素的内容应相同，可见光图像是普通彩色相机拍摄的红、黄、蓝谱段形成的图像，热红外图像为热红外成像仪拍摄的图像，两张图像形成复杂图像对，同分辨率的图像对需准备若干对，且需要包含多种场景与多种环境；步骤1.2：将复杂图像对裁剪为相同的大小，图像方向相同、长与宽均相同，形成复合图像训练数据集。3.根据权利要求1所述的基于热红外注...

【专利技术属性】
技术研发人员：桂媛媛，李伟，陶然，陈正超，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：