弱对齐条件下的消防机器人多模态视觉火焰检测方法技术

本发明专利技术公开了一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，设计了并行的可见光火焰检测网络与热成像火焰检测网络，利用可见光火焰检测网络输出的可见光检测框信息投影到热成像图像中，并使用一个近邻采样模块在其中心处生成一系列样本检测框。相较于传统的RPN的遍历式采样，本发明专利技术仅在一个较小的范围内采样，使用热成像网络的分类器与回归器对检测框修正后，可以在热成像图像中得到精确的检测框。同时，为了解决弱对齐情况下的多模态信息融合问题，提出注意力引导模块融合可见光图像与热成像图像的信息，通过热成像特征图生成的注意力与跨模态检测框信息，以区域对应的方式优化可见光特征图，达到增加火焰检测准确度，降低误报率的效果。降低误报率的效果。降低误报率的效果。

【技术实现步骤摘要】
弱对齐条件下的消防机器人多模态视觉火焰检测方法


[0001]本专利技术涉及火焰检测
，尤其涉及一种弱对齐条件下的消防机器人多模态视觉火焰检测方法。

技术介绍

[0002]得益于机器人技术在本世纪的快速发展，机器人已被逐渐应用于消防领域。消防机器人可以被遥控进入极端危险的火场作业，从而保证消防员的人身安全；或是用于火警的快速响应，在火情较小时自主对其进行控制。随着机器人技术的发展，智能的、自主的消防机器人是未来的趋势。
[0003]对于智能消防机器人来说，火焰检测技术是其重要组成部分，火焰检测为机器人提供目标的位置信息，这是自主灭火的第一步。在可见光图像中，火焰有着丰富的颜色与纹理信息，但是检测会受到其他特征与火焰相似的物体干扰。而在热成像图像中，图像中各像素点的亮度是由该点处在环境中的相对温度决定的，由于火焰的温度一般较高，这使得火焰在热成像图像中的特征显著。
[0004]自然地，我们考虑将可见光图像与热成像图像中的火焰检测进行结合。常见方法中，将热成像图像通过自适应阈值等方法分割即可达到火焰区域分割的效果。但是，在一般的视觉系统中，热成像相机与可见光相机的安装位置与相机视野(FOV)等均存在一定差距，因此不同模态图像是未配准或弱对齐的，热成像图像需要与可见光图像进行配准，才能实现像素点之间的对应。而配准则依赖分光镜与相机的同步采集，这需要小心地设计整个视觉硬件系统，或者使用软件算法配准，而跨模态的图像特征不易匹配，导致跨模态图像配准在一般情景下可能会相对困难。
[0005]一种更便捷的解决方法是利用双目视觉。通过双目视觉获取火焰的深度信息，以及标定得到的相机内、外参数，便可以将该物体的位置从一个相机图像中投影到另一个相机的图像中。但是，由于不同模态相机的同步问题、燃烧产生的高温气体的影响、以及三维信息测量误差与相机参数标定误差的影响，可见光与热成像图像中的火焰形状会有很大不同，直接将投影得到的检测框用于检测火焰并不合适。因此，对跨模态的投影结果进行修正是有必要的。此外，上文提到的问题也为跨模态融合检测带来了困难，因为可见光图像与热成像的像素不是一一对应的，因此，有必要研究一种可以应用于弱对齐图像对的多模态融合检测方法。

技术实现思路

[0006]本专利技术的目的是提供一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，可以提升火焰检测准确度，降低误报率。
[0007]本专利技术的目的是通过以下技术方案实现的：
[0008]一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，包括：
[0009]对于同步采集的每一对可见光图像与热成像图像，各自通过特征提取器进行特征
提取，获得可见光特征图与热成像特征图；
[0010]对于可见光特征图，通过区域生成网络，生成若干可见光初始物体检测框，经共享的特征编码器处理后，由可见光检测框分类器与共享的检测框回归器，获得每一可见光初始物体检测框置信度以及相应的回归检测框，筛选出置信度超过阈值的回归检测框，组成可见光检测框集合；
[0011]将每一个可见光检测框分别投影至热成像图像中，得到对应的初始热成像检测框，再通过近邻采样的方式生成若干形状不同的检测框，并通过带有掩码卷积的区域生成网络与共享的特征编码器处理后，输入热成像检测框分类器与共享的检测框回归器，再筛选出置信度超过阈值的回归检测框，作为可见光检测框对应的热成像检测框；
[0012]在所有热成像检测框中选出置信度最高的热成像检测框，并与对应可见光检测框的置信度做加权和，若加权和的大小高于设定阈值，则认为对应可见光图像与热成像图像中出现火焰。
[0013]由上述本专利技术提供的技术方案可以看出，为了应对弱对齐情况下的热成像图像火焰检测问题，设计了并行的可见光火焰检测网络与热成像火焰检测网络，利用并行的可见光火焰检测网络输出的可见光检测框信息，以及可见光相机与热成像相机的内、外参数，将可见光检测框投影到热成像图像中，以热成像检测框作为基础，并使用一个近邻采样模块在其中心处生成一系列样本检测框。相较于传统的RPN(RegionProposalNetwork，区域生成网络)的遍历式采样，本专利技术仅在一个较小的范围内采样，使用热成像网络的分类器与回归器对检测框修正后，可以在热成像图像中得到精确的检测框。此外，在后续的实验阶段，通过消防机器人平台在不同的情景下同步采集了多模态数据集，该多模态数据集由双目可见光
‑
热成像图像对组成，包括10段含火焰的视频与7段正常的无火视频，在该多模态数据集上的实验结果表明，与传统Faster R
‑
CNN对比，而本专利技术的方法在准确率与误报率上均有明显提升。
附图说明
[0014]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0015]图1为本专利技术实施例提供的一种弱对齐条件下的消防机器人多模态视觉火焰检测方法的网络结构示意图；
[0016]图2为本专利技术实施例提供的近邻采样模块输出的其中一组检测框的示意图；
[0017]图3为本专利技术实施例提供的移动消防机器人平台示意图；
[0018]图4为本专利技术实施例提供的标定板示意图；
[0019]图5为本专利技术实施例提供的消防机器人录制的可见光
‑
热成像有火图像对示例图；
[0020]图6为本专利技术实施例提供的消防机器人录制的可见光
‑
热成像无火图像对示例图。
具体实施方式
[0021]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整
地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0022]首先对本文中可能使用的术语进行如下说明：
[0023]术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
[0024]下面对本专利技术所提供的一种弱对齐条件下的消防机器人多模态视觉火焰检测方法进行详细描述。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本专利技术实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
[0025]如图1所示，为实现本专利技术实施例提供的一种弱对齐条件下的消防机器人多模态视觉火焰检测方法的网络结构图；网络模型主要包括：可见光火焰检测网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，其特征在于，包括：对于同步采集的每一对可见光图像与热成像图像，各自通过特征提取器进行特征提取，获得可见光特征图与热成像特征图；对于可见光特征图，通过区域生成网络，生成若干可见光初始物体检测框，经共享的特征编码器处理后，由可见光检测框分类器与共享的检测框回归器，获得每一可见光初始物体检测框置信度以及相应的回归检测框，筛选出置信度超过阈值的回归检测框，组成可见光检测框集合；将每一个可见光检测框分别投影至热成像图像中，得到对应的初始热成像检测框，再通过近邻采样的方式生成若干形状不同的检测框，并通过带有掩码卷积的区域生成网络与共享的特征编码器处理后，输入热成像检测框分类器与共享的检测框回归器，再筛选出置信度超过阈值的回归检测框，作为可见光检测框对应的热成像检测框；在所有热成像检测框中选出置信度最高的热成像检测框，并与对应可见光检测框的置信度做加权和，若加权和的大小高于设定阈值，则认为对应可见光图像与热成像图像中出现火焰。2.根据权利要求1所述的一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，其特征在于，火焰检测方法通过火焰检测网络实现，所述火焰检测网络包括：可见光火焰检测网络、热成像火焰检测网络与共享的编码与回归网络；其中：所述可见光火焰检测网络包括：可见光特征提取器、区域生成网络与可见光检测框分类器；所述热成像火焰检测网络包括：热成像特征提取器、投影模块、近邻采样模块、带有掩码卷积的区域生成网络与热成像检测框分类器；所述共享的编码与回归网络包括：共享的特征编码器与共享的检测框回归器。3.根据权利要求1所述的一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，其特征在于，所述将每一个可见光检测框分别投影至热成像图像中，得到对应的初始热成像检测框包括：对于单个可见光检测框利用相应的深度图，以及热成像相机的内参数与可见光相机和热成像相机间的外参数，将单个可见光检测框投影至热成像图像中，得到初始热成像检测框4.根据权利要求1或3所述的一种弱对齐条件下的消防机器人多模态视觉火焰检测方法，其特征在于，将单个可见光检测框投影至热成像图像的过程中，先结合双目相机采集的深度图，建立可见光检测框区域的深度直方图，取频数最高的深度值作为可见光检测框中物体与机器人的距离z；由距离z，通过相似三角形计算深度图中每一个点的三维位置，之后，在三维空间中构建一个平行于可见光相机成像平面的三维检测框，并赋予该三维检测框与可见光检测框区域相同的深度信息，再将该三维检测框的角点投影到热成像图像中，得到热成像初始检测框可见光检测框与热成像初始检测框中对应点的投影计算方式为：
α＝K
·
M

【专利技术属性】
技术研发人员：尚伟伟，巢夏晨语，张飞，丛爽，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：