一种室内火焰自主巡检及灭火方法技术

一种室内火焰自主巡检及灭火方法，它属于室内火焰检测技术领域。本发明专利技术解决了现有火焰检测方法中没有结合深度信息，导致利用现有火焰检测方法无法获取到立体的火焰位置信息的问题。本发明专利技术结合了自动导航和火焰检测方法，而且在火焰检测时结合了深度信息，从而可以获取立体的火焰位置信息，以便机器人精确灭火。同时，本发明专利技术应用深度神经网络算法能够较大地提升火焰目标识别的准确率和速度，相比传统方法具有较强的准确性与实时性。此外，实现视觉信息对灭火过程的闭环控制，具有较高的智能性。本发明专利技术方法可以应用于室内火焰检测。本发明专利技术方法可以应用于室内火焰检测。本发明专利技术方法可以应用于室内火焰检测。

【技术实现步骤摘要】
一种室内火焰自主巡检及灭火方法


[0001]本专利技术属于室内火焰检测
，具体涉及一种室内火焰自主巡检及灭火方法。

技术介绍

[0002]建筑物火灾在每年的火灾事故中占了很大的比例，特别是对于文保单位而言，其内存储的物品可能包含有价值极高的文物等，因此发生建筑火灾所造成的损失往往会更大，通过对室内火焰进行巡检来及时发现建筑物火灾是目前减小损失的最为有效的手段。
[0003]现有的火焰巡检方式包括室内自动导航和基于图像的火焰检测两部分。现有的自动导航技术有即时定位与地图构建(Simultaneous Localization And Mapping)，指的是机器人在自身位置不确定的条件下，在完全未知环境中创建地图，同时利用地图进行自主定位和导航。SLAM问题可以描述为：机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和传感器数据进行自身定位，同时建造增量式地图。在SLAM中，机器人利用自身携带的传感器识别未知环境中的特征标志，然后根据机器人与特征标志之间的相对位置和里程计的读数估计机器人和特征标志的全局坐标。这种在线的定位与地图创建需要保持机器人与特征标志之间的详细信息。近几年来，SLAM的研究取得了很大的进展，并已应用于各种不同的环境，如：室内环境、水下、室外环境。
[0004]目前的基于图像的火焰检测方法主要有三类。一类是传统的方式，包括基于颜色空间、基于纹理特征(使用统计学特点探究像素点之间关系)、基于火焰的几何特征(火焰面积等)、基于火焰轮廓、帧差法、背景/前景法、光流法。第二类是机器学习的方式，先通过传统的方式去提取火焰特征，然后通过这些特征去构建特征向量(比如光流法提取火焰特征向量)，再代入特征向量到分类器中训练。同时，也有研究人员构建级联分类器，多个分类器之间采用投票的机制，预测类别多数获胜。第三类是基于卷积神经网络的火焰检测方式，相对于传统方式而言，对火焰有着更高的精确率与召回率，可以大大的降低系统的误报率。
[0005]但是目前的火焰检测方法对火焰位置的判断局限于二维信息，并没有结合深度信息，导致利用现有的火焰检测方法无法获取到立体的火焰位置信息，以致于无法进行精确灭火。

技术实现思路

[0006]本专利技术的目的是为解决现有火焰检测方法中没有结合深度信息，导致利用现有火焰检测方法无法获取到立体的火焰位置信息的问题，而提出的一种室内火焰自主巡检及灭火方法。
[0007]本专利技术为解决上述技术问题所采取的技术方案是：一种室内火焰自主巡检及灭火方法，所述方法具体包括以下步骤：
[0008]步骤一、将消防机器人启动后，上位机根据从下位机获取的数据得到消防机器人当前的实际位置信息；
[0009]若消防机器人当前实际位置与消防机器人在地图上位置的偏差大于设定的阈值，则初始化消防机器人在地图上的位置后，执行步骤二；否则，消防机器人当前实际位置与消防机器人在地图上位置的偏差小于等于设定的阈值，则直接执行步骤二；
[0010]步骤二、判断是否启动单点导航，若启动单点导航，则执行步骤三；若不启动单点导航，则启动多点巡航，直至启动单点导航时执行步骤三；
[0011]步骤三、通过单点导航进行路径规划，消防机器人根据规划的路径运动到目的地，并利用摄像机采集目的地区域的图像；
[0012]步骤四、采用yolov5深度神经网络模型对采集的图像进行火焰识别，若在连续的N秒内未识别到火焰，则执行步骤五，否则识别到图像中存在火焰，则启动灭火程序，待灭火完成后，再执行步骤五；
[0013]步骤五、消防机器人进行一次原地旋转并检测是否存在其它火焰，若存在其它火焰，则继续启动灭火程序，直至原地旋转的角度达到360
°
时停止旋转，并判断消防机器人是否启动返航；
[0014]若启动返航，则消防机器人返回原点；若不启动返航，则启动多点巡航，直至再次启动单点导航时执行步骤六；
[0015]步骤六、重复步骤三至步骤五的过程，直至消防机器人启动返航。
[0016]进一步地，所述步骤三中，摄像机采集的图像包括彩色图像和深度图像。
[0017]进一步地，所述yolov5深度神经网络模型包括特征提取子网络、特征融合子网络和检测子网络三个部分。
[0018]进一步地，所述yolov5深度神经网络模型的检测过程为：
[0019]将摄像机采集的彩色图像经过特征提取子网络后，再将特征提取结果输入特征融合子网络，并将特征融合结果输入检测子网络，得到检测子网络的输出结果；
[0020]若检测子网络的输出结果为图像中不存在火焰，则不需要对输出结果进行处理；否则，若图像中存在火焰，则对检测子网络的输出结果进行后处理，输出置信度得分最高的预测框的坐标。
[0021]进一步地，所述灭火程序的具体过程为：
[0022]步骤1、利用得到的预测框坐标对摄像机采集的深度图像进行采样，获得采样到的所有像素；
[0023]之后，对获得的像素进行去噪，获得去噪后的像素，对去噪后的像素的灰度取平均值，将得到的平均值作为火焰的深度；
[0024]步骤2、根据火焰的深度、得到的预测框坐标以及相机的内参矩阵进行三维重建，得到以相机为原点的相机空间中的火焰位置，相机空间的Z轴为摄像机的正对方向，X轴方向由正上向量(0,1,0)与Z轴叉乘获得，Y轴方向由Z轴与X轴叉乘获得；
[0025]步骤3、将相机空间中的火焰位置转移到灭火器喷头空间，灭火器喷头空间原点为灭火器喷头的喷口位置，灭火器喷头空间的Z'轴为喷头的正对方向，X'轴方向由正上向量(0,1,0)与Z'轴叉乘获得，Y'轴方向由Z'轴与X'轴叉乘获得，得到灭火器喷头空间中的火焰位置后，根据灭火器喷头空间中的火焰位置得到灭火器喷头的角度。
[0026]进一步地，所述后处理的方式为非极大值抑制。
[0027]进一步地，所述步骤2的具体过程为：
[0028]步骤21、根据火焰的深度信息以及得到的预测框坐标，获得火焰的像素坐标以及深度联立形成的三维信息；
[0029]步骤22、将火焰像素坐标以及深度联立形成的三维信息乘以内参矩阵的逆矩阵，得到火焰在以相机为原点的相机空间中的坐标。
[0030]进一步地，所述内参矩阵由张氏相机标定法获得。
[0031]进一步地，所述内参矩阵为：
[0032][0033]其中，K为内参矩阵，f
x
和f
y
为焦距，x0和y0为主点偏移，s为切变参数。
[0034]更进一步地，所述根据灭火器喷头空间中的火焰位置得到灭火器喷头的角度，其具体为：
[0035][0036][0037]其中，表示灭火器喷头在上下方向的旋转度数，表示灭火器喷头在左右方向的旋转度数，X0′
、Y0′
和Z0′
为灭火器喷头空间中火焰位置的坐标，m和n代表灭火器云台偏角校正值。
[0038]本专利技术的有益效果是：
[0039]本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内火焰自主巡检及灭火方法，其特征在于，所述方法具体包括以下步骤：步骤一、将消防机器人启动后，上位机根据从下位机获取的数据得到消防机器人当前的实际位置信息；若消防机器人当前实际位置与消防机器人在地图上位置的偏差大于设定的阈值，则初始化消防机器人在地图上的位置后，执行步骤二；否则，消防机器人当前实际位置与消防机器人在地图上位置的偏差小于等于设定的阈值，则直接执行步骤二；步骤二、判断是否启动单点导航，若启动单点导航，则执行步骤三；若不启动单点导航，则启动多点巡航，直至启动单点导航时执行步骤三；步骤三、通过单点导航进行路径规划，消防机器人根据规划的路径运动到目的地，并利用摄像机采集目的地区域的图像；步骤四、采用yolov5深度神经网络模型对采集的图像进行火焰识别，若在连续的N秒内未识别到火焰，则执行步骤五，否则识别到图像中存在火焰，则启动灭火程序，待灭火完成后，再执行步骤五；步骤五、消防机器人进行一次原地旋转并检测是否存在其它火焰，若存在其它火焰，则继续启动灭火程序，直至原地旋转的角度达到360
°
时停止旋转，并判断消防机器人是否启动返航；若启动返航，则消防机器人返回原点；若不启动返航，则启动多点巡航，直至再次启动单点导航时执行步骤六；步骤六、重复步骤三至步骤五的过程，直至消防机器人启动返航。2.根据权利要求1所述的一种室内火焰自主巡检及灭火方法，其特征在于，所述步骤三中，摄像机采集的图像包括彩色图像和深度图像。3.根据权利要求2所述的一种室内火焰自主巡检及灭火方法，其特征在于，所述yolov5深度神经网络模型包括特征提取子网络、特征融合子网络和检测子网络三个部分。4.根据权利要求3所述的一种室内火焰自主巡检及灭火方法，其特征在于，所述yolov5深度神经网络模型的检测过程为：将摄像机采集的彩色图像经过特征提取子网络后，再将特征提取结果输入特征融合子网络，并将特征融合结果输入检测子网络，得到检测子网络的输出结果；若检测子网络的输出结果为图像中不存在火焰，则不需要对输出结果进行处理；否则，若图像中存在火焰，则对检测子网络的输出结果进行后处理，输出置信度得分最高的预测框的坐标。5.根据权利要求4所述的一种室内火焰自主巡检及灭火方法，其特征在...

【专利技术属性】
技术研发人员：吕德生，陈俊颖，靳仕恒，蔡则苏，
申请(专利权)人：徐宁涛，
类型：发明
国别省市：