基于无人机的火灾发生测定方法及其装置制造方法及图纸

本发明专利技术公开了一种基于无人机的火灾发生测定方法及其装置。采用主要由无人机、远程服务器和位于地面的控制系统组成的系统，无人机由火灾报警点的GPS位置信息飞行到达火灾报警区域，拍摄报警点的现场视频图像与热红外图像，通过4G移动蜂窝网络发送至远程服务器；远程服务器接收数据得到实时现场视频和热红外图像；通过肉眼识别或者将热红外图像经过分类器比较得到火灾是否发生的结果。本发明专利技术不仅能够在接到报警后及时派出无人机，节省了大量的消防的人力和物力资源；而且能快速掌握火灾发生点的现场情况，为救援工作的开展提供了可靠和有效的实时信息，弥补了现有方法确认火灾发生方法中不存在无人机航拍确认火灾发生方法的不足。

【技术实现步骤摘要】

本专利技术涉及一种确认火灾发生的方法，特别涉及无人机研究领域的一种确认火灾发生的方法。
技术介绍
火灾是指在时间或空间上失去控制的燃烧所造成的灾害。在各种灾害中，火灾是最经常、最普遍地威胁公众安全和社会发展的主要灾害之一。据公安部消防局统计，2014年，全国共接经确认的火灾报警39.5万起，死亡1817人，受伤1493人，直接财产损失43.9亿元。然而，接到的报警数远远不止这些。如果，不经过是否发生火灾的确认，而由消防部门盲目的赶去救援，将会浪费大量的消防的人力和物力资源，甚至因为不同空间的同时报警，而使得真正需要救援的报警被耽误。因此，接到火灾报警后的现场确认工作就显得十分重要。目前的现状是，当安防公司的火灾报警装置探测到火灾报警后，由驻派在附近待命的工作人员驱车前往火灾发生地进行现场拍照取证。若确认的确有火灾发生，则再通知消防部门赶去救援。但是这种方式因为城市交通拥堵，火灾发生地较远，或者其他突发情况等因素影响，使得火灾确认浪费了大量时间，如果确实发生了火灾，则耽误了救援工作。因此，现在急需一种能够在最短时间内确认火灾发生的方法。无人机利用其机动性好、操作简单、成本低廉等有利条件能在短时间内到达火灾报警点用摄像头进行视频和照片的拍摄；利用4G移动蜂窝数据网络能够将数据实时的传送回控制系统；通过卷积神经网络图像分类快速鉴别确认是否有火灾发生。结合起来能够简单快速地对火灾警报进行现场确认、过滤误报和加速救援行动，对于消防工作具有非常有利的作用。
技术实现思路
为了解决
技术介绍
中存在的问题，本专利技术的目的在于提供了一种基于无人机的确认火灾发生的方法，该方法将无人机控制技术、航拍技术和网络视频图像流传输技术和卷积神经网络图像分类巧妙地结合起来，从而完成对火灾警报的现场确认工作。本专利技术所要解决的问题包括如下步骤：一、一种基于无人机的火灾发生测定方法：1)采用主要由无人机、远程服务器和位于地面的控制系统组成的系统，无人机上装载有红外热像仪，GPS定位模块、气压计、陀螺仪、加速度计、带有摄像头的云台机构和4G通信模块，服务器与无人机之间通过4G移动蜂窝网络进行通信；2)无人机通过自动巡航模式或者手动操控模式，由火灾报警点的GPS位置信息飞行到达火灾报警区域，通过云台机构搭载的摄像头和红外热像仪分别拍摄报警点的现场视频与热红外图像，将现场视频与红外热像图用4G通信模块通过4G移动蜂窝网络发送至远程服务器；3)远程服务器侦听并接收无人机传输过来的数据解码得到实时现场视频和热红外图像；4)将现场视频中的每帧照片图像和热红外图像通过肉眼识别获得火灾是否发生的结果，或者将普通视频图像和热红外图像分别输入到已通过卷积神经网络训练的火灾图像分类器中，经过分类判断得到火灾是否发生的结果。一旦分类器判断得出报警点发生火灾，控制系统马上向消防部门报警。所述步骤2)中将所述现场视频进行H.264编码压缩后，再根据RTP协议将视频数据打包后发送到远程服务器。每摄像头捕获一帧就进行H.264编码，编码完后需要将其中的NAL单元解析出来，并采用RTP协议对编码完成后的视频数据打包；热红外图像采取JPEG编码格式；最后打包完成的热红外图像和视频通过4G移动蜂窝网络发送至服务器。所述步骤3)中远程服务器根据RTP协议解包对数据流进行H.264解码得到现场视频。热红外图像和视频的打包采用采用RTP协议实现；最后打包完成的热红外图像和视频通过4G移动蜂窝网络发送至服务器。这也是为了有效降网络低数据量，使得视频和图像数据传输流畅，实时显示。所述步骤2)中，无人机将采用以下方式进行航拍视频：以被触发的火灾报警器为原点，其中原点位置由GPS获得，在报警点所在的平面即报警点所在的楼层，先以20米至30米为半径对报警建筑物墙体进行巡航拍摄，航拍角度为90°；再将无人机飞至建筑物屋顶上方，飞行高度约为建筑物高度的三倍，采取的航拍角度为30°，以此来获取屋顶及其建筑物周边的视频和热红外图像。在所述步骤4)中，将普通视频图像和热红外图像分别输入到已通过卷积神经网络训练的火灾图像分类器中，经过分类比对得到火灾是否发生的结果具体为：对带有着火和非着火的两类建筑物样本图像输入到分类器中通过卷积神经网络进行预训练得到火灾图像分类器，取卷积神经网络的全连接层中训练特征对被测火灾图像进行分类得到着火或者非着火的结果。所述的卷积神经网络采用端对端的形式同时训练特征与分类，训练的特征为卷积神经网络结构末端的全连接层，提取卷积神经网络结构末端的全连接层输出作为着火图像的深度特征，得到的深度特征输入到支持向量机分类器中进行训练，得到火灾图像分类器。如图2所示，所述训练过程中对所有输入的样本图像具体为：1)先进行尺度归一化，归一化图像到32×32分辨率。2)卷积层计算：其中卷积层的参数表达形式：4×4×20+1(步长)，表示卷积核的大小为4×4，数量为20，步长为1，采用以下公式进行卷积层计算： x j l = f ( z j l ) ]]> z j l = Σ i ∈ M j x i l - 1 * k i j l + b j l ]]>其中，分别表示当前卷积层中第j个特征图、前一层的第i个特征图；表示当前层的第j个特征图与前一层的第i个特征图之间的卷积核；Mj表示需要卷积的前一层的特征图的集合，表示当前卷积层中第j个卷积核对应的偏置；f为激活函数,卷积层中的权值与阈值通过随机梯度下降法得到；i和j均表示特征图的序数，l表示步长。3)池化层计算：池化层采用最大池化方式，2×2+2(步长)表示池化核大小为2×2，步长为2；最大池化的计算采用以下公式： h c d o = m a x { h c · s + m , d · s + n 本文档来自技高网...

【技术保护点】
一种基于无人机的火灾发生测定方法，其特征在于包括如下步骤：1)采用主要由无人机、远程服务器和位于地面的控制系统组成的系统，无人机上装载有红外热像仪，GPS定位模块、气压计、陀螺仪、加速度计、带有摄像头的云台机构和4G通信模块，服务器与无人机之间通过4G移动蜂窝网络进行通信；2)无人机通过自动巡航模式或者手动操控模式，由火灾报警点的GPS位置信息飞行到达火灾报警区域，通过云台机构搭载的摄像头和红外热像仪分别拍摄报警点的现场视频与热红外图像，将现场视频与红外热像图用4G通信模块通过4G移动蜂窝网络发送至远程服务器；3)远程服务器侦听并接收无人机传输过来的数据解码得到实时现场视频和热红外图像；4)将现场视频中的每帧照片图像和热红外图像通过肉眼识别获得火灾是否发生的结果，或者将普通视频图像和热红外图像分别输入到已通过卷积神经网络训练的火灾图像分类器中，经过分类判断得到火灾是否发生的结果。

【技术特征摘要】
1.一种基于无人机的火灾发生测定方法，其特征在于包括如下步骤：1)采用主要由无人机、远程服务器和位于地面的控制系统组成的系统，无人机上装载有红外热像仪，GPS定位模块、气压计、陀螺仪、加速度计、带有摄像头的云台机构和4G通信模块，服务器与无人机之间通过4G移动蜂窝网络进行通信；2)无人机通过自动巡航模式或者手动操控模式，由火灾报警点的GPS位置信息飞行到达火灾报警区域，通过云台机构搭载的摄像头和红外热像仪分别拍摄报警点的现场视频与热红外图像，将现场视频与红外热像图用4G通信模块通过4G移动蜂窝网络发送至远程服务器；3)远程服务器侦听并接收无人机传输过来的数据解码得到实时现场视频和热红外图像；4)将现场视频中的每帧照片图像和热红外图像通过肉眼识别获得火灾是否发生的结果，或者将普通视频图像和热红外图像分别输入到已通过卷积神经网络训练的火灾图像分类器中，经过分类判断得到火灾是否发生的结果。2.根据权利要求1所述的一种基于无人机的火灾发生测定方法，其特征在于：所述步骤2)中将所述现场视频进行H.264编码压缩后，再根据RTP协议将视频数据打包后发送到远程服务器。3.根据权利要求1所述的一种基于无人机的火灾发生测定方法，其特征在于：所述步骤3)中远程服务器根据RTP协议解包对数据流进行H.264解码得到现场视频。4.根据权利要求1所述的一种基于无人机的火灾发生测定方法，其特征在于：所述的步骤2)中，无人机将采用以下方式进行航拍视频：以被触发的火灾报警器为原点，在报警点所在的平面即报警点所在的楼层，先以20米至30米为半径对报警建筑物墙体进行巡航拍摄，航拍角度为90°；再将无人机飞至建筑物屋顶上方，飞行高度约为建筑物高度的三倍，采取的航拍角度为30°。5.根据权利要求1所述的一种基于无人机的火灾发生测定方法，其特征在于：在所述的步骤4)中，将普通视频图像和热红外图像分别输入到已通过卷积神经网络训练的火灾图像分类器中，经过分类比对得到火灾是否发生的结果具体为：对带有着火和非着火的两类建筑物样本图像输入到分类器中通过卷积神经网络进行预训练得到火灾图像分类器，取卷积神经网络的全连接层中训练特
\t征对被测火灾图像进行分类得到着火或者非着火的结果。6.根据权利要求5所述的一种基于无人机的火灾发生测定方法，其特征在于：所述的卷积神经网络采用端对端的形式同时训练特征与分类，训练的特征为卷积神经网络结构末端的全连接层，提取卷积神经网络结构末端的全连接层输出作为着火图像的深度特征，得到的深度特征输入到支持向量机分类器中进行训练，得到火灾图像分类器。7.根据权利要求...

【专利技术属性】
技术研发人员：郑恩辉，张汉烨，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：浙江;33