小型无人直升机的火灾检测与跟踪方法技术

本发明专利技术公开了一种小型无人直升机的火灾检测与跟踪方法，包括以下步骤：系统初始化、开启地面站系统以及GIS平台，采集彩色图像和红外图像；根据颜色找出彩色图像中的可疑区域，根据灰度找出红外图像中的可疑区域；提取彩色图像中可疑区域的颜色，灰度共生矩阵特征；提取红外图像中可疑区域圆形度，面积变化率特征；经过离线训练后使用SVM的分类决策判定是否是火灾；机载处理器计算红外图像中火点坐标并发送给云台，云台实时跟踪火点；云台的惯性测量单元获取红外摄像头的姿态角；地面站结合小型无人直升机的经纬度、高度、偏航角信息和姿态角计算出火点的精确经纬度定位信息；最终GIS平台把火点的精确定位在地图上标出。

A method of detecting and tracking of the unmanned helicopter fire

The invention discloses a method of detecting and tracking a small unmanned helicopter fire, which comprises the following steps: system initialization, open ground station system and GIS platform, acquisition of color image and infrared image; according to the color in color images to identify suspicious regions, according to the gray area to identify suspicious infrared image; extracting suspicious regions in color images the color of the gray level co-occurrence matrix features; extraction of infrared image in the suspicious area circularity, area change rate characteristics; after classification using SVM line trained to determine whether a fire; airborne fire point infrared image processor computes the coordinates and sent to the head, head tracking fire; inertial measurement unit for infrared camera head attitude angle; ground station latitude and altitude, with the small unmanned helicopter yaw angle information and attitude The accurate location information of the fire point is calculated by the angle, and the accurate location of the fire point is marked on the map in the final GIS platform.

【技术实现步骤摘要】
小型无人直升机的火灾检测与跟踪方法
本专利技术涉及无人机火灾检测预警
，具体涉及一种小型无人直升机的火灾检测与跟踪方法。
技术介绍
我国是世界上自然灾害最为严重的国家之一。灾害种类多、分布地域广、发生频率高、造成损失重。对于突发性灾害，特别是火灾和山洪等有限范围、突发性强、危害大且难以快速大面积地面搜寻和探测的灾害，进行早期探测预警是十分关键的减灾手段。目前国内预警系统基本上是采取定点观测的手段和方法，如常规的森林防火瞭望哨等，但由于地形和成本的因素，观测预警网络难以覆盖所有的区域而造成预警延误。卫星遥感灾害监测是近年发展起来的一种新方法，但由于卫星高度高(数百公里)且轨道固定，运行周期长(以天、星期来计算)，卫星遥感缺乏全天候观测能力，尤其缺乏全天时全天候高分辨率观测能力；空间覆盖能力不能满足灾害区域性监测需求，数据获取实效性亟待提高；监测周期(时间分辨率)尚不能满足灾害应急阶段的监测需求，在目前综合应用多星资源情况下也不能满足这一指标。我国2007年发布的《国家综合防灾减灾规划(2011-2015年)》明确指出，“加强自然灾害监测预警预报能力建设”，“逐步完善各类自然灾害的监测预警预报网络系统”，提出了对“自然灾害立体监测体系”的迫切需求。然而，由于经济和技术等条件的制约，目前立体监测仍难以实时大范围精确实现，低成本的小型无人直升机超低空移动观测平台是解决这一关键问题的可行途径。国内目前已开始利用高空的气象卫星等遥感技术应用于灾害的预警和监测，但由于缺少相关的小型飞行平台，还没有开展基于低空自主移动网络平台的精确实时的立体预警体系构建。而国外，特别是欧洲发达国家正进行大量投入，实施该方向的研究与应用。例如欧盟就曾组织在多个国家和组织间联合进行COMET的研究计划，先后作出大量的投入，其成果已接近实用。之后欧盟又新近推出了更为实用的AWARE计划，由德国、西班牙、比利时和挪威等国的大学和研究机构联合研究开发火警自动识别技术。在加拿大和奥地利也已开始利用小型无人机进行森林火灾等灾难的预警。灾害预警目前正朝着网络化和空、天、地一体化的方向发展。基于小型无人机的森林火灾预警系统已在加拿大、匈牙利等国运行，其与现有观测预警网络的相互有效补充，为自主移动网络式灾害预警系统构建取得了理论与实际应用经验。空、天、地三维立体多信源多分尺度信息互动协调、网络化、智能化、无人值守已成为未来灾难监测预警技术的发展趋势。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种小型无人直升机的火灾检测与跟踪方法，该方法通过小型无人直升机的机载彩色摄像头采集的图像和红外摄像头采集的图像进行特征融合、SVM判定火灾，使用云台对火点进行实时跟踪，同时地面站结合云台惯性测量单元(InertialMeasurementUnit，IMU)获取的红外摄像头姿态角度(俯仰角和滚转角)和小型无人直升机的经纬度、高度、偏航角信息计算火点精确经纬度定位信息，并在GIS平台把火点的精确定位在地图上标出。本专利技术的目的可以通过采取如下技术方案达到：一种小型无人直升机的火灾检测与跟踪方法，所述方法包括下列步骤：S1、小型无人直升机的火灾检测与跟踪系统初始化以及开启地面站系统以及GIS平台；S2、通过机载彩色摄像头采集彩色图像，通过机载红外摄像头采集红外图像，并建立流媒体服务器实时传输彩色图像到地面站系统；S3、根据火灾的RGB值找出彩色图像的可疑区域，并提取可疑区域的RGB值、灰度共生矩阵的对比度，能量，熵特征；S4、根据灰度的阈值找出火灾在红外图像中的可疑区域，并提取可疑区域的圆形度和面积变化率特征；S5、火灾的彩色图像的特征和红外图像的特征作为SVM训练的正样本，重复步骤S2、S3、S4，分别采集无火焰的图像，提取特征作为SVM训练的负样本，之后用SVM进行离线训练；S6、重复步骤S2、S3、S4，提取彩色图像中可疑区域的RGB值，灰度共生矩阵的对比度、能量、熵特征以及红外图像中可疑区域的圆形度和面积变化率特征，代入到经过离线训练后SVM中进行决策分类；S7、若SVM判定可疑区域是火灾，则利用机载处理器计算红外图像火点坐标并发送给云台，若判断可疑区域不是火灾，则回到步骤S2；S8、云台接收到红外图像中的火点坐标并实时跟踪火点；S9、云台的惯性测量单元获取红外摄像头姿态角；S10、地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台的惯性测量单元获取的红外摄像头姿态角，计算出火点的精确经纬度定位信息；S11、将火灾点的精确定位发送到GIS平台，GIS平台把火点的精确定位在地图上标出。进一步地，所述红外摄像头姿态角包括俯仰角和滚转角。进一步地，所述地面站系统包括一个图像显示界面，用于实时显示接收的彩色图像；还包括一个手动控制云台的按键组合，包括“上”，“下”，“左”，“右”，可以控制云台上下左右移动来寻找火点位置；还包括8个显示框，分别用来显示红外摄像头的姿态角和小型无人直升机的经纬度、高度、偏航角的信息以及显示地面站系统最终计算的火点精确经纬度定位信息；所述GIS平台包括一个osm-gps-map开源地图，在接收到地面站系统发送的火点精确经纬度定位信息后有一个火灾图标在定位处闪烁并显示出实时经纬度坐标。进一步地，所述步骤S3中提取彩色图像可疑区域灰度共生矩阵的对比度、能量、熵特征的方法为：设f(x,y)为一幅数字图像，其大小为M*N，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：P(x,y)＝#{(x1,y1),(x2,y2)∈M*N|f(x1,y1)＝i,f(x2,y2)＝j}其中#(X)表示集合X中的元素个数，P为Ng*Ng的矩阵，若(x1,y1)与(x2,y2)间距离为d，两者与坐标横轴的夹角为θ，则可以得到各种间距以及角度的灰度共生矩阵(i,j,d,θ)，其中元素(i,j)的值表示一个灰度为i，另一个灰度为j的两个相距为d的像素对在θ角的方向上出现的次数，P(i,j)则为在某个方向上，一个灰度为i，另一个灰度为j的像素对的个数，在得到灰度共生矩阵后计算纹理特征量，所述纹理特征量用对比度、能量、熵的特征量来表示，其中，所述对比度反映图像的清晰度和纹理的沟纹深浅，计算公式如下：Con＝∑i∑j(i-j)2P(i,j)；所述能量是灰度共生矩阵各元素值的平方和，是对图像纹理的灰度变换稳定程度的度量，计算公式如下：Asm＝∑i∑jP(i,j)2；所述熵是图像包含信息量的随机性度量，计算公式如下：Ent＝-∑i∑jP(i,j)logP(i,j)。进一步地，所述步骤S4中提取红外图像可疑区域的圆形度、面积变化率特征的方法为:(1)圆形度e，用来度量与圆形的接近程度，其中A表示可疑区域面积，P表示可疑区域周长，e＝4πA/P2；(2)面积变化率，用来度量火焰变动的特征，选相隔一帧的图像，假设第一帧的可疑区域面积为S1,第三帧的可疑区域面积为S2，则面积变化率ΔS为进一步地，所述步骤S10过程如下：已知小型无人直升机经纬度fly_lng、fly_lat，飞行高度H，飞行偏航角Ф，云台的惯性测量单元获取的红外摄像头姿态角分别为滚转角α和俯仰角θ，红外摄像头保持镜头和小型无人直升机前进方向一致时α＝0°，θ＝0°，则红外摄像头能拍本文档来自技高网...

【技术保护点】
一种小型无人直升机的火灾检测与跟踪方法，其特征在于，所述方法包括下列步骤：S1、小型无人直升机的火灾检测与跟踪系统初始化以及开启地面站系统以及GIS平台；S2、通过机载彩色摄像头采集彩色图像，通过机载红外摄像头采集红外图像，并建立流媒体服务器实时传输彩色图像到地面站系统；S3、根据火灾的RGB值找出彩色图像的可疑区域，并提取可疑区域的RGB值、灰度共生矩阵的对比度，能量，熵特征；S4、根据灰度的阈值找出火灾在红外图像中的可疑区域，并提取可疑区域的圆形度和面积变化率特征；S5、火灾的彩色图像的特征和红外图像的特征作为SVM训练的正样本，重复步骤S2、S3、S4，分别采集无火焰的图像，提取特征作为SVM训练的负样本，之后用SVM进行离线训练；S6、重复步骤S2、S3、S4，提取彩色图像中可疑区域的RGB值，灰度共生矩阵的对比度、能量、熵特征以及红外图像中可疑区域的圆形度和面积变化率特征，代入到经过离线训练后SVM中进行决策分类；S7、若SVM判定可疑区域是火灾，则利用机载处理器计算红外图像火点坐标并发送给云台，若判断可疑区域不是火灾，则回到步骤S2；S8、云台接收到红外图像中的火点坐标并实时跟踪火点；S9、云台的惯性测量单元获取红外摄像头姿态角；S10、地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台的惯性测量单元获取的红外摄像头姿态角，计算出火点的精确经纬度定位信息；S11、将火灾点的精确定位发送到GIS平台，GIS平台把火点的精确定位在地图上标出。...

【技术特征摘要】
1.一种小型无人直升机的火灾检测与跟踪方法，其特征在于，所述方法包括下列步骤：S1、小型无人直升机的火灾检测与跟踪系统初始化以及开启地面站系统以及GIS平台；S2、通过机载彩色摄像头采集彩色图像，通过机载红外摄像头采集红外图像，并建立流媒体服务器实时传输彩色图像到地面站系统；S3、根据火灾的RGB值找出彩色图像的可疑区域，并提取可疑区域的RGB值、灰度共生矩阵的对比度，能量，熵特征；S4、根据灰度的阈值找出火灾在红外图像中的可疑区域，并提取可疑区域的圆形度和面积变化率特征；S5、火灾的彩色图像的特征和红外图像的特征作为SVM训练的正样本，重复步骤S2、S3、S4，分别采集无火焰的图像，提取特征作为SVM训练的负样本，之后用SVM进行离线训练；S6、重复步骤S2、S3、S4，提取彩色图像中可疑区域的RGB值，灰度共生矩阵的对比度、能量、熵特征以及红外图像中可疑区域的圆形度和面积变化率特征，代入到经过离线训练后SVM中进行决策分类；S7、若SVM判定可疑区域是火灾，则利用机载处理器计算红外图像火点坐标并发送给云台，若判断可疑区域不是火灾，则回到步骤S2；S8、云台接收到红外图像中的火点坐标并实时跟踪火点；S9、云台的惯性测量单元获取红外摄像头姿态角；S10、地面站接收小型无人直升机的经纬度、高度、偏航角信息以及云台的惯性测量单元获取的红外摄像头姿态角，计算出火点的精确经纬度定位信息；S11、将火灾点的精确定位发送到GIS平台，GIS平台把火点的精确定位在地图上标出。2.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述红外摄像头姿态角包括俯仰角和滚转角。3.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述地面站系统包括一个图像显示界面，用于实时显示接收的彩色图像；还包括一个手动控制云台的按键组合，包括“上”，“下”，“左”，“右”，可以控制云台上下左右移动来寻找火点位置；还包括8个显示框，分别用来显示红外摄像头的姿态角和小型无人直升机的经纬度、高度、偏航角的信息以及显示地面站系统最终计算的火点精确经纬度定位信息；所述GIS平台包括一个osm-gps-map开源地图，在接收到地面站系统发送的火点精确经纬度定位信息后有一个火灾图标在定位处闪烁并显示出实时经纬度坐标。4.根据权利要求1所述的小型无人直升机的火灾检测与跟踪方法，其特征在于，所述步骤S3中提取彩色图像可疑区域灰度共生矩阵的对比度、能量、熵特征的方法为：设f(x,y)为一幅数字图像，其大小为M*N，灰度级别为Ng，则满足一定空间关系的灰度共生矩阵为：P(x,y)＝#{(x1,y1),(x2,y2)∈M*N|f(x1,y1)＝i,f(...

【专利技术属性】
技术研发人员：裴海龙，刘雨曦，徐燕翔，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44