一种基于视频卫星的森林智能防火方法技术

本发明专利技术公开了一种基于视频卫星的森林智能防火方法，利用transformer作为视频图像处理模型在获取视频卫星数据后能快速从视频卫星数据图片中获取图片中火焰、烟雾和火烧迹地的跟踪结果，使用时空跟踪框架模块跟踪策略，实时更新火焰、烟雾和火烧迹地的时空信息，提高火灾信息检测精度，利用坐标转换模块将火焰、烟雾和火烧迹地的跟踪结果的像素坐标转化为经纬度坐标，实现快速定位，同时轮廓检测算法模块和火灾蔓延速度计算模块获取火焰轮廓周长，计算出火灾蔓延速度。与同类方法提供火焰、烟雾、火烧迹地相比，本发明专利技术不仅能够提供森林火灾的火焰、烟雾、火烧迹地、还能提供火灾信息的地理坐标、火焰形状、火灾蔓延速度等信息。火灾蔓延速度等信息。火灾蔓延速度等信息。

【技术实现步骤摘要】
一种基于视频卫星的森林智能防火方法


[0001]本专利技术涉及一种基于视频卫星的森林智能防火方法，属于森林防火


技术介绍

[0002]森林火灾是一种突发性且救援较为困难的灾害，严重威胁生态环境及周边人口安全。精准监测森林火灾的发生位置、火场发展变化趋势及面积等信息是开展应急决策、部署火灾扑救力量的重要支撑。目前森林火灾检测手段有：利用传感器基于温度或烟雾颗粒等物理数据识别火灾，但是基于传感器火灾检测的方法易受浓雾、植被遮挡等影响，降低探测器的准确性。利用无人机搭载相机或传感器采集火灾现场的图像或视频数据，但是由于飞行时长和天气因素，无法长时间持续监测火灾情况。基于遥感影像的火灾检测方法虽然能够获取火灾的信息，但是遥感影像无法连续、无间断获取火灾信息，无法动态监测火势。
[0003]目前的森林火灾方法主要分为火前、火中和火后三个阶段。在火前，构建火灾预警模型提供火灾发生的概率。该方法通过森林火灾风险因子、自然风险灾害指数模型、火险综合预报指数、NDVI、地表温度、降雨量、湿度、温度、风速、干旱指数、日照时间、地理信息数据、空间信息数据等构建火灾预警模型，但是此种模型一般是经验模型，且需要进行参数调优和更新，以适应不同地区、季节和火灾类型的变化，需要持续的研究和开发，增加了模型的管理和维护成本。
[0004]在火中，主要获取火点位置和火灾的蔓延情况。前者主要利用yolo系列的目标检测算法提取火点特征。但是YOLO的单尺度特征提取和固定Anchor框大小可能导致对小目标的检测性能不佳。后者利用遥感数据的红外波段，结合人工目视解译获取火灾的蔓延。但是云层和大气中的热辐射可能会干扰火灾蔓延监测的准确性。
[0005]在火后，主要获取过火面积信息。通过利用循环神经网络或者长短时记忆网络提取森林火烧迹地，但是RNN和LSTM模型主要关注时间上的序列依赖关系，对于图像中的空间上下文信息的建模能力较弱，导致火烧迹地提取精度低。
[0006]因此，研究一种基于视频卫星的森林火灾监测方法，对于实时、宏观展示森林火灾的动态蔓延具有重要意义。

技术实现思路

[0007]鉴于此，本专利技术的目的是提供一种基于视频卫星的森林智能防火方法，可以克服现有技术的不足。
[0008]本专利技术的目的是通过以下技术方案实现的：一种基于视频卫星的森林智能防火方法，该方法通过以下模块实现：视频图像处理模型，它包括 ResNet
‑
50 网络、transformer 编码器
‑
解码器和边界框预测头，ResNet
‑
50 网络对含火灾信息的图片进行卷积操作提取火灾信息特征，火灾信息特征经过transformer 编码器
‑
解码器获取与火灾信息相关的特征表示，与火灾信息相关的特征表示输入边界框预测头，通过边界框预测头预测框选图片中火焰、烟雾、火烧迹
地三种火灾信息特征得到跟踪结果；视频图像处理模型与视频卫星数据连接，视频图像处理模型在获取视频卫星数据后能从视频卫星数据图片中获取图片中火焰、烟雾和火烧迹地的跟踪结果；时空跟踪框架模块，其与视频图像处理模型连接，获取实时更新的火焰、烟雾和火烧迹地的时空信息；坐标转换模块，其与视频图像处理模型连接，采用多项式拟合模型将火焰、烟雾和火烧迹地的跟踪结果的像素坐标转化为经纬度坐标；轮廓检测算法模块，其与时空跟踪框架模块连接，根据时空跟踪框架模块获取的火焰、烟雾和火烧迹地的时空信息，使用基于Canny边缘检测方法进行轮廓提取，获取火焰轮廓周长；火灾蔓延速度计算模块，其与时空跟踪框架模块连接，用于火灾蔓延速度计算，其使用火焰、烟雾和火烧迹地的时空信息中相邻帧的火烧迹地的面积差值，结合火焰、烟雾和火烧迹地的时空信息每一帧的时间间隔，计算火灾蔓延速度。
[0009]前述视频图像处理模型获取视频卫星数据后从视频卫星数据图片中获取火焰、烟雾和火烧迹地的跟踪结果的步骤包括：步骤101.选取火灾监测区域视频卫星数据序列中包含发生火灾的一个图像帧作为模板帧，除模板帧外的图像帧作为当前帧，从所述模板帧中提取一个包含火焰、烟雾或火烧迹地的静态图像作为模板图像；当前帧中的一个静态图像作为搜索图像；将模板图像和搜索图像通过ResNet
‑
50网络进行卷积操作，提取火灾信息特征，所述火灾信息特征包括火焰、烟雾、火烧迹地；步骤102.将步骤101中的火灾信息特征进行预处理，所述的预处理指将Resnet
‑
50输出的火灾信息特征转化为能输入transformer编码器的信息，输入到transformer编码器得到增强后的火灾信息特征序列；步骤103.将目标查询向量及增强后的火灾信息特征序列二者一并输入transformer解码器，在每层解码器中进行自注意力操作，将目标查询向量与增强后的火灾信息特征序列相互关联，让transformer解码器能够根据目标查询向量聚焦于搜索图像中与火灾信息相关的位置，获取与火灾信息相关的特征表示；所述与火灾信息相关的特征表示包括火灾信息的空间位置、形状、颜色、纹理特征，所述目标查询向量为待检测火灾信息类别；步骤104.将步骤103获得的与火灾信息相关的特征表示输入边界框预测头，通过边界框预测头预测框选图片中火焰、烟雾、火烧迹地三种火灾信息特征得到跟踪结果，输出预测框选图片左上角坐标和右下角坐标的两个概率值。
[0010]前述步骤102中的火灾信息特征进行预处理的具体步骤为：首先，通过1x1卷积，将火灾信息特征通道数从C减少为d，然后将特征图进行“扁平化和聚合”操作，得到长度为，通道数为d的特征序列，将其输入至transformer编码器，利用正弦位置编码为上述输入特征序列中的每个位置添加位置信息，其中表示模板图像特征图的高度，表示模板图像特征图的宽度；表示搜索图像特征图的高度，表示搜索图像特征图的宽度。
[0011]输出预测框选图片左上角和右下角的两个概率值为和，得到预测框选图片的左上角坐标和右下角坐标，；；其中，TL为Top
‑
Left的缩写，指边界框的左上角点，BR为Bottom
‑
Right的缩写，指边界框的右下角点；P为概率值。
[0012]为提高视频图像处理模型定位能力，确保所有的搜索图像都包含火灾信息，对视频图像处理模型以端到端方式训练，并结合L1Loss和DETR中的广义IoULoss定义视频图像处理模型的损失函数L，损失函数公式为：；式中，分别代表ground truth和预测框，为超参数，用来调整IoU损失在整体损失中的权重，用来调整L1在整体损失中的权重，L1为L1Loss函数。
[0013]前述时空跟踪框架模块包括动态输入模块和得分预测头；动态输入模块用于获取火灾监测区域视频卫星数据中间动态模板帧，并对中间帧的每一帧影像进行多目标跟踪，获得实时更新的火焰、烟雾和火烧迹地的时空信息，第一帧和当前帧之间的每一帧均为中间帧，所述第一帧为模板帧，火灾时空信息的实时更新步骤包括：步骤201.通过动态输入模块引本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频卫星的森林智能防火方法，其特征在于，该方法通过以下模块实现：视频图像处理模型，它包括 ResNet
‑
50 网络、transformer 编码器
‑
解码器和边界框预测头，ResNet
‑
50 网络对含火灾信息的图片进行卷积操作提取火灾信息特征，火灾信息特征经过transformer 编码器
‑
解码器获取与火灾信息相关的特征表示，与火灾信息相关的特征表示输入边界框预测头，通过边界框预测头预测框选图片中火焰、烟雾、火烧迹地三种火灾信息特征得到跟踪结果；视频图像处理模型与视频卫星数据连接，视频图像处理模型在获取视频卫星数据后能从视频卫星数据图片中获取图片中火焰、烟雾和火烧迹地的跟踪结果；时空跟踪框架模块，其与视频图像处理模型连接，获取实时更新的火焰、烟雾和火烧迹地的时空信息；坐标转换模块，其与视频图像处理模型连接，采用多项式拟合模型将火焰、烟雾和火烧迹地的跟踪结果的像素坐标转化为经纬度坐标；轮廓检测算法模块，其与时空跟踪框架模块连接，根据时空跟踪框架模块获取的火焰、烟雾和火烧迹地的时空信息，使用基于Canny边缘检测方法进行轮廓提取，获取火焰轮廓周长；火灾蔓延速度计算模块，其与时空跟踪框架模块连接，用于火灾蔓延速度计算，其使用火焰、烟雾和火烧迹地的时空信息中相邻帧的火烧迹地的面积差值，结合火焰、烟雾和火烧迹地的时空信息每一帧的时间间隔，计算火灾蔓延速度。2.根据权利要求1所述的基于视频卫星的森林智能防火方法，其特征在于：所述视频图像处理模型获取视频卫星数据后从视频卫星数据图片中获取火焰、烟雾和火烧迹地的跟踪结果的步骤包括：步骤101.选取火灾监测区域视频卫星数据序列中包含发生火灾的一个图像帧作为模板帧，除模板帧外的图像帧作为当前帧，从所述模板帧中提取一个包含火焰、烟雾或火烧迹地的静态图像作为模板图像；当前帧中的一个静态图像作为搜索图像；将模板图像和搜索图像通过ResNet
‑
50网络进行卷积操作，提取火灾信息特征，所述火灾信息特征包括火焰、烟雾、火烧迹地；步骤102.将步骤101中的火灾信息特征进行预处理，所述的预处理指将Resnet
‑
50输出的火灾信息特征转化为能输入transformer编码器的信息，输入到transformer编码器得到增强后的火灾信息特征序列；步骤103.将目标查询向量及增强后的火灾信息特征序列二者一并输入transformer解码器，在每层解码器中进行自注意力操作，将目标查询向量与增强后的火灾信息特征序列相互关联，让transformer解码器能够根据目标查询向量聚焦于搜索图像中与火灾信息相关的位置，获取与火灾信息相关的特征表示；所述与火灾信息相关的特征表示包括火灾信息的空间位置、形状、颜色、纹理特征，所述目标查询向量为待检测火灾信息类别；步骤104.将步骤103获得的与火灾信息相关的特征表示输入边界框预测头，通过边界框预测头预测框选图片中火焰、烟雾、火烧迹地三种火灾信息特征得到跟踪结果，输出预测框选图片左上角坐标和右下角坐标的两个概率值。3.根据权利要求2所述的基于视频卫星的森林智能防火方法，其特征在于：步骤102中的火灾信息特征进行预处理的具体步骤为：首先，通过1x1卷积，将火灾信息特征通道数从C
减少为d，然后将特征图进行“扁平化和聚合”操作，得到长度为，通道数为d的特征序列，将其输入至transformer编码器，利用正弦位置编码为上述输入特征序列中的每个位置添加位置信息，其中表示模板图像特征图的高度，表示模板图像特征图的宽度；表示搜索图像特征图的高度，表示搜索图像特征图的宽度。4.根据权利要求2所述的基于视频卫星的森林智能防火方法，其特征在于：输出预测框选图片左上角和右下角的两个概率值为和，得到预测框选图片的左上角坐标和右下角坐标，；；其中，TL为Top
‑
...

【专利技术属性】
技术研发人员：韩郸，卢鹏，刘润，甘桂春，赵庆萍，杨卓城，赵恒，罗雳，郭进，黄心怡，蒋梦，
申请(专利权)人：贵州省林业信息和宣传中心，
类型：发明
国别省市：