本公开实施例涉及一种基于星空地多模态数据融合的山火监测方法和装置，其中该方法包括：获取星空地多模态数据进行处理得到多模态数据特征进行融合，得到多模态融合特征，将多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果。采用上述技术方案，基于星空地多源数据进行特征提取融合进而对输电线路附近等山火情况进行监测，多源数据融合监测可以通过相互验证提高火灾监测的准确性，充分利用星空和地面数据的优势，可以提高火灾监测的全面性、准确性和实时性，对于采取及时有效的措施应对火灾具有重要意义。
【技术实现步骤摘要】
本公开涉及输电线路山火监测，尤其涉及一种基于星空地多模态数据融合的山火监测方法、装置、设备及介质。
技术介绍
1、输电线路山火的监测识别是电力行业关注的重要问题之一。极端干旱背景下山火频繁，对输电线路安稳运行造成极大的威胁。不同于森林大火，较小面积的山火就有可能引发电网跳闸，为降低山火对输电线路的影响，全方位立体化的山火监测是必要的。目前常用的山火监测方法已经智能化、多元化发展，卫星、直升机、无人机、地面监测数据等多源星空地数据都为小面积山火及时预警提供了基础。使用卫星和航拍等遥感技术，可以在大范围内监测输电线路沿线的植被状况，检测可能的山火迹象。针对重要输电线路，可采用无人机、直升机等飞行器快速、灵活地飞越输电线路周围的区域，进行实时监测和图像采集，搭载红外相机等传感器还可提供对植被和地表温度的详细信息。在一些地区也部署了各种监测设备，包括火灾监测摄像头、温度传感器等，用于实时监测火灾情况。
2、卫星、直升机、无人机、地面监测等监测平台在单一的监测中都存在一些弊端，容易造成漏判、误判。融合星空地数据进行山火监测可以提供不同角度和分辨率的信息，通过相互验证提高火灾监测的准确性，提高整体的遥感监测鲁棒性。但是现有的星空地识别算法多基于决策层进行融合监测，即仅对识别出来的火或者非火的结果进行融合，此类方法未能充分发挥多源数据的优势，并不能有效提高数山火监测的准确率。而基于特征级的融合方法由于星空地在数据特点、成像机理、场景复杂度方面差异,特征级的融合监测难以开展。
技术实现思路
1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于星空地多模态数据融合的山火监测方法、装置、设备及介质，基于数据特征融合，最大化发挥多源监测数据优势，优化输电线路山火监测的准确度。
2、本公开实施例提供了一种基于星空地多模态数据融合的山火监测方法，所述方法包括：
3、获取星空地多模态数据；其中，所述星空地多模态数据包括卫星平台采集的遥感影像数据、空中平台采集的第一视频数据和第一图片数据、地面平台采集第二视频数据、第二图片数据和气象文本数据；
4、对所述星空地多模态数据进行时空匹配，得到待处理多源数据；
5、对所述待处理多源数据中的遥感影像数据进行辐射定标、大气校正和几何校正，得到目标遥感影像数据；
6、对所述待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据；
7、对所述待处理多源数据中的第一图片数据和第二图片数据进行样本标准化和尺度规范，得到目标图片数据；
8、对所述待处理多源数据中的气象文本数据进行异常缺省值清理和数据归一化，得到目标气象文本数据；
9、对所述目标遥感影像数据、所述目标视频数据、所述目标图片数据和所述目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征；
10、对所述多模态数据特征进行特征融合，得到多模态融合特征；
11、将所述多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果；其中，所述山火识别结果包括是否有山火、山火位置和山火位置的置信度结果。
12、本公开实施例还提供了一种基于星空地多模态数据融合的山火监测装置，所述装置包括：
13、获取模块，用于获取星空地多模态数据；其中，所述星空地多模态数据包括卫星平台采集的遥感影像数据、空中平台采集的第一视频数据和第一图片数据、地面平台采集第二视频数据、第二图片数据和气象文本数据；
14、匹配模块，用于对所述星空地多模态数据进行时空匹配，得到待处理多源数据；
15、第一预处理模块，用于对所述待处理多源数据中的遥感影像数据进行辐射定标、大气校正和几何校正，得到目标遥感影像数据；
16、第二预处理模块，用于对所述待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据；
17、第三预处理模块，用于对所述待处理多源数据中的第一图片数据和第二图片数据进行样本标准化和尺度规范，得到目标图片数据；
18、第四预处理模块，用于对所述待处理多源数据中的气象文本数据进行异常缺省值清理和数据归一化，得到目标气象文本数据；
19、提取模块，用于对所述目标遥感影像数据、所述目标视频数据、所述目标图片数据和所述目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征；
20、融合模块，用于对所述多模态数据特征进行特征融合，得到多模态融合特征；
21、分类模块，用于将所述多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果；其中，所述山火识别结果包括是否有山火、山火位置和山火位置的置信度结果。
22、本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的基于星空地多模态数据融合的山火监测方法。
23、本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的基于星空地多模态数据融合的山火监测方法。
24、本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的基于星空地多模态数据融合的山火监测方案，获取星空地多模态数据；其中，星空地多模态数据包括卫星平台采集的遥感影像数据、空中平台采集的第一视频数据和第一图片数据、地面平台采集第二视频数据、第二图片数据和气象文本数据，对星空地多模态数据进行时空匹配，得到待处理多源数据，对待处理多源数据中的遥感影像数据进行辐射定标、大气校正和几何校正，得到目标遥感影像数据，对待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据，对待处理多源数据中的第一图片数据和第二图片数据进行样本标准化和尺度规范，得到目标图片数据，对待处理多源数据中的气象文本数据进行异常缺省值清理和数据归一化，得到目标气象文本数据，对目标遥感影像数据、目标视频数据、目标图片数据和目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征，对多模态数据特征进行特征融合，得到多模态融合特征，将多模态融合特征输入全连接网络模型进行目标分类，得到山火识别结果；其中，山火识别结果包括是否有山火、山火位置和山火位置的置信度结果。由此，与最接近的现有技术相比，本申请全局视角与局部详细信息结合，星空数据提供了全球范围的视角，能够捕捉大范围的火灾分布情况，地面数据则提供了更高分辨率的、局部细致的信息，能够捕捉火灾现场的详细情况、以及本申请从遥感影像、文本、图像、视频等多种数据类型中获取信息，本文档来自技高网
...
【技术保护点】
1.一种基于星空地多模态数据融合的山火监测方法，其特征在于，包括：
2.根据权利要求1所述的基于星空地多模态数据融合的山火监测方法，其特征在于，所述对所述待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据，包括：
3.根据权利要求1所述的基于星空地多模态数据融合的山火监测方法，其特征在于，所述对所述目标遥感影像数据、所述目标视频数据、所述目标图片数据和所述目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征，包括：
4.根据权利要求3所述的基于星空地多模态数据融合的山火监测方法，其特征在于，所述对所述多模态数据特征进行特征融合，得到多模态融合特征，包括：
5.根据权利要求4所述的基于星空地多模态数据融合的山火监测方法，其特征在于，还包括：
6.一种基于星空地多模态数据融合的山火监测装置，其特征在于，包括：
7.根据权利要求6所述的基于星空地多模态数据融合的山火监测装置，其特征在于，所述第二预处理模块，具体用于：
8.根据权利要求6所述的基于星空地多模态数据融合的山火监测装置，其特征在于，所述提取模块，具体用于：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-5中任一所述的基于星空地多模态数据融合的山火监测方法。
...
【技术特征摘要】
1.一种基于星空地多模态数据融合的山火监测方法，其特征在于，包括：
2.根据权利要求1所述的基于星空地多模态数据融合的山火监测方法，其特征在于，所述对所述待处理多源数据中的第一视频数据和第二视频数据进行样本采样、样本标准化和尺度规范，得到目标视频数据，包括：
3.根据权利要求1所述的基于星空地多模态数据融合的山火监测方法，其特征在于，所述对所述目标遥感影像数据、所述目标视频数据、所述目标图片数据和所述目标气象文本数据分别进行遥感影像特征提取、视频数据序列特征提取、图像数据特征提和文本特征提取，得到多模态数据特征，包括：
4.根据权利要求3所述的基于星空地多模态数据融合的山火监测方法，其特征在于，所述对所述多模态数据特征进行特征融合，得...
【专利技术属性】
技术研发人员：张华玉，欧阳亿，徐勋建，冯涛，唐照华，皮新宇，李丽，简洲，
申请(专利权)人：国网湖南省电力有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。