【技术实现步骤摘要】
本专利技术涉及图像处理的，具体涉及一种融合实景三维与视频的烟火智能识别与精准定位方法。
技术介绍
1、林业是生态建设的主体，在保持经济和社会发展中有着不可或缺的作用，及早发现火情并及时对其扑救对于森林保护就显得尤为重要。传统森林防火措施普遍采用在防火期间派出防火人员到林区巡逻、瞭望塔人工观测以及卫星探测。人工望塔方式虽然简单易行，但是需要投入很多财力、物力、劳力，存在无法实时监测、覆盖范围有限等问题。卫星监测系统的扫描周期长、分辨率低、图像像素点的饱和、扫描期间云层的遮挡以及火灾参数很难实时数量化等原因限制了卫星探测系统的使用范围，降低了森林火灾的监测效果。通过架设高空云台及高清监控视频，再由人工结合相关指标参数进行实时监测是一种有效的森林火灾监测手段。
2、但目前随着架设的各类视频传感器设备的数量增多，不光增加了人工的工作量，还导致监测目的的及时性和高效性越发无法保证。
技术实现思路
1、针对现有技术中所存在的不足，本专利技术提供了融合实景三维与视频的烟火智能识别与精准定位方法，以解决现有技术中随着架设的各类视频传感器设备的数量增多，不光增加了人工的工作量，还导致监测目的的及时性和高效性越发无法保证的技术问题。
2、本专利技术提供了一种融合实景三维与视频的烟火智能识别与精准定位方法，包括：
3、s1、基于双光谱云台摄像机实时采集可见光和热红外的视频流、其空间位置坐标和运行姿态数据，并对视频流进行视频帧图像预处理得到视频帧图像；
4、
5、s3、采用组合损失函数训练和优化所述深度学习模型，将所述训练样本输入至所述烟火识别模型进行迭代优化，直至烟火识别模型训练完成全部的训练样本，并采用烟火识别模型对视频帧图像进行实时识别；
6、s4、基于所述历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维信息的视觉特征库；
7、s5、采用sift算法对包含火点的视频帧进行特征点提取，将所述特征点输入所述视觉数据库查询特征点对应的一组2d-3d点对；
8、s6、对所述2d-3d点对采用solvepnp算法来计算出双光谱云台摄像机的位姿，并用ransac算法剔除异常值；
9、s7、采用投影变换，利用所述双光谱云台摄像机的空间位置坐标和运行姿态数据，将火点的2d坐标投影到双光谱云台摄像机的坐标系下，并利用位姿矩阵将双光谱云台摄像机的坐标转换为世界坐标系下的3d坐标，得到火点的三维坐标。
10、可选地，所述对所述训练样本进行数据清洗，并对所述训练样本进行数据增强，包括：
11、所述数据清洗至少包括对所述训练样本进行筛选、转换和修复；
12、所述数据增强至少包括对所述训练样本进行图像变换、颜色扰动、尺度变换、增加噪声、小目标处理、裁剪和填充和物体遮挡。
13、可选地，采用组合损失函数训练和优化所述深度学习模型，包括：
14、所述深度学习模型采用组合损失函数，所述组合损失函数结合目标定位损失、目标分类损失和目标置信度损失；
15、所述目标定位损失用于计算预测框和标定框之间的误差，表示为：
16、
17、
18、
19、
20、其中，λloc表示定位损失的权重系数，ν表示两个帧长宽比的重合度，和分别表示实际的长宽比和预测的长宽比，α表示一个正的权衡参数。
21、可选地，所述目标分类损失，包括：
22、所述目标分类损失用于计算锚框与对应的标定分类是否正确，表示为：
23、
24、其中，s表示特征图的网格尺寸，b表示每个网格预测的边界框数量，表示预测的边界框和实际目标框的匹配关系，1代表匹配，0代表不匹配，classes表示目标类别的总数，pi(c)和分别表示预测类别分数和实际类别的one-hot编码。
25、可选地，所述目标置信度损失，包括：
26、所述目标置信度损失用于表征所述预测框的可信程度，取值范围0～1，值越大说明所述预测框中越可能存在目标，表示为：
27、
28、其中，表示预测的边界框和背景框的匹配关系，1代表匹配，0代表不匹配，ci表示预测置信度，表示预测边界框与目标边界框之间的交并比iou，λnoobj表示背景置信度的权重系数，λobj表示目标置信度的权重系数；
29、最终的总损失为所述目标定位损失、目标分类损失和目标置信度损失的加权和。
30、可选地，所述直至烟火识别模型训练完成全部的训练样本之后，包括：
31、周期性地添加训练样本不断迭代。
32、可选地，所述对所述2d-3d点对采用solvepnp算法来计算出双光谱云台摄像机的位姿，包括：
33、将所述空间位置坐标和运行姿态数据作为位姿计算的初值。
34、相比于现有技术，本专利技术具有如下有益效果：
35、1、首先利用深度学习方法在图像处理上的优势，采用双光谱云台摄像机进行实时自动识别，烟火识别精度高。
36、2、其次在定位时，融合了实景三维信息和视频信息，烟火定位的精度高。
37、3、最后分别通过实时识别烟火和定位烟火，实现了森林烟火自动实时识别和定位，减少人工工作量。
本文档来自技高网...【技术保护点】
1.一种融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，包括：
2.如权利要求1所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，所述对所述训练样本进行数据清洗，并对所述训练样本进行数据增强，包括：
3.如权利要求1所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，采用组合损失函数训练和优化所述深度学习模型，包括：
4.如权利要求3所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，所述目标分类损失，包括：
5.如权利要求4所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，所述目标置信度损失，包括：
6.如权利要求1所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，所述直至烟火识别模型训练完成全部的训练样本之后，包括：
7.如权利要求1所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，所述对所述2D-3D点对采用solvePnP算法来计算出双光谱云台摄像机的位姿，包括：
【技术特征摘要】
1.一种融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，包括：
2.如权利要求1所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，所述对所述训练样本进行数据清洗，并对所述训练样本进行数据增强，包括：
3.如权利要求1所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，采用组合损失函数训练和优化所述深度学习模型，包括：
4.如权利要求3所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，...
【专利技术属性】
技术研发人员：黄印，张孝成，周宏文，何宗，李静泽，刘金龙，连蓉，陈光辉，黄劲松，秦松，黄林周，刘亦凡，谈益，陈晓飞，倪千尧，
申请(专利权)人：重庆市地理信息和遥感应用中心重庆市测绘产品质量检验测试中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。