一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法技术

一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法，涉及森林火灾智能监测技术领域，为解决现有技术无法利用火场信息对机载激光雷达和红外相机进行实时地、准确地标定的问题。具体过程为：步骤一、通过搭载激光雷达和红外相机的无人机采集火场数据，获得激光雷达点云数据和红外相机图像数据；步骤二、利用激光雷达点云数据提取火场的点云轮廓；步骤三、利用红外相机图像数据提取火场的图像轮廓；步骤四、将火场点云轮廓和图像轮廓进行匹配和优化，求解激光雷达和红外相机之间的外参结果；每隔t秒钟执行一次上述步骤，将w次外参结果求取平均值作为最终外参标定结果。本发明专利技术为林火监测工作提供便利，具有突出的优势。具有突出的优势。具有突出的优势。

【技术实现步骤摘要】
一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法


[0001]本专利技术涉及森林火灾智能监测
，具体而言，涉及一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法。

技术介绍

[0002]近年来，我国森林火灾频繁发生，为了有效预防和及时扑灭森林火灾，保障人民生命财产安全，维护生态安全和保护森林资源，国家不断出台相关政策。随着无人机技术的快速发展，搭载着激光雷达和红外相机等传感器的无人机在森林火灾智能监测领域发挥的作用日益显著。相对于传统的森林火灾监测方式，无人机可以实时准确地获取遥感数据和影像数据，提升森林火灾监测效率和监测水平，满足智慧林业的建设需求。机载激光雷达和红外相机在森林火灾监测领域应用广泛，激光雷达可以稳定快速地获取周围环境的空间信息，但缺乏感知其他属性的能力，红外相机可以在夜间和恶劣的环境下工作。激光雷达和红外相机的联合使用为森林消防员快速确定火情提供了很大帮助。
[0003]目前激光雷达和红外相机的标定方法大多使用一些具有空间几何特征的标定物，利用激光雷达在边缘点处的深度不连续性，提取距离突变处的点作为边缘点，以用作标定的特征点，并和图像中提取的边缘信息进行配准。需要投入人工成本和时间成本，不能依靠火场环境信息完成自动实时标定。因此，研究面向森林火灾监测的机载激光雷达和红外相机的实时标定具有非常重要的意义。

技术实现思路

[0004]本专利技术要解决的技术问题是：
[0005]现有技术无法利用火场信息对机载激光雷达和红外相机进行实时地、准确地标定的问题。
[0006]本专利技术为解决上述技术问题所采用的技术方案为：
[0007]为解决上述问题，本专利技术提出了一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法，包括如下步骤：
[0008]步骤一、通过搭载激光雷达和红外相机的无人机采集火场数据，获得激光雷达点云数据和红外相机图像数据；
[0009]步骤二、利用步骤一中的激光雷达点云数据提取火场的点云轮廓；
[0010]步骤三、利用步骤一中的红外相机图像数据提取火场的图像轮廓；
[0011]步骤四、对步骤二中的火场点云轮廓和步骤三中的火场图像轮廓进行匹配和优化，求解激光雷达和红外相机之间的外参结果；
[0012]且每隔t秒钟执行一次上述步骤，将w次外参结果求取平均值作为激光雷达和红外相机之间的外参。
[0013]进一步地，步骤二中提取火场点云轮廓时，首先对获得的稀疏的激光雷达点云数
据进行实时配准拼接，构建密集的火场点云地图；然后对密集的火场点云地图进行滤波处理，获得规则平滑的火场点云地图；再根据火场点云地图中火场点云强度值发生突变处的若干激光雷达点确定火场点云轮廓。
[0014]进一步地，步骤二中具体为采用BALM算法对激光雷达点云数据进行实时配准拼接。
[0015]进一步地，步骤二中分别采用统计滤波、高斯滤波、双边滤波和直通滤波对密集的火场点云地图进行滤波处理。
[0016]进一步地，步骤三中提取火场图像轮廓时，首先对获得的红外相机图像数据进行直方图均衡化获取红外图像的像素值分布，根据像素值分布判断是否存在燃烧区域；然后通过OTSU自适应阈值分割算法对红外相机图像数据进行二值化处理，增强燃烧区域和未燃烧区域之间的区分度；再通过Canny算法提取火场图像轮廓。
[0017]进一步地，步骤三中红外图像的像素值分布有超过85％位于1～55和200～255两个范围内时，则认为存在燃烧区域。
[0018]进一步地，步骤四中对步骤二中的火场点云轮廓和步骤三中的火场图像轮廓进行匹配和优化，求解激光雷达和红外相机之间的外参的具体过程为：
[0019]步骤四一、在火场的点云轮廓上采样多个激光雷达点，把每个采样点转换到红外相机坐标系中，得到
[0020]步骤四二、根据红外相机针孔模型，把转换后的点投影到相机图像平面，得到对应的预期投影点根据红外相机畸变模型校正预期投影点，得到实际投影点
[0021]步骤四三、构建红外图像轮廓像素的k
‑
D tree，搜索的k最近邻点作为采样点对应的红外图像轮廓像素点；
[0022]步骤四四、根据已知的相机内参，点云轮廓的采样点坐标及与之对应的红外图像轮廓像素点坐标，构建外参矩阵求解方程如下：
[0023][0024]式中，[u,v,1]T
表示红外图像轮廓的像素点的坐标，[x,y,z,1]T
表示点云轮廓的采样点的坐标，K3×4为已知的红外相机的内参矩阵，T4×4为激光雷达和红外相机之间的外参矩阵，s
i
为比例因子，f
x
为以像素表示的轴方向的焦距，f
y
为以像素表示的y轴方向的焦距，c
x
为主点x坐标，c
y
为主点y坐标，R3×3为激光雷达和红外相机之间的旋转矩阵，t3×1为激光雷达和红外相机之间的平移矩阵；根据方程求得初始外参矩阵T
′
；
[0025]步骤四五、根据初始外参矩阵T
′
，把采样点重新投影到相机图像平面得到重
投影点迭代计算当重投影点与红外图像轮廓像素点之间的像素差值小于设定值δ时即可认为精度满足要求。
[0026]相较于现有技术，本专利技术的有益效果是：
[0027]一、标定精度高：本专利技术分别通过点云配准拼接和点云滤波实现点云的密集化和平滑化，并将火场点云强度值发生突变处的若干激光雷达点作为火场点云轮廓，保证了火线点云轮廓的提取精度；通过直方图均衡化和OTSU自适应阈值分割实现是否存在燃烧区域的判断和火场图像有效分割，并通过Canny算法提取火线图像轮廓，保证了火线图像轮廓的提取精度；进一步地保障了所求解的外参矩阵的标定精度。
[0028]在确定点云采样点三维坐标在红外相机图像平面对应的红外图像轮廓像素点时，采用了利用了k
‑
D tree搜索k最近邻点的方法，在优化匹配误差时，采用了利用最小化重投影误差迭代求解的方法，提高了标定的准确度。
[0029]二、标定过程简单：当发生火灾时，无人机起飞至合适高度获取火场信息并进行实时标定，整个过程完全由无人机搭载的传感器自主完成，无需人工提前设置标定板等参照物进行标定，节约了人工成本，为无人机监测森林火灾提供了便利。尤其针对突发火灾情况，激光雷达与红外相机的自主实时标定更能够体现其突出的优势。
附图说明
[0030]图1为本专利技术实施例中的技术流程图；
[0031]图2为本专利技术实施例中数据采集的火场现场图；
[0032]图3为本专利技术实施例中激光雷达得到的火场点云图和火场点云轮廓；
[0033]图4为本专利技术实施例中的火场红外相机图像和火场图像轮廓；
[0034]图5为本专利技术实施例中火场点云轮廓与火场图像轮廓融合效果图；
[0035]图6为本专利技术实施例中本专利技术标定方法与人工提取标定板角点的标定方法效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法，其特征在于，包括如下步骤：步骤一、通过搭载激光雷达和红外相机的无人机采集火场数据，获得激光雷达点云数据和红外相机图像数据；步骤二、利用步骤一中的激光雷达点云数据提取火场的点云轮廓；步骤三、利用步骤一中的红外相机图像数据提取火场的图像轮廓；步骤四、对步骤二中的火场点云轮廓和步骤三中的火场图像轮廓进行匹配和优化，求解激光雷达和红外相机之间的外参结果；且每隔t秒钟执行一次上述步骤，将w次外参结果求取平均值作为激光雷达和红外相机之间的外参。2.如权利要求1所述的一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法，其特征在于：步骤二中提取火场点云轮廓时，首先对获得的稀疏的激光雷达点云数据进行实时配准拼接，构建密集的火场点云地图；然后对密集的火场点云地图进行滤波处理，获得规则平滑的火场点云地图；再根据火场点云强度值发生突变处的若干激光雷达点确定火场点云轮廓。3.如权利要求2所述的一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法，其特征在于：步骤二中具体为采用BALM算法对激光雷达点云数据进行实时配准拼接。4.如权利要求3所述的一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法，其特征在于：步骤二中分别采用统计滤波、高斯滤波、双边滤波和直通滤波对密集的火场点云地图进行滤波处理。5.如权利要求4所述的一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法，其特征在于：步骤三中提取火场图像轮廓时，首先对获得的红外相机图像数据进行直方图均衡化获取红外图像的像素值分布，根据像素值分布判断是否存在燃烧区域；然后通过OTSU自适应阈值分割算法对红外相机图像数据进行二值化处理，增强燃烧区域和未燃烧区域之间的区分度；再通过Canny算法提取火场图像轮廓。6.如权利要求5所述的一种面向森林火灾监测的机载...

【专利技术属性】
技术研发人员：李兴东，黄启超，肖旭，王扬威，李三平，刘九庆，
申请(专利权)人：东北林业大学，
类型：发明
国别省市：