基于双目立体视觉和无人机的秸秆焚烧监测方法技术

本发明专利技术公开了一种基于双目立体视觉和无人机的秸秆焚烧监测方法，为克服现有技术存在监测火点信息不准确、精度不高、受天气影响大、监管成本高与效率低的问题，其步骤：1)预设巡航路径；无人机起飞前由地面操作人员在无人机的GPS模块中对巡航规划，设置在待监测农田无人机的飞行路径，无人机启动后按照预设的巡航路径飞行；2)连接无人机与双目立体视觉平台、红外传感器；3)标定双目立体视觉平台；4)启动无人机；5)无人机进行巡航监测：无人机按预设巡航路径飞行，红外传感器监测红外热源异常区域的出现,双摄像头采集两幅不同角度的秸秆焚烧图像；6)图像处理；7)三维重建；8)监测结果判断与处理；9)依据闪光警报采取处理措。

Monitoring method of straw burning based on binocular stereo vision and UAV

The invention discloses a monitoring method of straw burning based on binocular stereo vision and unmanned aerial vehicle (UAV). In order to overcome the problems existing in the existing technology, the monitoring fire point information is inaccurate, the precision is not high, the weather is greatly influenced, the supervision cost is high and the efficiency is low. The steps are as follows: 1) the presupposition cruising path; the unmanned aerial vehicle is operated by the ground operator before taking off. In the GPS module of UAV, the cruise plan is set up in the flight path of the unmanned aerial vehicle (UAV) to be monitored, after the UAV starts to fly according to the preset cruise route; 2) connecting UAV and binocular stereo vision platform, infrared sensor; 3) demarcating binocular stereo vision platform; 4) starting the UAV; 5) the UAV for cruising monitoring: The unmanned aerial vehicle (UAV) is flying by the default cruise route, infrared sensors monitor the abnormal area of infrared heat source, double cameras collect two different angles of straw burning image; 6) image processing; 7) 3D reconstruction; 8) monitoring results judgment and processing; 9) according to the flash alarm acquisition and processing measures.

【技术实现步骤摘要】
基于双目立体视觉和无人机的秸秆焚烧监测方法
本专利技术属于计算机视觉领域和无人机领域的一种监测方法，更确切地说，本专利技术涉及一种基于双目立体视觉和无人机的秸秆焚烧监测方法。
技术介绍
夏秋两季是秸秆焚烧的高发时期，焚烧秸秆易产生CO2、NO2、SO2等有毒有害气体及可吸入颗粒物，不仅造成生态环境污染，对人们的身心健康也带来威胁，是“黄泥天”、雾霾等恶劣天气的罪魁祸首。另外，焚烧秸秆如遇大风天气时极易引起火灾，且产生的烟尘使周边环境能见度降低，增加交通安全隐患。另外由于监管焚烧的人力资源有限，秸秆的回收再利用成本高见效慢，况且农民存在秸秆就地焚烧可增强土壤肥力的认识误区，使秸秆焚烧现象屡禁不止。目前监测秸秆焚烧的方法有卫星遥感技术、基于传感器网络的气体或烟雾源定位、人力警车巡查和专人盯防结合方法等，但卫星遥感技术在云雾覆盖天气或较小焚烧点时监测的火点信息不准，所得测试数据过于专业、不够直观，需要经大量处理后才可进行焚烧点识别，监测效率较低；依据红外温度判断火点则可能发生误将某些工厂或锅炉等发热点辨识为焚烧点的情况，产生误判；单靠气体或烟雾传感器定位焚烧点的精度不高，应用范围有限；靠人力监管费时费力、行政成本昂贵且效果不显著。近年来,随着光学、电子学以及计算机技术的发展，双目立体视觉(BinocularStereoVision)作为计算机视觉的一个重要分支，应用越来越广泛。双目立体视觉是由不同位置的两台或一台成像设备获取同一幅场景的两幅图像，通过计算真实空间内同一点在两幅图像中的位置偏差即视差，获得该点的深度信息，从而将二维图像还原成三维，得到该点的三维几何信息，并且可以满足夜间拍摄的需要。无人机信息获取技术则具备平台搭建容易、可实现云下低空飞行，受天气影响小，可夜间巡航，运行维护成本低、体积小、质量轻、操作简单、作业周期短等优点，利用无人机搭载双目立体视觉平台，能够准确实时地监测秸秆焚烧遥感信息，满足精准农业发展的要求。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术存在的监测火点信息不准确、精度不高、受天气影响大、监管成本高与效率低的问题，提供了一种基于双目立体视觉和无人机的秸秆焚烧监测方法。为解决上述技术问题，本专利技术是采用如下技术方案实现的：所述的基于双目立体视觉和无人机的秸秆焚烧监测方法的步骤如下：1)预设巡航路径；2)连接无人机与双目立体视觉平台、红外传感器；3)标定双目立体视觉平台；4)启动无人机；5)无人机进行巡航监测；6)图像处理；7)三维重建；8)监测结果判断与处理；9)依据闪光警报采取处理措。技术方案中所述的预设巡航路径是指：在无人机起飞前，由地面操作人员根据农田信息，用无人机自带的安装有与所采用的无人机配套的GJIGO软件的遥控器进行巡航规划，设无人机在待监测农田的巡航飞行路径，无人机启动后即按照既定巡航路径飞行。技术方案中所述的连接无人机与双目立体视觉平台、红外传感器是指：1)用M12连接器将红外传感器与无人机云台连接，固定在无人机自带的云台上，M12连接器一端采用螺钉连接、拧紧触点接线的方式与红外传感器相连，一端焊接于无人机的云台上；2)将左、右两个摄像机采用卡扣连接到无人机自带的云台上，即完成无人机与双目立体视觉平台的连接。技术方案中所述的标定双目立体视觉平台是指；标定双目立体视觉平台首先是分别获取左右相机的内外参数，之后通过立体标定对左右两幅图像进行立体校准和对齐，最后就是确定两个相机的相对位置关系，即中心距；1)本专利技术采用张氏平面标定法，该方法只需要摄像机对某个标定板从不同方向拍摄多幅图片，通过标定板上每个特征点和其像平面的像点间的对应关系，即每一幅图像的单应矩阵来进行摄像机的标定；摆放标定板时应在尽可能靠近焦点的前提下，彼此位姿越不同越好，因为位姿越不同的两张棋盘格图片，其利用角点坐标建立的方程就越独立，越有代表性；2)用OpenCV软件完成对两个摄像头的分别标定，即左目标定和右目标定及角点检测，完成左、右相机双目立体校正后的结果是左右相机对应匹配点基本上水平对齐；3)把左目和右目的单独标定结果放入双目程序中，确定出左、右摄像头内外参数，并得到旋转矩阵和平移矩阵。技术方案中所述的无人机进行巡航监测是指：无人机按预设巡航路径从起始位置开始巡航飞行，与此同时红外传感器监测红外热源异常区域,若出现红外异常情况,则无人机飞行至红外异常区域上方，双摄像头采集此刻此处两幅不同角度的秸秆焚烧图像。技术方案中所述的图像处理是指：1)图像压缩(1)将摄像头采集到的PNG格式的图片在计算机系统自带的画图板功能中打开，再将文件另存为JPEG图片的格式，重命名并保存，这种方法使图像质量损耗较小，且所占空间很小；(2)若想进一步对JPEG图片格式的图像进行压缩，可以在计算机上安装压缩软件，然后右击待压缩文件，打开文件选择列表，选择“添加到压缩文件夹”，选择压缩方式并确认，即可完成用压缩软件对图像的压缩；2)颜色空间选择对于有些图像色差比较明显的，或者需要选取指定颜色的部分，使用色彩范围来选取；(1)在Photoshop软件中打开图片，在颜色调板上通过滑动RGB色度条的滑块，分别调整RGB色度，得到灰度图像；(2)经对比R分量、G分量、B分量、G-R分量、G-B分量、G-R-B分量这六个分量图像后，选择G-B组合分量图像进行下一步的图像处理；3)阈值分割(1)图像二值化就是将灰度图像变为二值图像，将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程，常用方法是选定阈值；基于直方图双峰法是寻找双峰的谷底作为阈值，此方法实用于具有明显双峰直方图的图像，可利用OpenVC程序编码实现函数，该函数的实现过程是：此函数是一个迭代的过程，每次处理前对直方图数据进行判断，看其是否已经是一个双峰的直方图，如果不是，则对直方图数据进行半径为1的平滑，如果迭代了一定的数量比如1000次后仍未获得一个双峰的直方图，则函数执行失败，如成功获得，则最终阈值取两个双峰之间的谷底值作为阈值；注意在编码过程中，平滑的处理需要当前像素之前的信息，因此需要对平滑前的数据进行备份；另外，受数据类型精度限制，直方图数据必须转换为浮点类型数据再进行处理，否则得不到正确的结果；(2)将待处理图像的每个像素点进行单点处理，即将其灰度值与所设置的阈值进行比对，从而得到二值化的黑白图；4)形态学运算由于噪声的影响，图像在阈值化后所得到的边界通常都很不平滑，需要经过多次腐蚀和相同次数的膨胀处理才能产生较好的图像效果；(1)腐蚀算法是用3×3的结构元素扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为1，结果图像的该像素为1，否则为0，结果是使二维图像缩小一圈；(2)膨胀算法是用3×3的结构元素扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作，如果都为0，结果图像的该像素为0，否则为1，结果是使二维图像扩大一圈；5)边缘检测。技术方案中所述的边缘检测的步骤如下：(1)滤波边缘检测的算法主要是基于图像强度的一阶和二阶导数，但导数通常对噪声很敏感，因此必须采用滤波器来改善与噪声有关的边缘检测器的性能，常见的滤波方法主要有高斯滤波，即采用离散化的高斯函数产生一组归一化的高斯核，然后本文档来自技高网...

【技术保护点】
一种基于双目立体视觉和无人机的秸秆焚烧监测方法，其特征在于，所述的基于双目立体视觉和无人机的秸秆焚烧监测方法的步骤如下：1)预设巡航路径；2)连接无人机与双目立体视觉平台、红外传感器；3)标定双目立体视觉平台；4)启动无人机；5)无人机进行巡航监测；6)图像处理；7)三维重建；8)监测结果判断与处理；9)依据闪光警报采取处理措。

【技术特征摘要】
1.一种基于双目立体视觉和无人机的秸秆焚烧监测方法，其特征在于，所述的基于双目立体视觉和无人机的秸秆焚烧监测方法的步骤如下：1)预设巡航路径；2)连接无人机与双目立体视觉平台、红外传感器；3)标定双目立体视觉平台；4)启动无人机；5)无人机进行巡航监测；6)图像处理；7)三维重建；8)监测结果判断与处理；9)依据闪光警报采取处理措。2.按照权利要求1所述的基于双目立体视觉和无人机的秸秆焚烧监测方法，其特征在于，所述的预设巡航路径是指：在无人机起飞前，由地面操作人员根据农田信息，用无人机自带的安装有与所采用的无人机配套的GJIGO软件的遥控器进行巡航规划，设无人机在待监测农田的巡航飞行路径，无人机启动后即按照既定巡航路径飞行。3.按照权利要求1所述的基于双目立体视觉和无人机的秸秆焚烧监测方法，其特征在于，所述的连接无人机与双目立体视觉平台、红外传感器是指：1)用M12连接器将红外传感器与无人机云台连接，固定在无人机自带的云台上，M12连接器一端采用螺钉连接、拧紧触点接线的方式与红外传感器相连，一端焊接于无人机的云台上；2)将左、右两个摄像机采用卡扣连接到无人机自带的云台上，即完成无人机与双目立体视觉平台的连接。4.按照权利要求1所述的基于双目立体视觉和无人机的秸秆焚烧监测方法，其特征在于，所述的标定双目立体视觉平台是指；标定双目立体视觉平台首先是分别获取左右相机的内外参数，之后通过立体标定对左右两幅图像进行立体校准和对齐，最后就是确定两个相机的相对位置关系，即中心距；1)本发明采用张氏平面标定法，该方法只需要摄像机对某个标定板从不同方向拍摄多幅图片，通过标定板上每个特征点和其像平面的像点间的对应关系，即每一幅图像的单应矩阵来进行摄像机的标定；摆放标定板时应在尽可能靠近焦点的前提下，彼此位姿越不同越好，因为位姿越不同的两张棋盘格图片，其利用角点坐标建立的方程就越独立，越有代表性；2)用OpenCV软件完成对两个摄像头的分别标定，即左目标定和右目标定及角点检测，完成左、右相机双目立体校正后的结果是左右相机对应匹配点基本上水平对齐；3)把左目和右目的单独标定结果放入双目程序中，确定出左、右摄像头内外参数，并得到旋转矩阵和平移矩阵。5.按照权利要求1所述的基于双目立体视觉和无人机的秸秆焚烧监测方法，其特征在于，所述的无人机进行巡航监测是指：无人机按预设巡航路径从起始位置开始巡航飞行，与此同时红外传感器监测红外热源异常区域,若出现红外异常情况,则无人机飞行至红外异常区域上方，双摄像头采集此刻此处两幅不同角度的秸秆焚烧图像。6.按照权利要求1所述的基于双目立体视觉和无人机的秸秆焚烧监测方法，其特征在于，所述的图像处理是指：1)图像压缩(1)将摄像头采集到的PNG格式的图片在计算机系统自带的画图板功能中打开，再将文件另存为JPEG图片的格式，重命名并保存，这种方法使图像质量损耗较小，且所占空间很小；(2)若想进一步对JPEG图片格式的图像进行压缩，可以在计算机上安装压缩软件，然后右击待压缩文件，打开文件选择列表，选择“添加到压缩文件夹”，选择压缩方式并确认，即可完成用压缩软件对图像的压缩；2)颜色空间选择对于有些图像色差比较明显的，或者需要选取指定颜色的部分，使用色彩范围来选取；(1)在Photoshop软件中打开图片，在颜色调板上通过滑动RGB色度条的滑块，分别调整RGB色度，得到灰度图像；(2)经对比R分量、G分量、B分量、G-R分量、G-B分量、G-R-B分量这六个分量图像后，选择G-B组合分量图像进行下一步的图像处理；3)阈值分割(1)图像二值化就是将灰度图像变为二值图像，将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程，常用方法是选定阈值；基于直方图双峰法是寻找双峰的谷底作为阈值，此方法实用于具有明显双峰直方图的图像，可利用OpenVC程序编码实现函数，该函数的实现过程是：此函数是一个迭代的过程，每次处理前对直方图数据进行判断，看其是否已经是一个双峰的直方图，如果不是，则对直方图数据进行半径为1的平滑，如果迭代了一定的数量比如1...

【专利技术属性】
技术研发人员：孔丽娟，于海业，刘爽，田东旭，隋媛媛，张雨晴，张强，张蕾，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22