基于无人机航拍RGB图像的速生林生长情况检测方法技术

本发明专利技术公开了基于无人机航拍RGB图像的速生林生长情况检测方法，利用无人机搭载低成本的RGB相机进行周期性拍摄，记录拍摄过程中的时间、位置信息；利用D2

【技术实现步骤摘要】
基于无人机航拍RGB图像的速生林生长情况检测方法


[0001]本专利技术涉及无人机航拍、图像处理、植被检测，尤其涉及深度学习下的图像处理技术；本专利技术结合多种神经网络设计了一种针对无人机航拍RGB图像的处理系统的方法，对速生林冠层面积进行时间尺度上的变化检测。
技术背景
[0002]速生林有着重要经济价值，关注其生长情况，预防由于病虫害或人为因素导致的损失具有重大意义；传统检测通常为人工巡检或利用多光谱相机结合植被指数进行分析；但人工巡检工作量大，检测不全面，不及时；多光谱相机价格昂贵，当无人机出现意外时，损失过大。

技术实现思路

[0003]专利技术目的：对速生林生长检测，针对上述存在的问题，相比之下RGB相机成本低，清晰度高，因而本专利技术利用无人机搭载RGB相机对速生林进行周期性拍摄；同时相较于传统的图像处理算法需要人工设计特征，深度学习在近几年得到大力发展，是一种端到端的学习方式，不需要人为提取特征，利用已有的技术手段，利用深度学习对采集到的图像进行处理，建立速生林冠层面积在时间序列上的生长曲线，参考其生长习性并结合实际情况作出分析，设计一种速生林生长检测方法，及时了解速生林的生长情况；这种以无人机为载体，以计算机为终端的低成本、智能化检测方法可以帮助管理人员了解速生林生长情况，减小工作量，降低人工成本，避免出现大规模损失。
[0004]本专利技术提出了一种结合D2
‑
Net、RefineNet、ChangeNet三种神经网络的图像处理系统，以利用无人机拍摄的速生林RGB图像为输入，可以获得速生林冠层面积在时间序列上的变化量，结合速生林生长习性分析其生长情况；方案成本较低、操作简单，检测结果简洁明了，真实可靠，具有不错的工程应用价值。
[0005]技术方案：一种利用搭载于多旋翼无人机的RGB相机进行速生林生长情况检测的方法，包括：
[0006]步骤S1：利用多旋翼无人机搭载RGB相机对速生林生长区域进行拍摄，获得图像信息，同时记录时间、位置信息；
[0007]步骤S2：从众多图像信息中将不同时间拍摄的同一区域图像提取出来，并进行区域对齐操作；
[0008]步骤S3：对配准并对齐后的图像进行语义分割，识别并保留速生林冠层部分，剔除其他无关部分；
[0009]步骤S4：对完成配准对齐以及分割操作后的图像进行变化检测，输出时间序列上的冠层面积变化图，以此为依据关注速生林的生长情况。
[0010]进一步的，步骤S1中，测量人员利用遥控器控制无人机利用RGB相机对速生林生长区域进行非均匀周期性拍摄；基于速生林冠层面积分析生长情况，南方速生林多为杨树、槐
树、桉树，其生长速度快，但冬季落叶；为避免对检测造成影响，拍摄时间、周期应依据具体拍摄树种生长习性而定；以杨树为例，其四月上旬放叶，十二月初落叶，五月至十一月冠层面积稳定，因此在五月、七月、九月、十一月中旬进行四次拍摄；十年为一个轮伐期，每年固定时间对速生林成片拍摄，拍摄过程应尽可能保持相同高度，以保证图像尺寸一致；同时记录拍摄时间、位置信息，打包储存并传至上位机以供后续处理。
[0011]进一步的，步骤S2中，前期的无人机拍摄过程中，会获得大量不同区域、不同时间的速生林生长区域图像；为了解速生林生长情况，需要对不同时间拍摄的同一区域的图像进行对比，以获得变化情况。
[0012]因此首先要进行图像配准，从众多图像中将同一区域图像配准提取出来；航拍图像中速生林数量多、颜色相近、特征相似且会发生变化，人为提取关键点难度较大；先首先结合位置信息进行粗配准，选取同一区域速生林图像，进而采用深度学习方法中的D2
‑
Net进行精确配准；对输入的图像使用卷积神经网络提取深度特征图，再从特征图上同时提取关键点和描述符；之后使用最近邻算法根据欧氏距离寻找两张图像之间关键点的匹配关系，完成图像的配准；利用已匹配的关键点计算两张图像之间的单应矩阵；将所得的单应矩阵对输入图像像素点进行映射，完成图像之间的对齐操作。
[0013]进一步的，步骤S3中，无人机航拍属于俯视拍摄，利用冠层面积判断速生林生长情况简单可靠；但由于拍图像中存在大量无关信息，为减小后续处理的计算量，采用语义分割算法对配准后的图像进行分割，识别出图像中速生林冠层区域，并将其分割出来；进一步考虑到速生林冠层边缘复杂难分割的问题，选用高精度的语义分割算法RefineNet。RefineNet对输入图像进行四个不同尺度的下采样，使用远程残差连接来实现高分辨率的冠层所占面积预测，剔除无关区域，获得不同时间同一区域的速生林冠层图像。
[0014]进一步的，步骤S4中，在完成图像的配准对齐以及分割操作后，对不同时间同一区域的速生林冠层图像进行变化检测，输出其在时间序列上的变化图，以此为依据关注速生林的生长情况。
[0015]利用变化检测网络ChangeNet对图像变化进行检测，ChangeNet的输入是一张参考图像和一张测试图像，输出是一个对于参考图像的变化区域图；整个网络主要分为孪生神经网络(siamese network)和FCN两个部分。
[0016]ChangeNet先用孪生神经网络分别对两张图片进行特征提取，确保可以从两种图像中学到相同的特征，同时结合不同水平的卷积层的输出，以捕获物体的粗糙信息和细节信息；然后使用FCN对提取的特征进行整合，最后相加并使用同一个softmax进行分类，得到变化图。
[0017]通过获得的时间序列上的冠层变化量,建立基于冠层面积的生长模型，参考速生林的生长习性进行分析，当速生林冠层面积变化小于正常量或不变化时，则认为速生林生长出现异常，可结合图像拍摄过程中的位置信息派遣工作人员进行实地的进一步检查，避免出现大规模损失。
[0018]与现有技术相比，采用了上述技术方案的基于无人机航拍RGB图像的速生林生长情况检测方法，利用已有的技术手段，设计一种速生林生长检测方法。这种以无人机为载体，以计算机为终端的低成本、智能化检测方法可以帮助管理人员了解速生林生长情况，减小工作量，降低人工成本，避免出现大规模损失。
附图说明
[0019]图1为速生林生长曲线图。
具体实施方式
[0020]下面结合附图对本专利技术做进一步描述。
[0021]一种利用搭载于多旋翼无人机的RGB相机进行速生林生长情况检测的方法，包括：
[0022]步骤S1：利用多旋翼无人机搭载RGB相机对速生林生长区域进行拍摄，获得图像信息，同时记录时间、位置信息；
[0023]步骤S2：从众多图像信息中将不同时间拍摄的同一区域图像提取出来，并进行区域对齐操作；
[0024]步骤S3：对配准并对齐后的图像进行语义分割，识别并保留速生林冠层部分，剔除其他无关部分；
[0025]步骤S4：对完成配准对齐以及分割操作后的图像进行变化检测，输出时间序列上的冠层面积变化图，以此为依据关注速生林的生长情况。
[0026]步骤S1中，测量人员利用遥控器控制无人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于无人机航拍RGB图像的速生林生长情况检测方法，其特征在于：包括：步骤S1：利用多旋翼无人机搭载RGB相机对速生林生长区域进行周期性拍摄，获得图像信息，同时记录时间、位置信息；步骤S2：从众多图像信息中将不同时间拍摄的同一区域图像提取出来，并进行区域对齐操作；步骤S3：对配准并对齐后的图像进行语义分割，识别并保留速生林冠层部分，剔除其他无关部分；步骤S4：对完成配准对齐以及分割操作后的图像进行变化检测，输出时间序列上的冠层面积变化图，以此为依据关注速生林的生长情况。2.根据权利要求1所述基于无人机航拍RGB图像的速生林生长情况检测方法，其特征在于：步骤S1中，测量人员控制无人机利用RGB相机对速生林生长区域进行非均匀周期性拍摄；拍摄时间、周期应依据具体拍摄树种生长习性，选取其冠层面积稳定时期进行拍摄；同时记录拍摄时间、位置信息，并传至上位机以供后续处理。3.根据权利要求1所述基于无人机航拍RGB图像的速生林生长情况检测方法，其特征在于：步骤S2中，由于前期获得大量图像，且速生...

【专利技术属性】
技术研发人员：陆观，周宇晨，徐一鸣，王栗，丁子桁，傅振宇，孙飞，周方杰，彭玮，张凯，
申请(专利权)人：南通大学，
类型：发明
国别省市：