基于PLS特征融合卷积神经网络的树种识别分类计数方法技术

本发明专利技术公开了基于PLS特征融合卷积神经网络的树种识别分类计数方法，对树木的高光谱图像进行树冠识别，并将图像分割为若干个单木树冠图像；建立偏最小二乘法PLS特征融合CaffeNet卷积神经网络，对CaffeNet卷积神经网络各池化层输出和最终输出进行特征提取，利用PLS方法进行深层特征和浅层特征的融合，并对空间信息的特征融合结果和光谱信息的特征融合进行融合后分类；以分割后的单木树冠图像作为输入，利用训练好的PLS特征融合CaffeNet卷积神经网络进行树木种类识别，并对识别的树木按种类计数。本发明专利技术将浅层特征与深层特征结合偏最小二乘法进行并行特征融合，实现树种的准确分类计数。确分类计数。确分类计数。

【技术实现步骤摘要】
基于PLS特征融合卷积神经网络的树种识别分类计数方法


[0001]本专利技术属于目标识别与计算机视觉领域，涉及一种基于偏最小二乘法(PLS)特征融合卷积神经网络的树种识别计数方法。

技术介绍

[0002]树木在城市道路绿化与园林绿化中起着重要作用。树木作为道路功能的配套设施是十分必要的，它对于提高道路的服务质量、改善区域生态环境、消除噪音、净化空气、调节气候以及涵养水源、防御风沙都有重要作用。传统的树木树种识别计数在很大程度上仍需依靠人力，使得效率低、成本高且统计的正确性和完整性无法得到保证。
[0003]近年来，高光谱传感器已被集成到无人机中，无人机在运营成本和灵活性方面具有很大优势，无人机所拍摄的城市树木图片为树种识别提供了丰富的数据源。高光谱图像具有较高的光谱和空间分辨率，可以实现树种级别的分类。高光谱图像对树种的分类和映射可以转换为高光谱图像分类任务，对每个像素向量进行分类。许多方法被应用于高光谱图像分类任务，如支持向量机和随机森林。然而，这些方法只是利用高光谱图像每个像素的光谱特征进行分类，忽略了像素的邻域。
[0004]卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。目前已有相关工作使用卷积神经网络对树种进行识别分类。在卷积神经网络(CNN)中，较高层的信息更抽象，更具有任务特异性，因此人们通常关注全连接(FC)层特征，认为较低层特征的鉴别能力较弱，而没有考虑较低的层为图像表示提供的信息量。

技术实现思路

[0005]本专利技术所要解决的技术问题是克服现有技术不足而提供一种基于偏最小二乘法特征融合卷积神经网络的树木识别计数方法，对无人机提供的高光谱图像进行图像分割，获得单木树冠图像集，同时搭建基于偏最小二乘法特征融合卷积神经网络模型对树木树种进行识别计数。
[0006]为解决上述技术问题，本专利技术采用以下技术方案：
[0007]一种基于PLS特征融合卷积神经网络的树种识别分类计数方法，包括：
[0008]S100对树木的高光谱图像进行树冠识别，并将图像分割为若干个单木树冠图像；
[0009]S200建立偏最小二乘法PLS特征融合CaffeNet卷积神经网络，其结构为：
[0010]在CaffeNet卷积神经网络结构的基础上，在每个池化层后插入一个由1
×
1卷积层、非线性激活层、全局平均池化层组成的分支CNN进行特征提取；
[0011]第一个池化层、第二个池化层的分支CNN后连接第一PLS融合模块；第三个池化层的分支CNN和第二个全连接层后连接第二PLS融合模块，第一特征融合模块和第二特征融合模块连接第三PLS融合模块；
[0012]分别以高光谱图像的空间信息和光谱信息为输入获取第三PLS融合模块输出的特征融合结果，空间信息的特征融合结果和光谱信息的特征融合结果输入第四PLS融合模块；
[0013]第四特征融合模块后依次连接三个全连接层和分类器；
[0014]S300采集树木高光谱图像并人工标注树种，构建树木图像训练集和验证集，用于训练S200建立的PLS特征融合CaffeNet卷积神经网络；
[0015]S400以分割后的单木树冠图像作为输入，利用训练好的PLS特征融合CaffeNet卷积神经网络进行树木种类识别，并对识别的树木按种类计数。
[0016]作为一种优选的实施方式，利用搭载成像光谱仪的无人机从空中获取树木的高光谱图像。
[0017]作为一种优选的实施方式，利用Faster R
‑
CNN网络识别树木的树冠。
[0018]作为一种优选的实施方式，利用Faster R
‑
CNN网络识别树冠后，以目标边框标注每个树冠，以相邻边框间距的中点为界进行图像分割。
[0019]作为一种优选的实施方式，所述非线性激活层选用ReLU激活函数。
[0020]作为一种优选的实施方式，所述分支CNN特征提取流程如下：
[0021]池化层的输出结果输入1
×
1卷积层，输出结果如下：
[0022][0023]其中，b是分支序号，假设共B个分支，L是输出通道的数量，是权重；是第k个输入通道的特征，共K
(b)
个输入通道；
[0024]1×
1卷积层输出结果经非线性激活层进行单侧抑制后输入GAP层；
[0025]用表示Y
l(b)
的第(i,j)项；得到GAP层输出如下：
[0026][0027]令：
[0028][0029]该L维向量即为第b分支的输出。
[0030]作为一种优选的实施方式，所述第一PLS融合模块、第二PLS融合模块、第三PLS融合模块、第四PLS融合模块执行的PLS融合流程包括：
[0031]对浅层特征和深层特征分别给定数据矩阵；
[0032]对数据矩阵进行分解后找到最佳特征对；
[0033]建立所有特征投影向量构成的矩阵，将原始特征向量分别向两个子空间投影，将最高度协变的特征对添加到融合向量中，得到新特征，即PLS融合结果。
[0034]作为一种优选的实施方式，所述PLS融合流程如下：
[0035]取与进行PLS算法并行融合，其中R
p
指浅层特征的维度，R
q
指深层特征的维度；
[0036]对g
(i)
与g
(i+1)
分别给定数据矩阵ψ∈R
p
×
n
与其中假设中心变量ψ
T
和为零均值，利用S
uv
＝ψψ
T
与分别表示ψ与的协方差矩阵，其中u∈g
(i)
，v∈g
(i+1)
，根据下式(4)
‑
(7)对ψ与进行分解：
[0037][0038]ψ＝TP
T
+E
ꢀꢀꢀ
(5)
[0039][0040][0041]其中，p
i
和q
i
分别是加载向量，t
i
和u
i
分别是投影权值，T和U是n
×
l的矩阵，分别为ψ和的投影，P和Q分别是m
×
l和p
×
l的正交载荷矩阵，矩阵E和F是误差项，服从独立同分布的正态分布随机变量；
[0042]找到最佳特征对后，建立所有特征投影向量构成的矩阵，将原始特征向量分别向两个子空间投影，将最高度协变的特征对添加到融合向量中，得到新特征，即PLS融合结果。
[0043]作为一种优选的实施方式，对深层特征和浅层特征采用并行的方式融合。
[0044]作为一种优选的实施方式，所述分类器选用softmax分类器。
[0045]本专利技术的方法构建的模型可同时处理高光谱图像的光谱信息和空间信息，通过将高光谱图像的光谱特征和空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于PLS特征融合卷积神经网络的树种识别分类计数方法，其特征在于，包括：S100对树木的高光谱图像进行树冠识别，并将图像分割为若干个单木树冠图像；S200建立偏最小二乘法PLS特征融合CaffeNet卷积神经网络，其结构为：在CaffeNet卷积神经网络结构的基础上，在每个池化层后插入一个由1
×
1卷积层、非线性激活层、全局平均池化层组成的分支CNN进行特征提取；第一个池化层、第二个池化层的分支CNN后连接第一PLS融合模块；第三个池化层的分支CNN和第二个全连接层后连接第二PLS融合模块，第一特征融合模块和第二特征融合模块连接第三PLS融合模块；分别以高光谱图像的空间信息和光谱信息为输入获取第三PLS融合模块输出的特征融合结果，空间信息的特征融合结果和光谱信息的特征融合结果输入第四PLS融合模块；第四特征融合模块后依次连接三个全连接层和分类器；S300采集树木高光谱图像并人工标注树种，构建树木图像训练集和验证集，用于训练S200建立的PLS特征融合CaffeNet卷积神经网络；S400以分割后的单木树冠图像作为输入，利用训练好的PLS特征融合CaffeNet卷积神经网络进行树木种类识别，并对识别的树木按种类计数。2.根据权利要求1所述的方法，其特征在于，利用搭载成像光谱仪的无人机从空中获取树木的高光谱图像。3.根据权利要求1所述的方法，其特征在于，利用Faster R
‑
CNN网络识别树木的树冠。4.根据权利要求2所述的方法，其特征在于，利用Faster R
‑
CNN网络识别树冠后，以目标边框标注每个树冠，以相邻边框间距的中点为界进行图像分割。5.根据权利要求1所述的方法，其特征在于，所述非线性激活层选用ReLU激活函数。6.根据权利要求1所述的方法，其特征在于，所述分支CNN特征提取流程如下：池化层的输出结果输入1
×
1卷积层，输出结果如下：其中，b是分支序号，假设共B个分支，L是输出通道的数量，是权重；是第k个输入通道的特征，共K
(b)
个输入通道；1
×
1卷积层输出结果经非线性激活层进行单侧抑制后输入GAP层；用表示Y
l(b)
的第(i,j)项；得...

【专利技术属性】
技术研发人员：赖光聖，朱桂龙，王怡静，彭洁，阮磊杰，连跃泽，倪艺洋，陈书文，
申请(专利权)人：江苏第二师范学院，
类型：发明
国别省市：