一种基于神经网络的城市森林三维结构监测方法技术

一种基于神经网络的城市森林三维结构监测方法，本发明专利技术涉及基于神经网络的城市森林三维结构监测方法。本发明专利技术的目的是为了解决现有方法对城市森林中各类景观植物的分类识别准确率低，需要的人力、物力大，更新速度慢且无法实现大范围的动态监测的问题。过程为：步骤一、采集无人机拍摄城市森林的图像数据集和相对应的类别标签文件数据集，组成样本数据集；步骤二、建立神经网络模型；步骤三、将步骤一的样本数据集输入到建立的神经网络模型中，得到最优网络模型；步骤四、向最优网络模型中输入待测城市森林的图像数据进行分类预测，获得城市森林的图像的类别，类别为植物名称、植物所属城市、植物所属月份。本发明专利技术用于城市森林监测领域。领域。领域。

【技术实现步骤摘要】
Normalization)、ReLU激活函数、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积；
[0016]所述预测网络包括包括3
×
3卷积层、3
×
3可变形卷积层、1
×
1卷积层；
[0017]非局部特征提取网络包括3D卷积、BN、Relu、3D卷积、BN、Relu、3D卷积、BN、Relu、三维深度卷积、BN、Relu、三维逐点卷积、BN、Relu、三维逐点卷积、BN、Relu；三维逐点卷积、BN、Relu、变形和压缩操作。
[0018]优选地，所述步骤三中将步骤一的样本数据集输入到建立的神经网络模型中，得到最优网络模型；具体过程为：
[0019]步骤三一：利用特征提取网络对步骤一中的训练集进行特征提取，得到特征图；
[0020]步骤三二：利用非局部特征提取网络对特征图进行非局部特征提取，输出非局部特征；
[0021]步骤三三：利用预测网络对特征图上的每个元素预测一组关键点；将关键点转化为边界框，在特征图上提取边界框对应的感兴趣区域局部特征；
[0022]步骤三四：将局部特征和非局部特征进行拼接，输出融合后特征；
[0023]步骤三五：利用自适应知识过滤器对融合后特征进行处理，获得自适应知识过滤器输出特征；
[0024]步骤三六、将自适应知识过滤器输出特征输入分类层进行分类；
[0025]步骤三七、获得训练好的最优网络模型。
[0026]优选地，所述步骤三一中利用特征提取网络1对步骤一的样本数据集进行特征提取，得到特征图；具体过程为：
[0027]所述特征提取网络1依次包括输入层、7
×
7标准卷积层，批量归一化、ReLU激活函数、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积；
[0028]所述利用特征提取网络1对步骤一的样本数据集进行特征提取；具体过程为：
[0029]步骤一的样本数据依次经特征提取网络1的输入层、7
×
7标准卷积层，批量归一化、ReLU激活函数、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积输出特征图。
[0030]优选地，所述步骤三二中利用非局部特征提取模块对特征图进行非局部特征提取，输出非局部特征；具体过程为：
[0031]非局部特征提取模块包括3D卷积、BN、Relu、3D卷积、BN、Relu、3D卷积、BN、Relu、三维深度卷积、BN、Relu、三维逐点卷积、BN、Relu、三维逐点卷积、BN、Relu；三维逐点卷积、BN、Relu、变形和压缩操作；
[0032]特征图依次经过3D卷积、BN、Relu得到特征A；
[0033]特征A依次经过3D卷积、BN、Relu得到特征B；
[0034]特征A和特征B依次经过3D卷积、BN、Relu得到特征C；
[0035]特征A、特征B和特征C依次经过三维深度卷积、BN、Relu、三维逐点卷积、BN、Relu得到特征D；
[0036]特征A、特征B、特征C和特征D依次经过三维逐点卷积、BN、Relu得到特征E；
[0037]特征E依次经过三维逐点卷积、BN、Relu、变形和压缩操作，得到特征F。
[0038]优选地，所述步骤三三中利用预测网络对特征图上的每个元素预测一组关键点；具体过程为：
[0039]所述预测网络包括包括3
×
3卷积层、3
×
3可变形卷积层、1
×
1卷积层；
[0040]将特征图提取网络1提取的特征图输入预测网络的3
×
3卷积层进行非线性变换，对输出的新特征图分别送入两个支路；
[0041]其中一个支路负责输出新特征图的每个元素的分类预测分数，新特征图先通过3
×
3的可变形卷积以自适应调整卷积采样位置，而后通过1
×
1卷积进行降维，输出结果的通道数量为1，输出结果的每个元素代表在新特征图对应位置的像素点为前景实例的分类概率大小；
[0042]另一个支路负责输出新特征图上每个元素对应实例的9个关键点坐标，新特征图先通过3
×
3的可变形卷积，后通过1
×
1卷积进行降维，输出通道数量为18，输出结果的每个元素代表在新特征图对应位置的像素点预测实例的9个关键点对应在步骤一的源域的植物图像的横、纵坐标值；
[0043]其中，3
×
3和1
×
1表示卷积核的尺寸大小。
[0044]得到特征图提取网络1提取的特征图上所有元素的关键点；
[0045]每个元素预测一组关键点，数量为9；
[0046]每个元素输出9个点的坐标，每个点坐标有横轴和纵轴两个值，因此一共18个值，所以输出通道数量是18。
[0047]优选地，所述将关键点转化为边界框，在特征图上提取边界框对应的感兴趣区域局部特征；具体过程为：
[0048]一、对关键点进行转化，将关键点转变为边界框，过程为：
[0049]每个元素预测一组关键点，数量为9，关键点集为：
[0050][0051]其中，n＝9代表关键点的数量(每个元素的)，(x
i
,y
i
)为第i个关键点坐标，为关键点集；
[0052]计算关键点集中x
i
和y
i
的均值和方差，假设x
i
的均值和方差分别为x
′
和y
i
的均值和方差分别为y
′
和则边界框中心点坐标为(x
′
,y
′
)，边界框的宽w和高h分别为：
[0053][0054][0055]其中λ
w
和λ
h
分别为可学习的调制参数；
[0056]因此得到边界框的左上角和右下角的点坐标分别为和作为候选框坐标值；
[0057]二、
[0058](1)先将候选框坐标值和从步骤一的样本数据映射到
特征图；
[0059]将候选框坐标值和都除本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的城市森林三维结构监测方法，其特征在于：所述方法具体过程为：步骤一、采集无人机拍摄城市森林的图像数据集和相对应的类别标签文件数据集，组成样本数据集；所述城市森林的图像数据集对应的类别标签为植物名称、城市森林植物所属城市、城市森林植物所属月份；步骤二、建立神经网络模型；步骤三、将步骤一的样本数据集输入到建立的神经网络模型中，得到最优网络模型；步骤四、向最优网络模型中输入待测城市森林的图像数据进行分类预测，获得城市森林的图像的类别，类别为植物名称、植物所属城市、植物所属月份。2.根据权利要求1所述的一种基于神经网络的城市森林三维结构监测方法，其特征在于：所述步骤二中建立神经网络模型；具体过程为：神经网络模型包括：特征提取网络、预测网络、非局部特征提取网络；所述特征提取网络依次包括输入层、7
×
7标准卷积层，批量归一化(Batch Normalization)、ReLU激活函数、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积；所述预测网络包括包括3
×
3卷积层、3
×
3可变形卷积层、1
×
1卷积层；非局部特征提取网络包括3D卷积、BN、Relu、3D卷积、BN、Relu、3D卷积、BN、Relu、三维深度卷积、BN、Relu、三维逐点卷积、BN、Relu、三维逐点卷积、BN、Relu；三维逐点卷积、BN、Relu、变形和压缩操作。3.根据权利要求2所述的一种基于神经网络的城市森林三维结构监测方法，其特征在于：所述步骤三中将步骤一的样本数据集输入到建立的神经网络模型中，得到最优网络模型；具体过程为：步骤三一：利用特征提取网络对步骤一中的训练集进行特征提取，得到特征图；步骤三二：利用非局部特征提取网络对特征图进行非局部特征提取，输出非局部特征；步骤三三：利用预测网络对特征图上的每个元素预测一组关键点；将关键点转化为边界框，在特征图上提取边界框对应的感兴趣区域局部特征；步骤三四：将局部特征和非局部特征进行拼接，输出融合后特征；步骤三五：利用自适应知识过滤器对融合后特征进行处理，获得自适应知识过滤器输出特征；步骤三六、将自适应知识过滤器输出特征输入分类层进行分类；步骤三七、获得训练好的最优网络模型。4.根据权利要求3所述的一种基于神经网络的城市森林三维结构监测方法，其特征在于：所述步骤三一中利用特征提取网络1对步骤一的样本数据集进行特征提取，得到特征图；具体过程为：所述特征提取网络1依次包括输入层、7
×
7标准卷积层，批量归一化、ReLU激活函数、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积；所述利用特征提取网络1对步骤一的样本数据集进行特征提取；具体过程为：
步骤一的样本数据依次经特征提取网络1的输入层、7
×
7标准卷积层，批量归一化、ReLU激活函数、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积、1
×
1卷积、3
×
3卷积、1
×
1卷积输出特征图。5.根据权利要求4所述的一种基于神经网络的城市森林三维结构监测方法，其特征在于：所述步骤三二中利用非局部特征提取模块对特征图进行非局部特征提取，输出非局部特征；具体过程为：非局部特征提取模块包括3D卷积、BN、Relu、3D卷积、BN、Relu、3D卷积、BN、Relu、三维深度卷积、BN、Relu、三维逐点卷积、BN、Relu、三维逐点卷积、BN、Relu；三维逐点卷积、BN、Relu、变形和压缩操作；特征图依次经过3D卷积、BN、Relu得到特征A；特征A依次经过3D卷积、BN、Relu得到特征B；特征A和特征B依次经过3D卷积、BN、Relu得到特征C；特征A、特征B和特征C依次经过三维深度卷积、BN、Relu、三维逐点卷积、BN、Relu得到特征D；特征A、特征B、特征C和特征D依次经过三维逐点卷积、BN、Relu得到特征E；特征E依次经过三维逐点卷积、BN、Relu、变形和压缩操作，得到特征F。6.根据权利要求5所述的一种基于神经网络的城市森林三维结构监测方法，其特征在于：所述步骤三三中利用预测网络对特征图上的每个元素预测一组关键点；具体过程为：所述预测网络包括包括3
×
3卷积层、3
×
3可变形卷积层、1
×
1卷积层；将特征图提取网络1提取的特征图输入预测网络的3
×
3卷积层进行非线性变换，对输出的新特征图分别送入两个支路；其中一个支路负责输出新特征图的每个元素的分类预测分数，新特征图先通过3
×
3的可变形卷积以自适应调整卷积采样位置，而后通过1
×
1卷积进行降维，输出结果的通道数量为1，输出结果的每个元素代表在新特征图对应位置的像素点为前景实例的分类概率大小；另一个支路负责输出新特征图上每个元素对应实例的9个关键点坐标，新特征图先通过3
×
3的可变形卷积，后通过1
×
1卷积进行降维，输出通道数量为18，输出结果的每个元素代表在新特征图对应位置的像素点预测实例的9个关键点对应在步骤一的源域的植物图像的横、纵坐标值；其中，3
×
3和1
×
1表示卷积核的尺寸大小；得到特征图提取网络1提取的特征图上所有元素的关键点；每个元素预测一组...

【专利技术属性】
技术研发人员：王蕾，姚允龙，王成，陈洋，崔鹏，杨朝斌，翟雅琳，贾佳，李若楠，张心语，陈媛媛，荆忠伟，
申请(专利权)人：东北林业大学，
类型：发明
国别省市：