一种基于改进ResNet-UNet网络的立木图像分割方法技术

本发明专利技术公开了一种基于改进ResNet‑UNet网络的立木图像分割方法，首先对采集的原始立木图像进行预处理；然后将预处理后的原始立木图像输入改进后的ResNet‑UNet网络模型，得到初步的立木分割图；再对该初步的立木分割图进行后期处理，依据改进后ResNet‑UNet网络模型的训练精度，对所述初步的立木分割图设定动态阈值，并为前景背景赋值；然后输入惩罚奖励机制，实现立木图像的二值化分割，得到高质量的立木分割图。上述方法能够解决现有技术分割立木图像精度低的问题，有效提高立木图像分割的质量，实现立木图像中单目标立木的精确分割。

A tree image segmentation method based on improved RESNET UNET network

【技术实现步骤摘要】
一种基于改进ResNet-UNet网络的立木图像分割方法
本专利技术涉及立木图像处理
，尤其涉及一种基于改进ResNet-UNet网络的立木图像分割方法。
技术介绍
目前，立木图像分割用于分析图像中的目标立木，为后续的深度信息重建、测树因子提取等任务提供更有意义、更便于计算机识别的图像信息，提高立木分割图像的质量是森林资源信息化的重要内容，但不同品种的立木纹理、颜色、形态等存在较大差异，森林中立木的生长环境复杂，立木树冠之间相互遮挡，光照不均匀且不断变化，获取准确的立木分割图像变得非常困难。现有技术方案存在基于颜色特征和纹理特征，利用K-means聚类和超像素聚类的方法分割植物病害图像，由于依据前景和背景的特征差异进行分割，分割立木图像时极易产生噪声；同时通过不断的探索和改进，现有技术逐渐形成了基于图论和基于数学形态学的立木图像分割方法，但这些方法的不足在于缺少分割立木整体图像的理论和运用，分割立木图像的精度也较低，无法为后期图像处理提供支持。
技术实现思路
本专利技术的目的是提供一种基于改进ResNet-UNet网络的立木图像分割方法，该方法能够解决现有技术分割立木图像精度低的问题，有效提高立木图像分割的质量，实现立木图像中单目标立木的精确分割。本专利技术的目的是通过以下技术方案实现的：一种基于改进ResNet-UNet网络的立木图像分割方法，所述方法包括：步骤1、首先对采集的原始立木图像进行预处理；步骤2、然后将预处理后的原始立木图像输入改进后的ResNet-UNet网络模型，得到初步的立木分割图；步骤3、再对该初步的立木分割图进行后期处理，依据改进后ResNet-UNet网络模型的训练精度，对所述初步的立木分割图设定动态阈值，并为前景背景赋值，输入惩罚奖励机制，实现立木图像的二值化分割，最后得到高质量的立木分割图。由上述本专利技术提供的技术方案可以看出，上述方法能够解决现有技术分割立木图像精度低的问题，有效提高立木图像分割的质量，实现立木图像中单目标立木的精确分割。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的基于改进ResNet-UNet网络的立木图像分割方法流程示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。下面将结合附图对本专利技术实施例作进一步地详细描述，如图1所示为本专利技术实施例提供的基于改进ResNet-UNet网络的立木图像分割方法流程示意图，所述方法包括：步骤1、首先对采集的原始立木图像进行预处理；在该步骤中，预处理过程具体为：首先对采集的原始立木图像进行分辨率统一和灰度化处理，以提高分割的效率；采用随机旋转、镜像、按比例随机缩放的方式对原始立木图像的样本数据量进行扩充；并从扩充后的样本中随机挑选60％作为训练集、20％作为验证集、20％作为测试集。具体实现过程中，上述原始立木图像的采集可以在白天自然环境下使用iphone6splus手机相机拍摄，在不同光照条件，共采集了樟树、枫树以及其他园艺树种等395幅不同特征的立木图片，每幅图像的尺寸均为1920×1080像素。步骤2、然后将预处理后的原始立木图像输入改进后的ResNet-UNet网络模型，得到初步的立木分割图；在该步骤中，所述改进后的ResNet-UNet网络模型使用ResNet-34作为特征提取前端，同时利用UNet网络的设计思路，采用上采样和特征复制拼接还原图像分辨率，具体过程为：在特征提取部分，首先将得到的尺寸为512×512预处理后的原始立木图像输入ResNet-34网络的特征提取模块，使用独立卷积结构和卷积残差结构、去除ResNet-34的平均池化和全连接层；为了将ResNet与U-Net网络有机融合，ResNet-UNet网络特征提取的最后一个残差模块操作的卷积通道数与ResNet-34的最后一层的卷积通道数保持一致；仿照U-Net模型的设计思路，利用上采样对图像进行插值，以还原图像分辨率；使用特征复制拼接操作将特征提取部分和上采样部分相同尺度的特征进行拼接融合；每次特征复制拼接后都依次进行3×3的卷积、批正则化和ReLu修正线性单元操作，重复两次；上采样部分的终层卷积使用Sigmoid目标分类函数，以提高学习效率、保证分类的准确率；最后使用非局部操作引入全局信息，并使用1×1的卷积层和上采样操作得到初步的立木分割图。另外，上述改进后的ResNet-UNet网络的训练方法具体为：采用Adam一阶优化算法代替随机梯度下降法，初始学习率为0.001，学习率衰减因子通过计算梯度的一阶矩估计和二阶矩估计自适应得到，并依据训练数据自动迭代更新网络权重，共迭代15000次。在训练时，由于立木图像特征不明显，目标前景的特征面积不断变化，本实例采用diceloss非线性损失函数与BCEloss相结合的方法，代替了常用二进制交叉熵损失函数(binarycrossentropyloss，BCEloss)，在关注整体图像的损失度的前提下，更注重目标物的损失度变化，从而避免特征面积对分割精度的影响，其中：diceloss损失函数损失率loss的公式如下：bceloss损失函数损失率loss的公式如下：dice_bce_loss损失函数损失率loss的公式如下：dice_bce_loss＝bce_loss-log(1-dice_loss)步骤3、再对该初步的立木分割图进行后期处理，依据改进后ResNet-UNet网络模型的训练精度，对所述初步的立木分割图设定动态阈值，并为前景背景赋值，输入惩罚奖励机制，实现立木图像的二值化分割，得到高质量的立木分割图。在该步骤中，首先对该初步的立木分割图进行后期处理：由于在一定范围内，训练次数越多模型拟合效果越好、损失度越低；但超过该范围模型会出现过拟合现象，增加训练次数可能导致损失度不变或上升。由于训练次数的范围不易准确地被人为界定，预测最终结果可能会产生过分割现象。为避免分割最终结果对预测最终结果的过分依赖，后期处理方法通过对训练N次的结果设定动态阈值并给前景背景赋值，然后依据训练精度设定惩奖权重，最后利用形态学的腐蚀膨胀开闭操作平滑立木边缘，从而实现立木图像的二值化分割，具体来说：(1)设定动态阈值：在该步骤中，由于受光照环境等因素的影响，使用同一模型预测不同立木图片时前景、背景颜色深浅不一，所本文档来自技高网...

【技术保护点】
1.一种基于改进ResNet-UNet网络的立木图像分割方法，其特征在于，所述方法包括：/n步骤1、首先对采集的原始立木图像进行预处理；/n步骤2、然后将预处理后的原始立木图像输入改进后的ResNet-UNet网络模型，得到初步的立木分割图；/n步骤3、再对该初步的立木分割图进行后期处理，依据改进后ResNet-UNet网络模型的训练精度，对所述初步的立木分割图设定动态阈值，并为前景背景赋值，输入惩罚奖励机制，实现立木图像的二值化分割，最后得到高质量的立木分割图。/n

【技术特征摘要】
1.一种基于改进ResNet-UNet网络的立木图像分割方法，其特征在于，所述方法包括：
步骤1、首先对采集的原始立木图像进行预处理；
步骤2、然后将预处理后的原始立木图像输入改进后的ResNet-UNet网络模型，得到初步的立木分割图；
步骤3、再对该初步的立木分割图进行后期处理，依据改进后ResNet-UNet网络模型的训练精度，对所述初步的立木分割图设定动态阈值，并为前景背景赋值，输入惩罚奖励机制，实现立木图像的二值化分割，最后得到高质量的立木分割图。


2.根据权利要求1所述基于改进ResNet-UNet网络的立木图像分割方法，其特征在于，在步骤1中，预处理过程具体为：
首先对采集的原始立木图像进行分辨率统一和灰度化处理，以提高分割的效率；
采用随机旋转、镜像、按比例随机缩放的方式对原始立木图像的样本数据量进行扩充；
并从扩充后的样本中随机挑选60％作为训练集、20％作为验证集、20％作为测试集。


3.根据权利要求1所述基于改进ResNet-UNet网络的立木图像分割方法，其特征在于，在步骤2中，所述改进后的ResNet-UNet网络模型使用ResNet-34作为特征提取前端，同时利用UNet网络的设计思路，采用上采样和特征复制拼接还原图像分辨率，具体过程为：
在特征提取部分，首先将得到的尺寸为512×512预处理后的原始立木图像输入ResNet-34网络的特征提取模块，使用独立卷积结构和卷积残差结构、去除ResNet-34的平均池化和全连接层；其中，为了将ResNet与U-Net网络有机融合，ResNet-UNet网络特征提取的最后一个残差模块操作的卷积通道数与ResNet-34的最后一层的卷积通道数保持一致；
仿照U-Net模型的设计思路，利用上采样对图像进行插值，以还原图像分辨率；使用...

【专利技术属性】
技术研发人员：徐爱俊，仝真，
申请(专利权)人：浙江农林大学，
类型：发明
国别省市：浙江;33