一种基于目标检测的果园可行驶区域的划分方法技术

本发明专利技术具体涉及一种基于目标检测的果园可行驶区域的划分方法，包括：利用农机所搭载的ZED2深度相机进行数据采集；利用程序对图像进行预处理，构建数据集；基于Pytorch框架搭建CenterNet目标检测模型，构建具有若干个左右树干关键点的目标检测模型；基于数据集对目标检测模型进行训练，得到训练成功的目标检测模型；将待检测果园行间图像输入训练成功的目标检测模型，基于模型输出实现果园可行驶区域的划分。本发明专利技术能够提高可行驶区域划分的准确性，同时保证了模型训练效果和精度，从而为果园可行驶区域的划分提供了另一种可行的实现方式。方式。方式。

【技术实现步骤摘要】
一种基于目标检测的果园可行驶区域的划分方法


[0001]本专利技术涉及果园可行驶区域划分
，具体涉及一种基于目标检测的果园可行驶区域划分方法。

技术介绍

[0002]我国是水果生产大国，并且一直处于增长的状态。长期以来，果园主要靠人工进行种植、施肥、打药和采摘等工作，劳动强度极大，工作环境恶劣，人力劳动成本也不断升高。随着深度学习和科学的发展，我国正朝着“精准农业”发展，果园也朝着无人化、智能化发展。自主导航作为智能农机装备的关键技术之一，可以提高农机在果园作业的效率。目前在低成本、信息损失少和探测范围光等优点下，视觉导航广泛应用于无人驾驶当中。实现农机的无人驾驶该技术在于进行可行驶区域的划分，该技术主要是通过传统的图像处理方法对图像像素进行处理，实现图像分割，随着发展，深度学习技术也被引入图像分割中，但由于果园环境收光照、季节等的影响，基于像素的处理方式受影响较大，这一问题急需解决。

技术实现思路

[0003]技术问题：本专利技术的目的在于克服现有技术的缺点和不足，提供一种基于目标检测的果园可行驶区域的划分方法，基于Centernet深度学习模型检测到果园行间两侧的树干的位置信息，在树干位置的基础上完成果园可行驶区域的划分，通过目标检测的方法解决了受像素影响的问题，提高了可行驶区域划分的准确性，为视觉导航任务提供有效的基础参考。
[0004]技术方案：本专利技术的目的通过以下技术方案实现：一种基于目标检测的果园可行驶区域划分方法，包括以下步骤：
[0005]S1，利用农机所搭载的ZED2深度相机进行数据采集；
[0006]S2,利用程序对步骤1所采集的图像进行预处理，构建数据集；
[0007]S3,基于Pytorch框架搭建CenterNet目标检测模型，构建具有若干个左右树干关键点的目标检测模型；
[0008]S4,基于数据集对目标检测模型进行训练，得到训练成功的目标检测模型；
[0009]S5，将待检测果园行间图像输入训练成功的目标检测模型，基于模型输出实现果园可行驶区域的划分。
[0010]作为本专利技术进一步的方案，所述S1是将ZED2深度相机与笔记本电脑连接，将其固定于农机前方中间位置，农机匀速行驶采集视频，并将视频存储于电脑中；然后利用ffmpeg进行处理得到单帧图像，最后进行图像删选，剔除模糊、只包含单侧树干和不含树干的样本，得到原始图像。
[0011]作为本专利技术进一步的方案，所述S2是利用labelme软件进行数据标注，对果树左右两侧各个树干进行关键点标注，包括树干的左上角、右下角和中心位置，并定义相关标签为树干，生成对应的标签图像；然后对原始图像和标签图像进行数据增强，包括光照处理、噪
声处理和所有处理后的所有的图像的水平翻转处理，得到预处理后的图像；最后基于预处理推向制作数据集。
[0012]作为专利技术进一步的方案，所述S3的步骤包括：
[0013]所述基于Pytorch搭建CenterNet目标检测模型，以ResNet18为主干特征提取网络提取图片特征，然后通过反卷积模块Deconv(包括三个反卷积)对特征图进行上采样，最后通过三个分支卷积网络用来预测heatmap，目标的宽高和目标的中心点坐标；其中数据集划分为训练集和测试集，以7:3或9:1划分，训练集图像应大于500张；
[0014]所述构建具有若干个左右树干关键点的检测模型，其中关键点位置设计在图像左右各个树干的左上角、右下角和中心位置。
[0015]作为专利技术进一步地方案，所述S4的步骤包括：
[0016]目标检测模型的左右两侧树干的关键点位置与标注的关键点位置接近重合，即目标检测模型的上部1/3区域与第一个非树干接触时完成可用于训练的树干关键点信息的提取。
[0017]基于左右各个树干的关键点信息提取结果结合对应训练图像的训练标注图像生成训练目标检测模型的训练损失函数；训练损失函数LOSS包括heatmap的损失，目标长宽损失，目标中心点偏移损失；
[0018]训练时，将训练集图像输入检测模型，通过左右两侧的标注树干的关键点提取训练图像中的树干信息；然后基于各个树干检测的目标信息提取结果结合对应训练图像的训练标注图像对目标检测模型进行训练；通过不断调整模型内的参数，直到损失函数LOSS达到最小值，此时得到训练成功的目标检测模型。
[0019]作为专利技术进一步地方案，所述S5的步骤包括：
[0020]基于测试集和实际拍摄的其他图像，利用训练成功的目标检测模型对目标进行检测；
[0021]检测时，此时特征提取网络中的参数即为训练模型的参数，提取最优的果园行间图像中的树干信息，此时模型的LOSS收敛，即为最优，特征信息输入至目标检测模型，输出图像的heatmap，热图峰值即为目标中心点的位置，同时输出目标的宽高和目标的中心点偏移信息；
[0022]通过输出的左右两侧树干的中心点位置信息，将左右两侧通过最小二乘拟合法拟合得到两侧直线，得到果园行间左右两侧的边界线，边界线之间的2/3区域即为可行驶区域。
[0023]有益效果：与现有技术相比，本专利技术的有益效果是：本专利技术与图像分割方法和语义分割等方法相比，运行速率相差不大，满足了对于果园环境复杂性和多变性的要求，有效地提高了可行驶区域划分的准确性。
附图说明
[0024]为了使专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术做进一步的详细描述，其中：
[0025]图1为果园可行驶区域检测方法的逻辑框图；
[0026]图2为训练标注图像的示意图，其中的序号1，2，3表示树干标注的关键点。
具体实施方式
[0027]下面通过具体实施方式进一步详细的说明：
[0028]在实施之前需要一定的设备基础，具体设备如下表所示：
[0029][0030]本专利技术公开了一种基于目标检测的果园可行驶区域的划分方法，包括以下步骤：
[0031]S1，利用农机所搭载的ZED2深度相机进行数据采集；
[0032]S2,利用程序对步骤1所采集的图像进行预处理，构建数据集；
[0033]S3,基于Pytorch框架搭建CenterNet目标检测模型，构建具有若干个左右树干关键点的目标检测模型；
[0034]S4,基于数据集对目标检测模型进行训练，得到训练成功的目标检测模型；
[0035]S5，将待检测果园行间图像输入训练成功的目标检测模型，基于模型输出实现果园可行驶区域的划分。
[0036]本专利技术通过训练图像和对应训练标注图像对CenterNet目标检测模型进行训练，使得能够通过果园行间左右两侧树干的目标信息并进行可行驶区域的划分，进而能够将现有技术的果园的图像分割或语义分割转变为更为简单的果园左右两侧树干检测。与现有的对图像全像素级的分割方式相比，本专利技术能够极大的降低计算复杂度，能使能够保证模型的训练效果和检测精度，提高检测的准确性。本专利技术为果园可行驶区域的划分提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的果园可行驶区域划分方法，其特征在于，包括：S1，利用农机所搭载的ZED2深度相机进行图像采集；S2,利用程序对步骤S1所采集的图像进行预处理，构建数据集；S3,基于Pytorch框架搭建CenterNet目标检测模型，构建具有若干个左右树干关键点的目标检测模型；S4,基于数据集对目标检测模型进行训练，得到训练成功的目标检测模型；S5，将待检测果园行间图像输入训练成功的目标检测模型，基于模型输出实现果园可行驶区域的划分。2.根据权利要求1所述的一种基于目标检测的果园可行驶区域划分方法，其特征在于，所述步骤S1包括：S101，连接ZED2深度相机和笔记本电脑，在农机匀速行驶过程中采集图像，并将图像存储于电脑中；S102，将采集的视频利用ffmpeg进行处理得到单帧的图像，生成图像样本库；S103，对样本库进行删选，剔除模糊、只包含单侧树干和不含树干的样本，得到原始样本。3.根据权利要求所述的一种基于目标检测的果园可行驶区域划分方法，其特征在于，所述步骤S2包括：S201，使用lableme软件对原始样本图像进行标注，将每一张图像中的左右各个树干的左上角、右下角和树干中心进行标注，并标明类别树干，生成对应的标签图像；S202，对标签图像和原始图像做数据增强处理，包括光照处理，增加噪声处理和处理后的所有图像进行水平翻转，得到预处理后的图像；S203，基于预处理图像，随机选取制作果园的数据集。4.根据权利要求1所述的一种基于目标检测的果园可行驶区域划分方法，其特征在于，所述步骤S3包括：S301，在linux下ubuntu中，基于Pytorch搭建CenterNet目标检测模型，设置模型的自定义参数；S302,目标检测模型的关键点位置设计在图像左右两侧各个树干的左上角、右下角和中心；S303，目...

【专利技术属性】
技术研发人员：陈熙源，杨思元，
申请(专利权)人：东南大学，
类型：发明
国别省市：