一种基于改进SSD网络的果园障碍物实时检测方法技术

本发明专利技术公开一种基于改进SSD的果园障碍物实时检测方法，使用改进SSD深度学习目标检测方法对果园环境下的障碍物中进行识别，使用轻量化网络MobileNetV2作为SSD模型中的基础网络以减少提取图像特征过程所花费时间及运算量，辅助层以反向残差结构结合空洞卷积作为基础结构进行位置预测从而可以综合多尺度特征的同时避免下采样操作带来的信息损失，使用对应的图像数据集训练改进后的SSD目标检测模型，并把摄像头采集到的图像输入训练好的模型从而检测出目标位置，解决了传统障碍物检测算法中易受背景干扰、障碍物位置定位不准确以及难以实现同时进行多种障碍物类别检测等问题。

A Real-time Detection Method of Orchard Obstacles Based on Improved SSD Network

【技术实现步骤摘要】
一种基于改进SSD网络的果园障碍物实时检测方法
本专利技术属于计算机视觉、深度学习领域，具体涉及的是一种针对室外果园环境下移动机器人智能作业的障碍物检测方法。
技术介绍
农田障碍物的精确识别是无人农业车辆必不可少的关键技术之一随着精准农业理论的提出以及智能化机器人的发展，智能农业车辆的自动导航越来越受到国内外的关注。自主导航的农业车辆具有取代人工，提高作业效率，降低农业生产成本等特点。为了保证智能化车辆在无人工干预时在田间操作的安全性，必须有实时的障碍物检测。田间环境下的障碍物检测由于其复杂的自然环境、障碍物形态的多变性、光照等外部条件的大范围变化等，实施起来具有一定挑战性。在田间环境下，超声波传感器存在检测障碍物空间位置的准确性较差，易受干扰等缺点，虽然激光雷达传感器可以较直观地检测障碍物，但雷达系统的造价昂贵。计算机视觉检测相比于其他障碍物检测方法具有成本低、能够有效利用环境中的颜色与纹理信息等优点。本文采用计算机视觉方法结合深度学习进行无人农机自动作业过程中的行人障碍物检测，在目标检测领域，基于深度学习的方法准确率大大超过了传统的基于HOG、SIFT等人工设计特征的检测方法。基于深度学习的目标检测主要包括两类，一类是基于区域生成的卷积网络结构，代表性的网络为R-CNN系列(R-CNN,fastR-CNN,fasterR-CNN)；另一类是把目标位置的检测视作回归问题，直接利用CNN网络结构对整个图像进行处理，同时预测出目标的类别和位置，代表性的网络有YOLO、SSD(SingleShotMultiBoxDetector)等，其速度一般快于前一类方法。SSD目标检测模型由于不需要耗时的区域生成及特征重采样步骤，直接对整个图像进行卷积操作并预测出图像中所包含物体的类别及对应的坐标，从而极大提高了检测速度，同时通过使用小尺寸的卷积核、多尺度预测等使得目标检测的精度得到很大提升。SSD网络结构分为基础网络(basenetwork)和辅助网络(auxiliarynetwork)两部分：基础网络为一些典型的在图像分类领域具有很高分类精度的网络并去除其分类层；辅助网络为在基础网络基础上增加的用于目标检测的卷积网络结构，这些层的尺寸逐渐减小从而可以进行多尺度预测。SSD网络在检测速度和精度的综合性能上表现优异，其检测速度和精度有待于进一步提升，且需要减少其运算量以满足其在移动设备上部署运行的要求。
技术实现思路
本专利技术针对以上问题，使用轻量化网络MobileNetV2作为SSD模型中的基础网络以减少提取图像特征过程所花费时间及运算量，辅助层以反向残差结构结合空洞卷积作为基础结构进行位置预测从而可以综合多尺度特征的同时避免下采样操作带来的信息损失，以进行实时的障碍物检测并保证智能化车辆在无人工干预时在田间操作的安全性，减少深度学习模型的参数量和计算量从而可以降低深度学习模型对硬件的要求并且达到实时性以满足其在室外移动设备上的应用。本专利技术的技术方案为：一种基于改进SSD网络的果园障碍物实时检测方法，包括以下步骤：步骤1，构造关于果园环境的数据集并将数据集分为训练集和测试集；步骤2：在TensorFlow深度学习框架的基础上，搭建SSD网络目标检测模型，将MobileNetV2作为特征提取网络，对SSD的辅助层使用反向残差结构并结合空洞卷积作为基础卷积结构；步骤3：初始化网络模型中的参数得到预训练模型；步骤4：使用步骤1中的训练集和测试集，对预训练模型使用批量梯度下降算法进行训练，在训练过程中使用困难样本挖掘策略以增强模型判别假阳性的能力；步骤5：部署SSD网络目标检测模型，通过摄像头采集图像并送入SSD网络目标检测模型，并使用非极大值抑制算法去掉多余边界框，得到检测结果。进一步，步骤1的具体过程为：1.1)通过安装在相应果园农机上的摄像头上获取大量不同场景的果园环境下的视频图像获取大量果园环境下的视频，并按照7.5帧/秒抽取图片，将所有图片按照2:1:1比例分为训练集、验证集和测试集；1.2)对上述所有图像进行人工标注，标注的对象是所要检测的障碍物目标，具体的标注信息为图像中目标的类别和该目标的边界框的左上和右下的坐标值；1.3)对训练集的图像进行预处理，包括水平翻转和平移以增加样本数量同时也对标注信息进行对应的处理，并通过自适应直方图均衡化增加图像的质量，减少光照变化对图像的影响。进一步，步骤2中，所述的将MobileNetV2作为特征提取网络，对SSD的辅助层使用反向残差结构并结合空洞卷积作为基础卷积结构具体方法为：2.1)将MobileNetV2的用于分类的卷积层移去后留下特征提取层作为SSD的基础网络；2.2)以反向残差结构结合空洞卷积并应用层级特征融合策略解决空洞卷积所带来的计算不连续问题，从而作为辅助层的基本结构用于对基础网络提取出的特征进行位置及类别的检测。进一步，步骤3的具体方法为：3.1)在ImageNet大规模分类数据集上对MobileNetV2进行训练使其对达到较高的分类准确度；3.2)去掉MobileNetV2的分类卷积层，取其用于特征提取的卷积层参数赋值给SSD对应的特征提取层；3.3)对SSD辅助层各层参数使用以0为均值，0.01为标准差的高斯分布进行随机初始化。进一步，步骤4的具体方法为：4.1)批量梯度下降算法进行训练过程中使用的目标函数为：其中N是匹配的默认边界框的个数，当其中当N为0时，直接设置L为0，c为标注类别，l为预测的边界框，g为标注的边界框，Lloc为对应的位置预测的smoothL1误差，Lconf为对应的softmax多分类误差函数：其中：Pos为样本中的正例，cx,cy为预测框的中心点坐标，w为预测框的宽，h为预测框的高，为第几个预测框与第j个真实框关于类别K是否匹配，为预测框，为真实框其中：为预测框i与真实框j关于类别p是否匹配，Neg为样本中的负例，为预测框中没有物体，计算式为：其中：为目标第i个预测框中目标是第p个类别的概率。4.2)训练过程中先用初始的正负样本训练检测模型，然后使用训练出的模型对样本进行检测分类，把其中检测错误的那些样本继续放入负样本集合进行训练，从而可以加强模型判别假阳性的能力。进一步，步骤5的具体方法为：5.1)去除训练过程中所用到的用于防止过拟合的操作并固定网络参数已得到用于部署的SSD网络目标检测模型；5.2)通过摄像头采集图像并作为模型的输入，从而得到若干目标的类别置信度和边界框坐标；5.3)使用非极大值抑制算法去除多余的检测框，得到更准确的检测结果。进一步，非极大值抑制算法具体为：对于检测结果中所对应的置信度对检测结果进行按照置信度从高到低进行排序，并且计算出相应的重叠率，设置重叠率阈值为0.5，在检测结果具有高置信度和高重叠率阈值时采纳此检测结果。本方案的优点是：1)通过迁移学习技术，把MobileNetV2在Imagenet分类表现较好的参数移植到SSD的特征提取网络模型中，从而简化目标检测模型的训练过程并缩短训练时间。2)通过改进原始SSD的特征提取网络，使用更加轻量化的MobileNetV2网络模型进行特征提取，辅助层使用改进后的反向残差结构进行卷积运算，从而可以利用多特征信息并且减少运算量，从而提高模型检测的准确率本文档来自技高网...

【技术保护点】
1.一种基于改进SSD网络的果园障碍物实时检测方法，其特征是，包括以下步骤：步骤1，构造关于果园环境的数据集并将数据集分为训练集和测试集；步骤2：在TensorFlow深度学习框架的基础上，搭建SSD网络目标检测模型，将MobileNetV2作为特征提取网络，对SSD的辅助层使用反向残差结构并结合空洞卷积作为基础卷积结构；步骤3：初始化网络模型中的参数得到预训练模型；步骤4：使用步骤1中的训练集和测试集，对预训练模型使用批量梯度下降算法进行训练，在训练过程中使用困难样本挖掘策略以增强模型判别假阳性的能力；步骤5：部署SSD网络目标检测模型，通过摄像头采集图像并送入SSD网络目标检测模型，并使用非极大值抑制算法去掉多余边界框，得到检测结果。

【技术特征摘要】
1.一种基于改进SSD网络的果园障碍物实时检测方法，其特征是，包括以下步骤：步骤1，构造关于果园环境的数据集并将数据集分为训练集和测试集；步骤2：在TensorFlow深度学习框架的基础上，搭建SSD网络目标检测模型，将MobileNetV2作为特征提取网络，对SSD的辅助层使用反向残差结构并结合空洞卷积作为基础卷积结构；步骤3：初始化网络模型中的参数得到预训练模型；步骤4：使用步骤1中的训练集和测试集，对预训练模型使用批量梯度下降算法进行训练，在训练过程中使用困难样本挖掘策略以增强模型判别假阳性的能力；步骤5：部署SSD网络目标检测模型，通过摄像头采集图像并送入SSD网络目标检测模型，并使用非极大值抑制算法去掉多余边界框，得到检测结果。2.根据权利要求1所述的一种基于改进SSD网络的果园障碍物实时检测方法，其特征在于,步骤1的具体过程为：1.1)通过安装在相应果园农机上的摄像头上获取大量不同场景的果园环境下的视频图像获取大量果园环境下的视频，并按照7.5帧/秒抽取图片，将所有图片按照2:1:1比例分为训练集、验证集和测试集；1.2)对上述所有图像进行人工标注，标注的对象是所要检测的障碍物目标，具体的标注信息为图像中目标的类别和该目标的边界框的左上和右下的坐标值；1.3)对训练集的图像进行预处理，包括水平翻转和平移以增加样本数量同时也对标注信息进行对应的处理，并通过自适应直方图均衡化增加图像的质量，减少光照变化对图像的影响。3.根据权利要求1所述的一种基于改进SSD网络的果园障碍物实时检测方法，其特征在于,步骤2中，所述的将MobileNetV2作为特征提取网络，对SSD的辅助层使用反向残差结构并结合空洞卷积作为基础卷积结构具体方法为：2.1)将MobileNetV2的用于分类的卷积层移去后留下特征提取层作为SSD的基础网络；2.2)以反向残差结构结合空洞卷积并应用层级特征融合策略解决空洞卷积所带来的计算不连续问题，从而作为辅助层的基本结构用于对基础网络提取出的特征进行位置及类别的检测。4.根据权利要求1所述的一种基于改进SSD网络的果园障碍物实时检测方法，其特征在于，步骤3...

【专利技术属性】
技术研发人员：刘慧，张礼帅，沈跃，吴边，张健，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32