一种基于改进DeepLab的果园场景多类别实时分割方法技术

本发明专利技术公开一种基于改进DeepLab的果园场景多类别实时分割方法，涉及语义分割和计算机视觉领域。首先选择数据集；构建一种基于DeepLab模型的改进模型，使用改进的轻量化网络MobileNetV3作为网络主干，用来对图像的特征提取，可以减少网络模型的计算量和运算时间；采用可变形的HDC(Hybrid Dilated Convolution，混合扩张卷积)代替原有的空洞卷积，可以有效缓解空间信息丢失问题，避免了网格效应，对改进后的模型进行训练和验证，采用新的果园场景图像，作为输入送至改进后的模型检测，通过DenseCRF(dense conditional random field)的后处理得到最终的分割结果。本发明专利技术对果园环境下的多类别目标进行实时分割检测，有利于无人农机在果园的安全运行和人员安全。

A real-time segmentation method of orchard scene based on improved deeplab

【技术实现步骤摘要】
一种基于改进DeepLab的果园场景多类别实时分割方法
本专利技术涉及计算机视觉、深度学习语义分割领域，具体涉及的是果园场景图像采集和图像语义分割方法。
技术介绍
图像语义分割是人工智能领域中的一个重要分支，是机器视觉技术中关于图像理解的重要一环，语义分割的应用领域广泛，如自动驾驶，人机交互和医学图像分割等。随着信息化与智能化的快速发展，现代农业集机械化、信息化、智能化于一体，解放了大量劳动力，有利于实现优质、高产、低耗和环保的可持续发展。图像语义分割在智能农机导航和农业场景感知等方面起到了重要的作用，林果园内的复杂环境对智能农机的运作带来严峻的挑战，那么对障碍物的精准识别显得尤为重要。林果园内包含植株和行人、草垛、电线杆等障碍物，本专利技术所涉及的林果园场景的实时分割，对果园内植株等障碍物进行精准的分割，保证了智能化无人农机的安全作业。在语义分割领域，基于深度学习的方法的精度远高于经典的灰度分割、条件随机场等分割方法。基于深度学习的方法有FCN、U-Net、DeepLab等方法。DeepLab方法采用了空洞卷积，虽然在不增加参数数量的本文档来自技高网...

【技术保护点】
1.一种基于改进DeepLab的果园场景多类别实时分割方法，其特征在于，包括如下步骤：/n步骤1：构建果园场景下多类别图像的数据集；/n步骤2：在TensorFlow深度学习框架上，搭建基于改进DeepLab的语义分割模型；/n步骤3：将模型中的参数初始化以得到预训练模型；/n步骤4：通过步骤1中的数据集对所建立的模型进行训练；/n步骤5：采用ZED双目立体相机拍摄新的果园场景图像，并输入至语义分割模型检测和识别。/n

【技术特征摘要】
1.一种基于改进DeepLab的果园场景多类别实时分割方法，其特征在于，包括如下步骤：
步骤1：构建果园场景下多类别图像的数据集；
步骤2：在TensorFlow深度学习框架上，搭建基于改进DeepLab的语义分割模型；
步骤3：将模型中的参数初始化以得到预训练模型；
步骤4：通过步骤1中的数据集对所建立的模型进行训练；
步骤5：采用ZED双目立体相机拍摄新的果园场景图像，并输入至语义分割模型检测和识别。


2.根据权利要求书1所述的一种基于改进DeepLab的果园场景多类别实时分割方法，其特征在于，所述步骤1的具体过程为：
1.1)采用ZED双目摄像头，将其装在履带式喷雾机上，通过上位机拍摄大量不同条件下果园场景视频，并按一定帧数抽取图片，按照3:1:1的比例分为训练集、验证集和测试集，三者没有交集；
1.2)对抽取的所有图片进行标注，标注的对象为所要分割的植株、行人等障碍物目标；
1.3)通过翻转、平移、尺度、对比度变换等方法对训练集进行预处理，并且进行特征缩放，使得所有特征在同一数量级。


3.根据权利要求书1所述的一种基于改进DeepLab的果园场景多类别实时分割方法，其特征在于，所述步骤2的具体过程为：
2.1)将MobileNetV3最后的1x1卷积层移除后代替原来的Xception网络作为基础网络，用来特征提取；
2.2)采用HDC代替原有的空洞卷积，以解决空洞卷积所带来的空间信息丢失问题，会造成网格效应，比如边缘信息，其作为分割的很直观的评判标准；
2.3)在HDC的池化层加入一个offset函数，即添加了位移变量，这个变量根据数据的情况学习，偏移后，卷积核的每个...

【专利技术属性】
技术研发人员：刘慧，姜建滨，沈跃，庄珍珍，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32