基于双目视觉和语义分割网络的大田环境障碍物检测方法技术

本发明专利技术公开了基于双目视觉和语义分割网络的大田环境障碍物检测方法，其特征在于，首先构建一种基于DeepLabV3+模型的改进模型，使用轻量化网络MobileNetV2作为网络主干，用来提取图像特征，可以减少语义分割网络的计算量和运算时间；采用改进的ASPP(空洞空间卷积金字塔池化)代替原有的ASPP。利用改进的DeepLabV3+网络对障碍物进行识别检测，精准地分割出障碍物在图像中的像素区域，再利用水平扫描法找到障碍物轮廓关键信息点。将关键信息点在图像中的二维坐标结合双目视觉相机提供的深度图，得到关键信息点的深度信息，对关键信息点的深度信息进行加权平均得到障碍物的距离。该方法可以检测出障碍物轮廓边缘关键信息点与双目视觉传感器之间的距离，提高障碍物的检测精度。的检测精度。的检测精度。

【技术实现步骤摘要】
基于双目视觉和语义分割网络的大田环境障碍物检测方法


[0001]本专利技术属于障碍物检测
，具体涉及基于双目视觉和语义分割网络的大田环境障碍物检测方法。

技术介绍

[0002]现今，我国正面临着传统农业的生产与现代化机械农业相互转化的重要阶段,为了加速农业机械化的不断深化转型,要求切实依据我国农业机械化现阶段的情况,积极提高农业的发展水平,加深基础性农作物的机械化生产。随着对农业相关领域的不断重视,如今我国的农业机械化的成绩十分显著,但是由于农业机械制造能力和农业部分不匹配的情况出现,使得农业机械化程度未曾达到预期目标。农业机械的生产与制造的完备性与发达国家还存有一定的差距,所以当前我国农业机械制造还需要不断结合农业的实际情况,做出调整与改革。
[0003]在科技高速发展的今天，农业机械化已向着农业机械自动化转型，不可避免的自然涉及到农田障碍物的识别检测；现目前的障碍物检测技术多存在以下不足：
[0004]超声波检测技术受障碍物表面情况影响导致障碍是准确率下降，激光雷达检测技术成本太高暂时无法普及应用，传统的极其视觉和图像处理算法，在大田环境中容易受到环境光干扰，导致障碍物检测不准。
[0005]因此，需要一种障碍物检测稳定性更高、适应性更强的图像处理算法。

技术实现思路

[0006]为了解决上述技术问题，本专利技术提供了基于双目视觉和语义分割网络的大田环境障碍物检测方法。
[0007]为了达到解决上述技术问题的技术效果，本专利技术是通过以下技术方案实现的：基于双目视觉和语义分割网络的大田环境障碍物检测方法，其特征在于，包括以下步骤：
[0008]S1：构建大田环境下的多种障碍物类别的数据集；
[0009]S2：在PyTorch深度学习框架上搭建DeeplabV3+语义分割模型，其中主干网络使用裁剪后的MobilenetV2:保留MobilenetV2的第一个卷积层和前14个倒置残差模块(Block),将第3个Block后输出的特征图作为浅层特征，将第14个Block后输出的特征图作为深层特征，去除MobilenetV2之后的Block模块、池化层、卷积层；同时将ASPP模块的其中3个3*3空洞卷积改为深度可分离空洞卷积，将原来的扩张率6、12、18，改为6、10、14。
[0010]S3：通过步骤1中的数据集对S2中建立的DeepLabV3+语义分割模型进行训练；
[0011]S4：采用双目立体摄像头拍摄大田场景图像，并将该图像输入至DeepLabV3+的语义分割模型进行识别，得到障碍物的分割图像，其中该背景的像素值为0，障碍物的区域像素值为非零区域，扫描分割图像，识别像素值，得到障碍物在图像中轮廓关键信息点坐标；
[0012]S5：使用张正友标定法对S4中的双目立体摄像头的左摄像头和右摄像头分别进行标定，并借助Matlab工具箱中CameraCalibration工具采集左右摄像头分别拍摄的标定板
图片，获取经标定后的双目摄像头的左摄像头图像和右摄像头图像，再通过SGBM立体匹配算法得到左摄像头的视差图，通过视差与深度的转换公式计算出左摄像头的深度图像，于深度图像中轮廓关键信息点坐标的深度值的加权平均值作为障碍物的距离，从而获得障碍物的距离信息。
[0013]进一步的，所述S1采用双目立体摄像头拍摄并存储不同环境场景下的农业作业场景视频图像，按照特定的帧数抽取图片，按照4:1:1的比例划分为训练集、测试集和验证集；对干扰农机正常作业的障碍物进行标注，并制作成数据集；
[0014]进一步的，所述干扰农机的障碍物包括人、机；
[0015]进一步的，所述S3中采取多分类交叉熵损失函数对建立的模型进行训练，其函数如下：
[0016][0017]M——类别数量
[0018]y
ic
——指示变量(0或1)，如果该类别和样本i的类别相同就是1，否则是0
[0019]p
ic
——对于观测样本i属于类别c的预测概率
[0020]进一步的，所述S4分割后的图像中，背景的像素值为0，障碍物的区域像素值为非零区域；对该图像进行扫描，分割出的障碍物区域分为轮廓左侧关键信息点和轮廓右侧关键信息点；
[0021]如果某两个相邻的位置的像素从0变化为非零值，为障碍物的左侧轮廓关键信息点，像素值由非零值变化为0，为障碍物的右侧轮廓关键信息点，其计算函数如下：
[0022][0023]m——障碍物轮廓关键信息点数量
[0024]k——分割障碍物区域在图像中占据的像素行数
[0025]l——行扫描间隔的像素行数
[0026]进一步的，所述S5中的视差与深度的公式转换：
[0027][0028]z
‑‑
深度图
[0029]f
‑‑
归一化的焦距
[0030]b
‑‑
左摄像头光心和右摄像头光心之间的距离
[0031]d
‑‑
视差值
[0032]本专利技术的有益效果是：
[0033]1、本法专利技术将构建的DeepLabV3+语义分割模型在Pascal VOC2012数据集上进行分类训练以得到预训练模型，对得到的预训练模型进行迁移学习可以减少在大田环境下障碍分类的数据集下训练消耗的时间；
[0034]2、本专利技术将DeepLaV3+模型中的主干网络替换为轻量化网络MobileNetV2网络用来特征提取，采用改进的ASPP，在保证分割效果的基础上，大量减少了模型的参数量，降低了模型对显存的要求；
[0035]3、本专利技术改进后的DeeplabV3+模型更利于在移动设备或嵌入式上部署，能够部署在农业机械上，通过双目摄像头在大田环境下对行人等障碍物进行检测并分割，达到实时性要求。
附图说明
[0036]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]图1是基于双目视觉和语义分割网络的大田环境障碍物检测方法的流程图；
[0038]图2是基于双目视觉和语义分割网络的大田环境障碍物检测方法改进后的DeeplabV3+网络结构图。
[0039]图3是基于双目视觉和语义分割网络的大田环境障碍物检测方法的MobileNetV2主干网络结构图；
[0040]图4是基于双目视觉和语义分割网络的大田环境障碍物检测方法改进后的ASPP.
具体实施方式
[0041]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于双目视觉和语义分割网络的大田环境障碍物检测方法，其特征在于，包括以下步骤：S1：构建大田环境下的多种障碍物类别的数据集；S2：在PyTorch深度学习框架上搭建DeeplabV3+语义分割模型，其中主干网络使用裁剪后的MobilenetV2:保留MobilenetV2的第一个卷积层和前14个倒置残差模块(Block),将第3个Block后输出的特征图作为浅层特征，将第14个Block后输出的特征图作为深层特征，去除MobilenetV2之后的Block模块、池化层、卷积层；同时将ASPP模块的其中3个3*3空洞卷积改为深度可分离空洞卷积，将原来的扩张率6、12、18，改为6、10、14；S3：通过步骤1中的数据集对S2中建立的DeepLabV3+语义分割模型进行训练；S4：采用双目立体摄像头拍摄大田场景图像，并将该图像输入至DeepLabV3+的语义分割模型进行识别，得到障碍物的分割图像，其中该背景的像素值为0，障碍物的区域像素值为非零区域，扫描分割图像，识别像素值，得到障碍物在图像中轮廓关键信息点坐标；S5：使用张正友标定法对S4中的双目立体摄像头的左摄像头和右摄像头分别进行标定，并借助Matlab工具箱中Camera Calibration工具采集左右摄像头分别拍摄的标定板图片，获取经标定后的双目摄像头的左摄像头图像和右摄像头图像，再通过SGBM立体匹配算法得到左摄像头的视差图，通过视差与深度的转换公式计算出左摄像头的深度图像，于深度图像中轮廓关键信息点坐标的深度值的加权平均值作为障碍物的距离，从而获得障碍物的距离信息。2.根据权利要求1所述基于双目视觉和语义分割网络的大田环境障碍物检测方法，其特征在于，所述S1采用zed摄像头拍摄并存储不同环境场景下的农业作业场景视频图像，按照特定的帧数抽取图片，按照4:1:1的比例划分...

【专利技术属性】
技术研发人员：李加念，张亚军，杨传科，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：