【技术实现步骤摘要】
基于双目视觉的绿化带自动浇灌系统、装置及存储介质
[0001]本专利技术涉及辅助驾驶
，尤其涉及一种基于双目视觉的绿化带自动浇灌系统、装置及存储介质。
技术介绍
[0002]城市道路的绿化带主要由绿篱、草坪和乔木组成，在城市道路建设中具有不可取代的重要作用：绿化带具有分隔交通的安全功能，能够让机动车与非机动车、人非机动车在平面上实现分离，从而很大程度上避免了相互之间的干扰；绿化带具有美化城市的作用，能够消除司机的视觉疲劳，减少交通事故的发生；种植乔木绿化带还可以改变道路的空间尺度，使道路空间具有良好的宽高比。此外，绿化带还有净化环境的作用，能滞尘、减弱噪音、吸收有害气体，释放氧气等等。
[0003]绿化带需要定期进行人工浇灌，但是，传统的人工灌溉工作强度高，喷洒不均匀，并且浇灌效果会受到极端天气以及操作熟练度的影响。
[0004]鉴于此，提出本专利技术。
技术实现思路
[0005]本专利技术的主要目的在于公开一种基于双目视觉的绿化带自动浇灌系统、装置及存储介质，用于解决现有技术中存在的传统的人工灌溉工作强度高，喷洒不均匀，并且浇灌效果会受到极端天气以及操作熟练度的影响的问题。
[0006]为达上述目的，根据本专利技术的一个方面，提供一种基于双目视觉的绿化带自动浇灌系统，并采用如下技术方案:一种基于双目视觉的绿化带自动浇灌系统包括：实时获取双目相机的视差图，对该视差图做分割网络处理，得到包括绿植和路面障碍物的分割结果；将所述分割结果投影到世界坐标系的Wx
‑>Wz平面进行计算获取绿植高度，并找到道路两边绿化带距离洒水车的最近距离，画出边界图；根据绿化带在水平方向上是否有路面障碍物以及边界图从而确认需要洒水的位置。
[0007]进一步地，所述实时获取双目相机的视差图，对该视差图做分割网络处理，得到包括绿植和路面障碍物的分割结果包括：目标区域软划分：将视差图处理后得到的特征图划分为一组软对象区域{M1、M2、
…
、Mk}，其中每个Mk对应一个类别k，即从深层网络中进行语义分割得到粗分割结果；目标区域表示：通过聚集第k个对象区域中所有像素的表示，将每个对象区域表示为；其中，是像素的表示，是像素属于第K个对象区域的概率，每层表示该像素属于该类的概率；
对象上下文表示：每个像素与每个对象区域之间的关系为：其中，是关系函数，、是两个转换函数，表示为1
×
1conv
→
BN
→
Relu；对象上下文表示为：其中，和是变换函数；像素由对象上下文模块与初始特征图聚合而成，最终的对象上下文表示如下所示：，其中，是转换函数。
[0008]进一步地，所述将所述分割结果投影到世界坐标系的Wx
‑
Wz平面进行计算获取绿植高度，并找到道路两边绿化带距离洒水车的最近距离，画出边界图包括：将原图及视差图中的绿植部分单独提取出来，得到绿植图；根据绿植图中每个绿植像素所对应的视差值，计算出每个绿植对应的世界坐标系中的Wz值；根据Wz值、以及世界坐标系上每个绿植像素的坐标计算Wx以及Wy值；选取车辆可行驶区域中预设范围内的所有点，并将所有点拟合得到路面。
[0009]进一步地，所述根据绿植图中每个绿植像素所对应的视差值，计算出每个绿植对应的世界坐标系中的Wz值包括：计算公式如下：其中，B、f为分别为双目相机的基线和焦距，disp为立体匹配所得到的每个绿植像素所对应的视差值。
[0010]进一步地，所述根据Wz值、以及世界坐标系上每个绿植像素的坐标计算Wx以及Wy值包括：其中，Imgx和Imgy分别为图像坐标系的x、y坐标；和分别为光心在图像坐标系上的x、y坐标，Wx和Wy分别为世界坐标系的x、y坐标。
[0011]进一步地，所述计算出绿植到路面的高度包括：
取世界坐标系中Wx的范围为[
‑
20,20]米，Wz的范围为[0, 60]米，将绿植投影到Wx
‑
Wz平面中；以Wx为x轴，Wz为y轴，H为(x,y)点对应的值，且H为绿植到路面的高度。
[0012]进一步地，所述根据拟合路面的绿化带水平方向是否有障碍物以及绿植到路面的高度判断出需要洒水的位置包括：选取网格内最大的H作为网格的值；比较最大的H值与双目相机的安装高度；在H小于该安装高度时，且拟合得到的路面在绿化带水平方向上没有障碍物时，确定对应绿植为可以洒水的位置。
[0013]进一步地，所述将原图及视差图中的绿植部分单独提取出来，得到绿植图之后，绿化带自动浇灌系统还包括：对绿植图进投影，先对上述得到的投影图进行一个插值填充，对于像素值为0的地方，用3
×
3邻域内不为0的点的均值进行插值填充，填充后再根据区域连通性去除孤立点，得到最终的绿植投影图。
[0014]根据本专利技术的另外一个方面，提供基于双目视觉的绿化带自动浇灌装置，并采用如下技术方案：一种基于双目视觉的绿化带自动浇灌装置包括：分割模块，用于实时获取双目相机的视差图，对该视差图做分割网络处理，得到包括绿植和路面障碍物的分割结果；计算模块，用于将所述分割结果投影到世界坐标系的Wx
‑
Wz平面进行计算获取绿植高度，并找到道路两边绿化带距离洒水车的最近距离，画出边界图；确认模块，用于根据绿化带在水平方向上是否有路面障碍物以及边界图从而确认需要洒水的位置。
[0015]根据本专利技术的又一个方面，提供了一种存储介质，并采用如下技术方案：一种存储介质包括上述的基于双目视觉的绿化带自动浇灌装置。
[0016]本专利技术首先，利用深度学习网络将绿化带分割出来；其次，利用视差信息，将绿化带由像素坐标系投影到Wx
‑
Wz平面中，以绿植在世界坐标系中的真实高度作为该点的像素值；进而根据绿植的位置信息和高度信息实现自动浇灌。本专利技术所用的深度网络同时还可以分割出其他常见的路面障碍物，比如说车、行人，如果有路面障碍物，则控制洒水车跳过这一段，不予浇水。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术实施例所述的一种基于双目视觉的绿化带自动浇灌系统的流程图；图2为本专利技术实施例所述的深度学习网络结构图；图3为本专利技术实施例所述的深度网络模型的分割结果以及image对应的视差图；图4为本专利技术实施例所述的原图与视差图中的绿植对比图；图5为本专利技术实施例所述的选取的可形式区域路面拟合效果图；图6为本专利技术实施例所述的场景一将绿植投影到Wx
‑
Wz平面中效果图；
图7为本专利技术实施例所述的场景二将绿植投影到Wx
‑
Wz平面中效果图；图8为本专利技术实施例所述的场景三将绿植投影到Wx
‑
Wz平面中效果图；图9为本专利技术实施例所本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于双目视觉的绿化带自动浇灌系统，其特征在于，包括：实时获取双目相机的视差图，对该视差图做分割网络处理，得到包括绿植和路面障碍物的分割结果；将所述分割结果投影到世界坐标系的Wx
‑
Wz平面进行计算获取绿植高度，并找到道路两边绿化带距离洒水车的最近距离，画出边界图；根据绿化带在水平方向上是否有路面障碍物以及边界图从而确认需要洒水的位置。2.根据权利要求1所述的绿化带自动浇灌系统，其特征在于，所述实时获取双目相机的视差图，对该视差图做分割网络处理，得到包括绿植和路面障碍物的分割结果包括：目标区域软划分：将视差图处理后得到的特征图划分为一组软对象区域{M1、M2、
…
、Mk}，其中每个Mk对应一个类别k，即从深层网络中进行语义分割得到粗分割结果；目标区域表示：通过聚集第k个对象区域中所有像素的表示，将每个对象区域表示为；其中，是像素的表示，是像素属于第K个对象区域的概率，每层表示该像素属于该类的概率；对象上下文表示：每个像素与每个对象区域之间的关系为：其中，是关系函数，、是两个转换函数，表示为1
×
1conv
→
BN
→
Relu；对象上下文表示为：其中，和是变换函数；像素由对象上下文模块与初始特征图聚合而成，最终的对象上下文表示如下所示：其中，是转换函数。3.根据权利要求1所述的绿化带自动浇灌系统，其特征在于，所述将所述分割结果投影到世界坐标系的Wx
‑
Wz平面进行计算获取绿植高度，并找到道路两边绿化带距离洒水车的最近距离，画出边界图包括：将原图及视差图中的绿植部分单独提取出来，得到绿植图；根据绿植图中每个绿植像素所对应的视差值，计算出每个绿植对应的世界坐标系中的Wz值；
根据Wz值、以及世界坐标系上每个绿植像素的坐标计算Wx以及Wy值；选取车辆可行驶区域中预设范围内的所有点，并将所有点拟合得到路面。4.根据权利要求3所述的绿化带自动浇灌系统，其特征在于，所述根据绿植图中每个绿植像素所对应的视差值，计算出每个绿植对应的世界坐标系中的Wz值包括：计算公式如下：其中，B、f为分别为双目相机的基...
【专利技术属性】
技术研发人员：刘超，
申请(专利权)人：清驰济南智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。