一种基于双目立体视觉的果园智能喷药方法及系统技术方案

本申请公开了一种基于双目立体视觉的果园智能喷药方法及系统，喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测；当检测到果树时喷药装置暂停，启用双目摄像头拍摄一对图片；根据相机标定结果对上述的一对图片进行图像矫正；将矫正后的一对图片进行立体匹配，得到两者对应像素点；根据立体匹配结果得到视差图，并根据三角测量原理计算得到深度图；利用深度图信息结合目标检测结果推算出果树距离；最后根据检测到的果树目标在拍摄图像的区域，调整喷头的高度和角度，保证喷头正对果树实施喷药。本方案能够获取到更加精准的果树距离、具体方位影响喷药实际效果的信息，从而实现更为精准的施药。而实现更为精准的施药。而实现更为精准的施药。

【技术实现步骤摘要】
一种基于双目立体视觉的果园智能喷药方法及系统


[0001]本申请涉及果园植保
，具体涉及一种基于双目立体视觉的果园智能喷药方法及系统。

技术介绍

[0002]果园植保顾名思义是对果园的果树进行养护，其中对果树定期的喷药这是果园植保的必要工作。以往对果树喷药都是人工进行喷药，不仅费时费力，而且还会对作业人员产生危害。随着农业设备的发展，可以实现自主喷药的果园喷药机器人成为了替代人工喷药的首选。
[0003]专利号CN209711222U公开了基于机器视觉的自主精准喷药机器人，将机器视觉应用于植物识别,并利用神经网络进行数据训练,通过训练后的分类集进行农作物与杂草的识别,喷头能够根据农作物与杂草的高度进行调节。专利号CN201420469177.1公开了一种基于机器视觉的除虫除草喷药机器人,能够快速有效的识别田间草害和虫害,并根据草害和虫害程度定点变量喷洒除草剂和(或)除虫剂,适合农机实时田间作业,大大提高了作业效率,降低了农田管理成本。专利号CN201920087478.0涉及一种基于机器视觉的果树喷药机器人,包括行走底盘及设置在所述行走底盘上的喷药机构,控制模块,循迹模块和导向模块，可实现定点喷药,精准喷药,自动化程度高,节省人力,节省农药,环境污染小,可适应的地形广泛。专利号CN201420469177.1公开了一种基于机器视觉的除虫除草喷药机器人,其包括可行走的车架,药水箱,视觉导航装置,视觉感知装置,动力装置,主控系统和喷药装置。能够快速有效的识别田间草害和虫害,并根据草害和虫害程度定点变量喷洒除草剂和(或)除虫剂,适合农机实时田间作业,大大提高了作业效率,降低了农田管理成本。
[0004]但是，现有的果园喷药机器人设计的视觉技术多是对杂草或果树进行识别，进而针对性喷洒农药。而缺乏喷药机器人与果树的间距以及方位等影响喷药精准度的详细信息，很难真正做到精细喷药。

技术实现思路

[0005]本申请为了解决上述技术问题，提出了如下技术方案：第一方面，本申请实施例提供了一种基于双目立体视觉的果园智能喷药方法，所述方法包括：喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测；当检测到果树喷药装置暂停，启用双目摄像头拍摄一对图片；根据相机标定结果对上述的一对图片进行图像矫正；将矫正后的一对图片进行立体匹配，得到两者对应像素点；根据立体匹配结果得到视差图，并根据三角测量原理计算得到深度图；利用深度图信息结合目标检测结果推算出果树距离；最后根据检测到的果树目标在拍摄图像的区域，调整喷头的高度和角度，保证喷头正对果树实施喷药。
[0006]采用上述实现方式，相比已有基于视觉的喷药技术，不仅仅只是检测出果树的大体位置，而且能够获取到更加精准的果树距离、具体方位等影响喷药实际效果的信息，从而
实现更为精准的施药。
[0007]结合第一方面，在第一方面第一种可能的实现方式中，所述喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测，包括：通过轻量化目标检测算法NanoDet采用无锚点框的回归方式，主干网络采用MobileNetV2用于提取特征；之后接特征金字塔网络FPN进行特征融合；最后接检测头回归目标的中心距四边的距离，最后转换为目标检测框。
[0008]结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述根据相机标定结果对上述的一对图片进行图像矫正，包括：根据摄像头定标后获得的单目内参数据和双目相对位置关系；分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。
[0009]结合第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，所述分别对左右视图进行消除畸变和行对准，包括：获取摄像头标定后的各项参数，首先采用OpenCV中的stereoRectify函数得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，然后采用initUndistortRectifyMap函数得出校准映射参数；最后利用remap来校准输入的左右图像。
[0010]结合第一方面第三种可能的实现方式，在第一方面第四种可能的实现方式中，所述将矫正后的一对图片进行立体匹配，得到两者对应像素点，包括：获取同一点在多个成像面上像点的对应关系；利用一点在同一位置下两个成像点之间的视差信息求取该点本身的三维信息。
[0011]第二方面，本申请实施例提供了一种基于双目立体视觉的果园智能喷药系统，所述系统包括：检测模块，用于喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测；拍照模块，用于当检测到果树喷药装置暂停，启用双目摄像头拍摄一对图片；图像矫正模块，用于根据相机标定结果对上述的一对图片进行图像矫正；立体匹配模块，用于将矫正后的一对图片进行立体匹配，得到两者对应像素点；计算模块，用于根据立体匹配结果得到视差图，并根据三角测量原理计算得到深度图；距离获取模块，用于利用深度图信息结合目标检测结果推算出果树距离；喷药模块，用于最后根据检测到的果树目标在拍摄图像的区域，调整喷头的高度和角度，保证喷头正对果树实施喷药。
[0012]结合第二方面，在第二方面第一种可能的实现方式中，所述检测模块包括：提取特征单元，用于通过轻量化目标检测算法NanoDet采用无锚点框的回归方式，主干网络采用MobileNetV2用于提取特征；特征融合单元，用于之后接特征金字塔网络FPN进行特征融合；转换单元，用于最后接检测头回归目标的中心距四边的距离，最后转换为目标检测框。
[0013]结合第二方面第一种可能的实现方式，在第二方面第二种可能的实现方式中，所述图像矫正模块包括：第一获取单元，用于根据摄像头定标后获得的单目内参数据和双目相对位置关系；矫正单元，用于分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。
[0014]结合第二方面第二种可能的实现方式，在第二方面第三种可能的实现方式中，所述矫正单元包括：获取子单元，用于获取摄像头标定后的各项参数，首先采用OpenCV中的stereoRectify函数得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，第一校准子单元，用于
然后采用initUndistortRectifyMap函数得出校准映射参数；第二校准子单元，用于最后利用remap来校准输入的左右图像。
[0015]结合第二方面第三种可能的实现方式，在第二方面第四种可能的实现方式中，所述立体匹配模块包括：第二获取单元，获取同一点在多个成像面上像点的对应关系；计算单元，用于利用一点在同一位置下两个成像点之间的视差信息，求取该点本身的三维信息。
附图说明
[0016]图1为本申请实施例提供的一种基于双目立体视觉的果园智能喷药方法的流程示意图；图2为本申请实施例提供的三角测量原理的示意图；图3为本申请实施例提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目立体视觉的果园智能喷药方法，其特征在于，所述方法包括：喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测；当检测到果树喷药装置暂停，启用双目摄像头拍摄一对图片；根据相机标定结果对上述的一对图片进行图像矫正；将矫正后的一对图片进行立体匹配，得到两者对应像素点；根据立体匹配结果得到视差图，并根据三角测量原理计算得到深度图；利用深度图信息结合目标检测结果推算出果树距离；最后根据检测到的果树目标在拍摄图像的区域，调整喷头的高度和角度，保证喷头正对果树实施喷药。2.根据权利要求1所述的基于双目立体视觉的果园智能喷药方法，其特征在于，所述喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测，包括：通过轻量化目标检测算法NanoDet采用无锚点框的回归方式，主干网络采用MobileNetV2用于提取特征；之后接特征金字塔网络FPN进行特征融合；最后接检测头回归目标的中心距四边的距离，最后转换为目标检测框。3.根据权利要求2所述的基于双目立体视觉的果园智能喷药方法，其特征在于，所述根据相机标定结果对上述的一对图片进行图像矫正，包括：根据摄像头定标后获得的单目内参数据和双目相对位置关系；分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。4.根据权利要求3所述的基于双目立体视觉的果园智能喷药方法，其特征在于，所述分别对左右视图进行消除畸变和行对准，包括：获取摄像头标定后的各项参数，首先采用OpenCV中的stereoRectify函数得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，然后采用initUndistortRectifyMap函数得出校准映射参数；最后利用remap函数来校准输入的左右图像。5.根据权利要求4所述的基于双目立体视觉的果园智能喷药方法，其特征在于，所述将矫正后的一对图片进行立体匹配，得到两者对应像素点，包括：获取同一点在多个成像面上像点的对应关系；利用一点在同一位置下两个成像点之间的视差信息求取该点本身的三维信息。6.一种基于双目立体视觉的果园智能喷药系统，其特征在于，所...

【专利技术属性】
技术研发人员：高山，吴继雁，陈鹏飞，
申请(专利权)人：深圳职业技术学院，
类型：发明
国别省市：