一种美国白蛾幼虫网幕喷药机器人局部运动控制方法技术

本发明专利技术提供一种美国白蛾幼虫网幕喷药机器人局部运动控制方法，包括如下步骤：(1)设计喷药机器人的总体运动策略和局部运动路径，喷药机器人按照设定的路径运行并实时采集对应树木目标的图像；(2)根据图像特征提取美国白蛾幼虫网幕目标，并估算网幕目标与执行机构间的相对距离L，并确定距离执行机构L处的图像平面面积S和喷药覆盖面面积S′；(3)令μ＝S′/S，S为图像平面面积，S′为喷药覆盖面面积，当μ>0.5时，执行简单的扫描控制策略，当μ<＝0.5时，执行扫描、对靶、喷药三种运动的复杂策略，最终确定最优喷药位置。

【技术实现步骤摘要】
一种美国白蛾幼虫网幕喷药机器人局部运动控制方法
本专利技术涉及智能喷药机器人视觉控制领域，具体地讲，涉及一种美国白蛾幼虫网幕喷药机器人局部运动控制方法。
技术介绍
美国白蛾是一种世界性检疫害虫，繁殖能力强，危害树种广，在我国北方一般一年发生3代，每代分幼虫、蛹、成虫三个时期。幼虫期危害树木最为严重，孵化几个小时即吐丝结网附于叶片上，取食叶肉，整个幼虫期间取食量极大，造成植物长势衰弱，抗逆力低，甚至整株死亡。幼虫网幕较明显，是实施防治的最佳时机。目前常采用人工摘除网幕和化学药剂大规模喷施的防治方法，但这些方法简单粗放污染重，基于机器视觉的智能精密对靶施药是解决这一问题的方法之一。目前使用的喷药控制策略大都基于某种空间转换模型对机械臂的参数进行精准控制，该方法虽然精度高但计算量大、喷药效率低、易受干扰，对于美国白蛾幼虫网幕这种发生期短的大规模野外作业不适用。
技术实现思路
：本专利技术要解决的技术问题是提供一种美国白蛾幼虫网幕喷药机器人局部运动控制方法，可以快速确定最优喷药位置，既减少了喷药量又可以实现快速喷药，达到良好的灭虫效果。本专利技术采用如下技术方案实现专利技术目的：一种美国白蛾幼虫网幕喷药机器人局部运动控制方法，其特征是：包括如下步骤：(1)设计喷药机器人的局部运动路径，喷药机器人按照设定的路径运行并实时采集对应树木目标的图像；(2)根据图像特征提取美国白蛾幼虫网幕目标，并估算网幕目标与机器人的手眼执行机构间的相对距离L，并确定距离执行机构L处的物体的图像平面面积S和喷药覆盖面面积S′；(3)令μ＝S′/S，S为图像平面面积，S′为喷药覆盖面面积，当μ＞0.5时，执行简单的扫描控制策略，当μ＜＝0.5时，执行扫描、对靶、喷药三种运动的复杂策略，最终确定最优喷药位置；所述步骤(2)根据图像特征提取美国白蛾幼虫网幕目标包括如下步骤：(2.1)对视频图像进行稳像处理以便获得稳定的单帧图像；(2.2)根据美国白蛾幼虫网幕图像色彩分布特征，选择RGB颜色空间，分析网幕、叶片和树枝的各通道数据的差值，采用R-B色差模型并结合最大类间方差法和阈值算法，分割网幕图像，使用Freeman编码算法和区域标记计算出每一区域的面积，使用多个面积的平均值和标准方差确定面积双阈值，进行残余噪声去除，最后使用改进的膨胀腐蚀法进行图像补偿，最终图像中的目标区域表现为大片连续的白色区域；所述步骤(3)的简单的扫描控制策略包括如下步骤：(3.1.1)确定喷药机器人局部运动轨迹，每个扫描行之间的距离h公式如下：h＝0.8*b*δ，其中，δ为距离执行机构L处的二维垂直立面A上的物体与其图像中的成像大小的对应比例关系，b是图像中的喷药覆盖范围的内接正四边形的边长；(3.1.2)最佳喷药位置的确定：相机向右平移时，设变量Left、Down初值为零，用来标记输入图像Q中喷药区域M范围内的左侧、下侧边缘区域是否有未喷药的目标，输入图像Q为从视频流中获取的静态单帧图像，为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域，首先在手眼执行机构运动过程中使用上述单帧图像处理方法实时检测图像中是否有目标区域，设喷药区域M经检测其中有目标区域，检测M中敏感区域中是否有白色目标，若左侧敏感区域中有，则将Left置为true，若下侧敏感区域中有,则将Down置为true，若Left和Down有一者为true，则表示进入最佳喷药位置，否则不需喷药；(3.1.3)重复步骤(3.1.2)，直到满足扫描终止条件，即相机位于可运动区域最左端或最右端，且距离可运动区域最上端不足扫描行之间的距离h，即不足以进行下一行扫描。作为对本技术方案的进一步限定，所述步骤(3)的复杂的扫描控制策略包括如下步骤：(3.2.1)扫描主运动的确定：h＝0.8*d*δ，其中，δ为立面A上的物体与其图像中的成像大小的对应比例关系，d是成像图像的高度；(3.2.2)执行对靶运动喷药运动的条件：当相机向右运动即图像相左时的判断条件，设变量Left、Down初值为零，用来标记输入图像Q中的左侧，下侧边缘区域是否有未喷药的目标，输入图像Q为从视频流中获取的静态单帧图像，为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域，首先在手眼执行机构运动过程中使用上述单帧图像处理方法实时检测图像Q中是否有目标区域，假设输入图像为Q经检测其中有目标区域，检测Q中敏感区域中是否有白色目标，若左侧敏感区域中有，则将Left置为true，若下侧敏感区域c中有,则将Down置为true，若Left和Down有一者为true，则需进行喷药处理；(3.2.3)按照轮廓优先次序依次对图像Q内存在的所有目标执行对靶运动：图像Q面积较大时，存在多个需喷药目标，此时需对图像Q内存在的所有目标进行喷药优先级判断，进而确定是否进入最佳喷药位置，这里使用轮廓的重心来标识轮廓位置及重要性，重心的确定方法如下：其中指的是重心的坐标；A指的是轮廓区域的面积；ρ(x,y)指的是加权值表征虫害程度，可用生长素探测经试验获得，设某一轮廓j的重心到图像Q中心距离为Lj，面积为Aj，记权重G(j)＝Lj×Aj，按照权重的大小确定轮廓处理的先后顺序，先后顺序确定后，将第一个要处理的轮廓标记为正在处理，然后将当前的摄像机所在坐标及当前图像压入堆栈即将当前工作状态先保存，之后经对靶运动将摄像头和喷药头对准到第一个轮廓上，从边缘开始喷药同时将已喷药区域的相机坐标标记为已喷，完毕后以直线返回保存在堆栈中的摄像机所在坐标，读取保存的图像即回复工作状态并将第一个轮廓标记为已处理，而后用相同方法处理其余轮廓直到全部处理完毕，手眼执行机构继续扫描运动；(3.2.4)重复步骤(3.2.2)和(3.2.3)，直到满足扫描终止条件，即相机位于可运动区域最左端或最右端，且距离可运动区域最上端不足h，即不足以进行下一行扫描。作为对本技术方案的进一步限定，所述步骤(3.2.3)的对靶运动是指执行机构由当前位置运动到目标轮廓所在区域的运动，并且为了便于控制，执行机构只能向8个方向运动，即上、下、左、右、左上、左下、右上、右下，对靶运动具体实施方法如下：①对靶运动初始化：设一枚举类型Direction＝{正左,左上,正上,右上,正右,右下,正下,左下}用来表示速度向量即运动方向，设一个Direction类型变量V并将当前相机运动方向V0设初始值为正左，设一变量k用来累计某一时间间隔内的帧数，初始值为零，最后从内存中开辟一个二维动态数组用来存储目标轮廓的面积值记为Area(v,k)，其中v是Direction类型表示运动方向，k表示当前累计的帧数，Area(v,k)表示执行机构沿v方向运动累计帧数为k时，摄像机在当前位置拍摄的图像中该目标轮廓的面积，k的初始值为0；②确定方向：在第N帧图像中找到目标轮廓并求得其形心在图像中的坐标设为On(xn,yn)，则可知最佳的运动方向为向量角度为其中O0(x0,y0)为图像中心坐标，若θ∈[-22.5°,22.5°]，则Vn＝{正左}；若θ∈[22.5°,67.5°]，则Vn＝{左上}；若θ∈[67.5°,112.5°]，则Vn＝{正上}；若θ∈[112.5°,157.5°]，则Vn＝{右上}；若θ∈[1本文档来自技高网...

【技术保护点】
一种美国白蛾幼虫网幕喷药机器人局部运动控制方法，其特征是：包括如下步骤：(1)设计喷药机器人的局部运动路径，喷药机器人按照设定的路径运行并实时采集对应树木目标的图像；(2)根据图像特征提取美国白蛾幼虫网幕目标，并估算网幕目标与机器人的手眼执行机构间的相对距离L，并确定距离执行机构L处的物体的图像平面面积S和喷药覆盖面面积S′；(3)令μ＝S′/S，S为图像平面面积，S′为喷药覆盖面面积，当μ>0.5时，执行简单的扫描控制策略，当μ<＝0.5时，执行扫描、对靶、喷药三种运动的复杂策略，最终确定最优喷药位置。

【技术特征摘要】
1.一种美国白蛾幼虫网幕喷药机器人局部运动控制方法，其特征是：包括如下步骤：(1)设计喷药机器人的局部运动路径，喷药机器人按照设定的路径运行并实时采集对应树木目标的图像；(2)根据图像特征提取美国白蛾幼虫网幕目标，并估算网幕目标与机器人的手眼执行机构间的相对距离L，并确定距离执行机构L处的物体的图像平面面积S和喷药覆盖面面积S′；(3)令μ＝S′/S，S为图像平面面积，S′为喷药覆盖面面积，当μ＞0.5时，执行简单的扫描控制策略，当μ＜＝0.5时，执行扫描、对靶、喷药三种运动的复杂策略，最终确定最优喷药位置；所述步骤(2)根据图像特征提取美国白蛾幼虫网幕目标包括如下步骤：(2.1)对视频图像进行稳像处理以便获得稳定的单帧图像；(2.2)根据美国白蛾幼虫网幕图像色彩分布特征，选择RGB颜色空间，分析网幕、叶片和树枝的各通道数据的差值，采用R-B色差模型并结合最大类间方差法和阈值算法，分割网幕图像，使用Freeman编码算法和区域标记计算出每一区域的面积，使用多个面积的平均值和标准方差确定面积双阈值，进行残余噪声去除，最后使用改进的膨胀腐蚀法进行图像补偿，最终图像中的目标区域表现为大片连续的白色区域；所述步骤(3)的简单的扫描控制策略包括如下步骤：(3.1.1)确定喷药机器人局部运动轨迹，每个扫描行之间的距离h公式如下：h＝0.8*b*δ，其中，δ为距离执行机构L处的二维垂直立面A上的物体与其图像中的成像大小的对应比例关系，b是图像中的喷药覆盖范围的内接正四边形的边长；(3.1.2)最佳喷药位置的确定：相机向右平移时，设变量Left、Down初值为零，用来标记输入图像Q中喷药区域M范围内的左侧、下侧边缘区域是否有未喷药的目标，输入图像Q为从视频流中获取的静态单帧图像，为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域，首先在手眼执行机构运动过程中使用上述单帧图像处理方法实时检测图像中是否有目标区域，设喷药区域M经检测其中有目标区域，检测M中敏感区域中是否有白色目标，若左侧敏感区域中有，则将Left置为true，若下侧敏感区域中有,则将Down置为true，若Left和Down有一者为true，则表示进入最佳喷药位置，否则不需喷药；(3.1.3)重复步骤(3.1.2)，直到满足扫描终止条件，即相机位于可运动区域最左端或最右端，且距离可运动区域最上端不足扫描行之间的距离h，即不足以进行下一行扫描。2.根据权利要求1所述的美国白蛾幼虫网幕喷药机器人局部运动控制方法，其特征是：所述步骤(3)的复杂的扫描控制策略包括如下步骤：(3.2.1)扫描主运动的确定：h＝0.8*d*δ，其中，δ为立面A上的物体与其图像中的成像大小的对应比例关系，d是成像图像的高度；(3.2.2)执行对靶运动喷药运动的条件：当相机向右运动即图像相左时的判断条件，设变量Left、Down初值为零，用来标记输入图像Q中的左侧，下侧边缘区域是否有未喷药的目标，输入图像Q为从视频流中获取的静态单帧图像，为避免因惯性等造成漏喷将距离边缘小于其总长度的1/4的点组成的区域称为敏感区域，首先在手眼执行机构运动过程中使用上述单帧图像处理方法实时检测图像Q中是否有目标区域，假设输入图像为Q经检测其中有目标区域，检测Q中敏感区域中是否有白色目标，若左侧敏感区域中有，则将Left置为true，若下侧敏感区域c中有,则将Down置为true，若Left和Down有一者为true，则需进行喷药处理；(3.2.3)按照轮廓优先次序依次对图像Q内存在的所有目标执行对靶运动：图像Q面积较大时，如果存在多个需喷药目标，此时需对图像Q内存在的所有目标进行喷药优先级判断，进而确定是否进入最佳喷药位置，这里使用轮廓的重心来标识轮廓位置及重要性，重心的确定方法如下：

【专利技术属性】
技术研发人员：赵颖，张翠华，孙群，楚晓华，赵栋杰，
申请(专利权)人：聊城大学，
类型：发明
国别省市：山东;37