用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法技术

本发明专利技术提供了一种智能喷药机器人的美国白蛾幼虫网幕图像定位方法，属于智能喷药机器人的视觉定位领域。该方法包括：步骤1，采集美国白蛾幼虫网幕图片，截取图片中的不同部位作为样本，对所有样本进行分类，并利用样本训练卷积神经网络得到白蛾幼虫网幕识别模型；步骤2，对智能喷药机器人采集到的视频图像进行稳像处理获得稳定的单帧图像，利用不重合滑动窗口遍历每帧图像，得到多个候选框；步骤3，利用所述白蛾幼虫网幕识别模型对各个候选框进行筛选，得到优秀候选框；步骤4，对所有优秀候选框进行融合处理，得到一个连续的目标轮廓框，该目标轮廓框即为白蛾幼虫网幕的位置，智能喷药机器人对该目标轮廓框内进行喷药。本发明专利技术能减少药物浪费。

A Method of Locating White Moth Larvae Screen Image for Intelligent Spraying Robot

【技术实现步骤摘要】
用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法
本专利技术属于智能喷药机器人的视觉定位领域，具体涉及用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法。
技术介绍
美国白蛾，是世界性检疫害虫，对农作物、林木、果树等造成了严重的危害。1979年6月在一次调查农作物病虫害时，首次在我国发现了美国白蛾它是从中朝边境传入我国辽宁省丹东地区的。该虫一般一年发生3代，每代分幼虫、蛹、成虫三个时期。白蛾幼龄幼虫常群集寄主叶片上吐丝结网幕，在网幕内取食寄主的叶肉，受害叶片呈白膜而枯黄，目前常采用人工摘除网幕和化学药剂大规模喷施的防治方法，但这些方法简单粗放、污染重、耗费了大量的人力物力。基于机器视觉的智能精密对靶施药是解决这一问题的方法之一。美国白蛾生长环境的复杂多变限制了对靶精密喷药的可能，一般定位方法不能具备较好的鲁棒性和准确性。
技术实现思路
本专利技术的目的在于解决上述现有技术中存在的难题，提供一种用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，基于卷积神经网络实现美国白蛾幼虫网幕图像定位，使智能喷药机器人能够做出正确的决策，既减少了喷药量又可以实现快速喷药，达到良好的灭虫效果。本专利技术是通过以下技术方案实现的：一种用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，包括：步骤1，采集美国白蛾幼虫网幕图片，截取图片中的不同部位作为样本，对所有样本进行分类，并利用样本训练卷积神经网络得到白蛾幼虫网幕识别模型；步骤2，对智能喷药机器人采集到的视频图像进行稳像处理获得稳定的单帧图像，利用不重合滑动窗口遍历每帧图像，得到多个候选框；步骤3，利用所述白蛾幼虫网幕识别模型对各个候选框进行筛选，得到优秀候选框；步骤4，对所有优秀候选框进行融合处理，得到一个连续的目标轮廓框，该目标轮廓框即为白蛾幼虫网幕的位置，智能喷药机器人对该目标轮廓框内进行喷药。所述步骤1中的对样本进行分类的操作包括：将所有样本分为三类，分别为白蛾网幕类、有白蛾网幕类和无白蛾网幕类；其中属于白蛾网幕类的是绝大部分区域含有白蛾网幕的样本，属于有白蛾网幕类是有小部分区域含有白蛾网幕的样本，属于无白蛾网幕类的是无白蛾网幕的样本。所述步骤1中的利用样本训练卷积神经网络得到白蛾幼虫网幕识别模型的操作包括：(11)建立卷积神经网络；(12)将所有样本中的一部分作为测试集，另一部分作为验证集；(13)利用测试集和验证集对所述卷积神经网络进行训练，得到训练好的卷积神经网络，即白蛾幼虫网幕识别模型。所述步骤(11)中建立的卷积神经网络包括输入层、第一卷积层、第二卷积层、第三卷积层、全局均值池化层、输出层。所述步骤(13)中的利用测试集和验证集对所述卷积神经网络进行训练的操作包括：从输入层输入RGB空间的样本；利用第一卷积层、第二卷积层、第三卷积层对RGB空间的样本进行特征提取得到RGB空间的特征图；将样本从RGB空间转到YUV空间，利用第一卷积层、第二卷积层、第三卷积层对所有YUV空间的样本进行特征提取得到YUV空间的特征图；将RGB空间的特征图、YUV空间的特征图一起输入到全局均值池化层；所述全局均值池化层对RGB空间的特征图、YUV空间的特征图求全局均值；并将全局均值发送给输出层。所述输出层含有三个神经元，分别对应优秀、合格、不合格；所述优秀对应白蛾网幕类，所述合格对应有白蛾网幕类，所述不合格对应无白蛾网幕类。所述步骤2中的利用不重合滑动窗口遍历每帧图像，得到多个候选框的操作包括：(21)依据图像的大小确定滑动窗口的尺寸：每帧图像的宽和高能分别被滑动窗口的宽w和高h整除；设置滑动窗口的面积最小值Sn；(22)以图像的左上角为坐标原点，以图像的右侧作为x轴正方向，以图像的下侧作为y轴正方向建立图像坐标系；将图像的坐标原点作为滑动窗口起始点，将滑动窗口的宽作为滑动窗口x轴方向的步长，将滑动窗口的高作为图像y轴的步长；(23)将滑动窗口按照从左到右、从上到下的顺序进行滑动；滑动窗口的尺寸和移动到的位置即为候选框的尺寸和位置，这样得到多个候选框。所述步骤3的操作包括：(31)利用白蛾幼虫网幕识别模型对各个候选框进行分类：如果白蛾幼虫网幕识别模型的输出是优秀，则输入的候选框为优秀候选框；如果白蛾幼虫网幕识别模型的输出是合格，则输入的候选框为合格候选框；如果白蛾幼虫网幕识别模型的输出是不合格，则输入的候选框为不合格候选框；(32)将所有优秀候选框保留，将所有不合格候选框舍弃；然后将滑动窗口的宽和高分别缩小为原来的二分之一，如果不存在合格候选框或者缩小后的滑动窗口的面积小于Sn，则进入步骤(33)，否则返回步骤(22)；(33)结束。所述步骤4中的对所有优秀候选框进行融合处理，得到一个连续的目标轮廓框的操作包括：(41)在一个与原图像大小相同的黑色二值图像上，在对应每个优秀候选框的位置处绘制出白色实心候选框，得到二值图像；每个白色实心候选框的尺寸和与其对应的优秀候选框的尺寸相同；(42)在所述二值图像中提取目标轮廓框，在原图像上对应的位置处绘制出所述目标轮廓框并高亮显示。与现有技术相比，本专利技术的有益效果是：本专利技术对各种不同的复杂环境具有较好的适应性，抗干扰能力强，能够准确地定位美国白蛾幼虫网幕位置，使智能喷药机器人快速正确决策，极大地减少药物浪费。另外，该定位方法由机器自主学习，不需要调试太多参数。根据选择性搜索和多尺度滑动窗口原理，提出基于不重合滑动窗口的美国白蛾幼虫网幕图像定位方法，该方法不再依据图像分割结果来获取候选框，而是通过不断均分图像来获取候选框，一步步缩小检测范围，最终定位出白蛾幼虫网幕的正确位置。附图说明图1为白蛾幼虫生长环境图；图2为卷积神经网络(CNN)原理示意图；图3为不重合滑动窗口工作原理示意图；图4为机器人视觉系统流程示意图；图5(a)实际图片处理流程的第一次提取候选框示意图；图5(b)实际图片处理流程的第二次提取候选框示意图；图5(c)实际图片处理流程的第三次提取候选框示意图；图5(d)实际图片处理流程的第四次提取候选框示意图；图5(e)实际图片处理流程的第五次提取候选框示意图；具体实施方式下面结合附图对本专利技术作进一步详细描述：本专利技术基于卷积神经网络的美国白蛾幼虫网幕图像定位方法，包括如下步骤：步骤1,在各种不同的环境下采集美国白蛾幼虫网幕图片。截取图片中的不同部位作为样本，并将样本分为白蛾网幕、有白蛾网幕和无白蛾网幕三类。属于第一类白蛾网幕的图片其绝大部分区域含有白蛾网幕，属于第二类有白蛾网幕的图片其小部分区域含有白蛾网幕，属于第三类无白蛾网幕的图片中无白蛾网幕。实际使用时，也可以根据需要对图片样本进行其它分类，例如分为两类或者分为三类以上。依据所分的样本类别建立测试集和验证集。搭建卷积神经网络(CNN)模型，利用所建立的数据集训练CNN模型。所述搭建CNN模型，利用所建立的数据集训练CNN模型包括如下步骤：1)如图2所示(图2中的RGB和YUV是两种不同的颜色空间，本专利技术方法的主要思想是不同的颜色空间有不同的优点，多种颜色空间混合使用可弥补单一颜色空间的不足。综合考虑不同颜色空间搭配的效果和数据量选择RGB和YUV颜色空间)，确定深度神经网络整体架构：Conv1层(第一卷积层)。Conv1层是一个分组卷积层，卷积前将图像从RGB空间转到YUV空间，分本文档来自技高网...

【技术保护点】
1.一种用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，其特征在于：所述方法包括：步骤1，采集美国白蛾幼虫网幕图片，截取图片中的不同部位作为样本，对所有样本进行分类，并利用样本训练卷积神经网络得到白蛾幼虫网幕识别模型；步骤2，对智能喷药机器人采集到的视频图像进行稳像处理获得稳定的单帧图像，利用不重合滑动窗口遍历每帧图像，得到多个候选框；步骤3，利用所述白蛾幼虫网幕识别模型对各个候选框进行筛选，得到优秀候选框；步骤4，对所有优秀候选框进行融合处理，得到一个连续的目标轮廓框，该目标轮廓框即为白蛾幼虫网幕的位置，智能喷药机器人对该目标轮廓框内进行喷药。

【技术特征摘要】
1.一种用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，其特征在于：所述方法包括：步骤1，采集美国白蛾幼虫网幕图片，截取图片中的不同部位作为样本，对所有样本进行分类，并利用样本训练卷积神经网络得到白蛾幼虫网幕识别模型；步骤2，对智能喷药机器人采集到的视频图像进行稳像处理获得稳定的单帧图像，利用不重合滑动窗口遍历每帧图像，得到多个候选框；步骤3，利用所述白蛾幼虫网幕识别模型对各个候选框进行筛选，得到优秀候选框；步骤4，对所有优秀候选框进行融合处理，得到一个连续的目标轮廓框，该目标轮廓框即为白蛾幼虫网幕的位置，智能喷药机器人对该目标轮廓框内进行喷药。2.根据权利要求1所述的用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，其特征在于：所述步骤1中的对样本进行分类的操作包括：将所有样本分为三类，分别为白蛾网幕类、有白蛾网幕类和无白蛾网幕类；其中属于白蛾网幕类的是绝大部分区域含有白蛾网幕的样本，属于有白蛾网幕类是有小部分区域含有白蛾网幕的样本，属于无白蛾网幕类的是无白蛾网幕的样本。3.根据权利要求2所述的用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，其特征在于：所述步骤1中的利用样本训练卷积神经网络得到白蛾幼虫网幕识别模型的操作包括：(11)建立卷积神经网络；(12)将所有样本中的一部分作为测试集，另一部分作为验证集；(13)利用测试集和验证集对所述卷积神经网络进行训练，得到训练好的卷积神经网络，即白蛾幼虫网幕识别模型。4.根据权利要求3所述的用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，其特征在于：所述步骤(11)中建立的卷积神经网络包括输入层、第一卷积层、第二卷积层、第三卷积层、全局均值池化层、输出层。5.根据权利要求4所述的用于智能喷药机器人的美国白蛾幼虫网幕图像定位方法，其特征在于：所述步骤(13)中的利用测试集和验证集对所述卷积神经网络进行训练的操作包括：从输入层输入RGB空间的样本；利用第一卷积层、第二卷积层、第三卷积层对RGB空间的样本进行特征提取得到RGB空间的特征图；将样本从RGB空间转到YUV空间，利用第一卷积层、第二卷积层、第三卷积层对所有YUV空间的样本进行特征提取得到YUV空间的特征图；将RGB空间的特征图、YUV空间的特征图一起输入到全局均值池化层；所述全局均值池化...

【专利技术属性】
技术研发人员：赵颖，高严，冯德瀛，张来刚，赵栋杰，孙群，
申请(专利权)人：聊城大学，
类型：发明
国别省市：山东,37