一种基于ARM集成板农药喷洒机器人的控制方法及系统技术方案

本发明专利技术公开了一种基于ARM集成板农药喷洒机器人的控制方法及系统，属于智慧农业与农机相关技术领域。将相机采集到图像信息传至ARM集成板处理，通过神经网络模型计算后，输出从图像信息中识别到的蔬果苗分类和蔬果苗至摄像头距离，当检测到待喷药蔬果苗处于喷药机器人喷洒范围时，启动喷洒装置，完成对单株蔬果苗精确喷药。本发明专利技术实现对蔬果苗的精确识别与农药喷洒，提高了农药利用效率，节约了人力成本，且具有较好的通用性。且具有较好的通用性。且具有较好的通用性。

【技术实现步骤摘要】
一种基于ARM集成板农药喷洒机器人的控制方法及系统


[0001]本专利技术属于智慧农业与农机相关
，更具体地，涉及一种基于ARM集成板农药喷洒机器人的控制方法及系统。

技术介绍

[0002]我国是一个农业大国，随着农产品种植规模不断扩大，对农药喷洒的覆盖面积、喷洒效率也提出了更高的要求。传统的人工喷洒农药不仅效率低下、劳动强度大，散发在空气中的农药还会对劳动者的身体健康产生不利影响，大量农药残存在空气中还会对农田周边土壤、水源造成污染。目前在市面上常见的大型农药喷洒机械仍存在需要人工操作、不能针对单个植株精确喷洒农药、农药利用率低且农药容易造成浪费等问题。
[0003]卷积神经网络是根据生物的视知觉的机制构建的一种神经网络，由输入层、卷积层、池化层和全连接多层感知机分类器构成，可以进行监督学习和非监督学习。随着人工智能技术不断发展，计算机视觉与图像识别技术逐渐应用于智慧农业与农业机械领域。申请公布号为CN103116747A的专利公开了一种自动识别玉米茎叶图像的方法和系统，采用传统的二值化图像提取图像特征进行识别，该方法在识别上泛化能力弱、精度较差。申请公布号为CN112149727A的专利公开了一种基于Mask R
‑
CNN的青椒图像检测方法，该方法采用卷积神经网络模型实现对青椒的识别与检测框定位，通过采摘序列算法对青椒采摘顺序进行排序，但没有将算法与硬件系统地结合起来。申请公布号为CN213719569U的专利公开了一种喷药机器人，该机器人虽采用神经网络的方式对病虫害可以进行识别与农药喷洒，但其采用的openmv嵌入式图像处理模块可开发性较弱，不利于机器人后续其它功能的集成与开发。

技术实现思路

[0004]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于ARM集成板农药喷洒机器人的控制方法及系统，其一方面使用轻量级的神经网络对待识别蔬果苗进行训练，实现对待识别目标更高效的识别功能，另一方面将训练好的神经网络移植至ARM集成板，通过连接摄像头实现实时目标识别检测，GPIO电信号输出控制喷药系统并启动喷洒装置开关等一系列功能，同时本专利技术采用ARM集成板作为嵌入式微控制器，更有利于后期喷药机器人其它功能集成与开发(如自动巡航等)。
[0005]为实现上述目的，按照本专利技术一个方面，提供了一种基于ARM集成板农药喷洒机器人的控制方法，包括以下步骤：
[0006]S1.将采集到的蔬果苗图像进行预处理并形成样本集，将所述样本集划分训练集和测试集，将所述训练集输入至初始ssd
‑
mobilenet模型中进行训练，得到基于蔬果苗图像的ssd
‑
mobilenet模型，将所述测试集对训练好的ssd
‑
mobilenet模型进行测试并调整至模型收敛，得到最终的ssd
‑
mobilenet模型；
[0007]S2.使用最终的ssd
‑
mobilenet模型，采集实景蔬果苗图像，利用预先标定的相机
参数矫正左目与右目图像，采用OpenCV进行图像识别，得到蔬果苗分类以及蔬果苗至相机距离，当检测到待喷药蔬果苗在农药喷洒机器人的喷洒范围内时，启动喷洒装置，完成对单株蔬果苗的精确喷药，否则不启动喷洒装置。
[0008]进一步地，采集蔬果苗图像时需要充分考虑喷药机器人的实际应用情况，确定机器人摄像头架设高度与偏向角度，尽量在同一高度角度下对农田中单个蔬果苗植株进行图像采集，采集过程中还要注意光照与距离的影响，为了增加样本多样性应该在不同光线、不同距离情况下进行图片采集，采集照片张数理论上不应少于1000张。
[0009]进一步地，大多数情况下能获取到符合要求的样本并不能满足要求，为了增强鲁棒性需要对样本集进行预处理，预处理包括对图像进行翻转、随机剪裁、旋转、增加椒盐噪声、高斯噪声等处理。
[0010]进一步地，训练集与测试集数量比例大致为3:1。
[0011]进一步地，对训练集与测试集赋予标签：采用LabelImg图像标注工具，分别将训练集与测试集中的蔬果苗框选出来，赋予标签。标记生成的xml文件记录了每张图像的文件名、路径、框选目标在图片像素坐标系中所处的位置和标签内容。
[0012]进一步地，ssd
‑
mobilenet模型的训练过程包括：
[0013](11)下载Google开源的TensorFlow object detection框架。
[0014](12)将标记好的训练集与测试集xml文件转换为Tensorflow开源框架object detection API可读取的tfrecord格式文件。
[0015](13)配置开源框架中的训练参数：mobilenet是由google在2017年发布的一个轻量级深度神经网络，体积小、计算量少，适用于移动设备，其主要创新点是是用深度可分离卷积代替普通的卷积。故选择轻量级网络ssd
‑
mobilenet作为待训练网络，设置config文件中的参数，包括fine
‑
tune模型的添加、训练次数设定、学习率设定、batch size的设定。
[0016](14)根据GPU情况可以选择在GPU条件下运行训练文件，生成Tensorflow的pb模型文件。
[0017](5)使用Tensorboard查看训练结果。
[0018]进一步地，双目摄像头的标定包括：
[0019](21)准备棋盘格相机标定板一块，固定双目摄像头，保证摄像头焦距、光圈不变，分别用左目和右目摄像头拍摄标定板，拍摄时保证拍摄的标定板均匀分布在标定图像的四个象限中。
[0020](22)下载MATLAB相机标定工具箱，使用标定工具箱分别为左目摄像头、右目摄像头以及双目摄像头进行标定。标定过程包括：输入标定棋盘格长、宽尺寸，为每张图片点选棋盘格四个内角点，得到单目相机参数后运行双目标定程序。
[0021](23)双目摄像头标定完成后共得到参数有：左右目相机内参矩阵、左右目相机的畸变系数、双目相机的平移向量与旋转向量。利用标定后的参数完成相机矫正部分程序编写。
[0022]进一步地，S2具体包括：
[0023](31)下载OpenCV开源代码，在源码文件路径samples\dnn中找到tf_text_graph_ssd.py程序，可以将Tensorflow生成的pb模型转化成OpenCV可读取形式，输入pb模型保存路径与配置文件路径生成pbtxt格式文件，该文件可以使用OpenCV中DNN模块调用来完成识
别任务。
[0024](32)利用标定得到的相机参数矫正左目与右目图像，采用OpenCV中SGBM立体匹配算法生成视差图，并由视差图计算图像中每个像素点对应的真实坐标，该坐标是以左目摄像头光心点作为原点的。
[0025](33)初始化GPIO，初始化模型标签加载训练好的模型文件，启用双目摄像头，读取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ARM集成板农药喷洒机器人的控制方法，其特征在于，包括以下步骤：S1.将采集到的蔬果苗图像进行预处理并形成样本集，将所述样本集划分训练集和测试集，将所述训练集输入至初始ssd
‑
mobilenet模型中进行训练，得到基于蔬果苗图像的ssd
‑
mobilenet模型，将所述测试集对训练好的ssd
‑
mobilenet模型进行测试并调整至模型收敛，得到最终的ssd
‑
mobilenet模型；S2.使用最终的ssd
‑
mobilenet模型，采集实景蔬果苗图像，利用预先标定的相机参数矫正左目与右目图像，采用OpenCV进行图像识别，得到蔬果苗分类以及蔬果苗至相机距离，当检测到待喷药蔬果苗在农药喷洒机器人的喷洒范围内时，启动喷洒装置，完成对单株蔬果苗的精确喷药，否则不启动喷洒装置。2.如权利要求1所述的方法，其特征在于，对样本集进行预处理，预处理包括对图像进行翻转，随机剪裁，旋转，增加椒盐噪声、高斯噪声。3.如权利要求1所述的方法，其特征在于，对训练集与测试集赋予标签：采用LabelImg图像标注工具，分别将训练集与测试集中的蔬果苗框选出来，赋予标签，标记生成的xml文件记录了每张图像的文件名、路径、框选目标在图片像素坐标系中所处的位置和标签内容。4.如权利要求3所述的方法，其特征在于，ssd
‑
mobilenet模型的训练过程包括：(11)下载Google开源的TensorFlow object detection框架；(12)将标记好的训练集与测试集xml文件转换为Tensorflow开源框架object detection API可读取的tfrecord格式文件；(13)设置config文件中的参数，包括fine
‑
tune模型的添加、训练次数设定、学习率设定、batch size的设定；(14)根据GPU情况可以选择在GPU条件下运行训练文件，生成Tensorflow的pb模型文件；(5)使用Tensorboard查看训练结果。5.如权利...

【专利技术属性】
技术研发人员：张谋，李心怡，江雯，王鹏，李鹏飞，胡亚益，宋燚，熊业明，薛云朝，郭立力，唐茂，李全，范兴良，王贤勇，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：