一种基于机器视觉的割草机器人的调度方法技术

本发明专利技术公开了一种基于机器视觉的割草机器人的调度方法，步骤：一、通过摄像机获取周围环境照片；二、将获取的周围环境照片输入青草识别模型即训练后的SSD算法模型得该照片的青草信息；三、判断照片中是否有青草，如无青草则旋转摄像机后返回步骤一，反之则以该照片中青草的任一坐标为目标点I，驱动割草机器人向目标点I运动，割草机器人到达目标点I后开启割草电机；四、割草完成后判断该照片的青草的所有坐标是否均已成为目标点，如是则旋转摄像机后返回步骤一，如摄像机旋转180°后仍未发现青草则割草工作结束，反之返回步骤三。本发明专利技术的调度方法，控制过程流程简单，逻辑简单且有效，能够有效调度割草机器人完成割草工作，应用前景好。

A scheduling method of mowing robot based on machine vision

The invention discloses a scheduling method of mowing robot based on machine vision, the steps are as follows: 1. Obtain the surrounding environment photos by camera; 2. Input the acquired surrounding environment photos into the grass recognition model, i.e. the trained SSD algorithm model to obtain the grass information of the photos; 3. Judge whether there is grass in the photos, if there is no grass, rotate the camera and return to step 1, reverse Take any coordinates of the grass in the photo as the target point I, drive the mowing robot to move to the target point I, and turn on the mowing motor when the mowing robot reaches the target point I; IV. judge whether all coordinates of the grass in the photo have become the target point after the mowing is completed, if so, turn the camera and return to step 1, if no grass is found after the camera rotates 180 \u00b0, then the mower Do the end, otherwise return to step 3. The scheduling method of the invention has the advantages of simple control process flow, simple and effective logic, can effectively schedule the mowing robot to complete the mowing work, and has good application prospect.

【技术实现步骤摘要】
一种基于机器视觉的割草机器人的调度方法
本专利技术属于农用机械
，涉及一种割草机器人的调度方法，特别涉及一种无需围栏的基于机器视觉的割草机器人的调度方法。
技术介绍
随着社会的发展，人们对生活品质的要求越来越高，在现代城市中绿化面积的占比日益增大，绿化面积的增大不可避免的给绿化修整工作带来了一定的困难，绿化修整工作中工作量最大的就是草坪修整。传统的草坪修整是通过工人控制汽油割草机来实现的，其噪音大、油耗高、污染较大且需要人工控制，成本较高，已经与当前社会的节能减排智能化的发展需求格格不入。因此，一种无需人工控制、智能化程度高且噪声、能耗低的自动割草机是当前行业的迫切需求。而目前自动割草机市场主要被国外品牌垄断，其设备价格昂贵，难以在国内进行大规模推广，严重制约了我国的草坪自动化和智能化建设。目前的智能割草机绝大多数是采用电子围栏限定割草范围使得割草机在限定范围内割草，其虽然一定程度上进行了割草智能自动化，但架设电子围栏需要耗费额外的人力，调整割草范围还需重新架设电子围栏，其运行成本较高，已与当前数字化和智能化的行业需求不符合。一种无需围栏的基于机器视觉的割草机器人是当前的迫切需求，然而虽然近几年深度学习的飞速发展，目标检测也有很大进展，但如何准确识别青草并实现割草机器人的有效调度仍然是目前行业普及基于机器视觉的割草机器人面临的最大挑战。因此，开发一种无需围栏、能准确识别青草且调度效果好的基于机器视觉的割草机器人的调度方法极具现实意义。
技术实现思路
本专利技术的目的在于克服现有技术无法准确识别青草并实现割草机器人的有效调度的缺陷，提供一种无需围栏、能准确识别青草且调度效果好的基于机器视觉的割草机器人的调度方法。为实现上述目的，本专利技术提供如下技术方案：一种基于机器视觉的割草机器人的调度方法，所述割草机器人包括驱动系统、割草电机、割刀、摄像机和微型电脑，所述微型电脑包括一个或多个程序和一个或多个处理器，当所述一个或多个程序被所述处理器执行时，使得所述割草机器人执行如下的调度方法；所述调度方法包括以下步骤：(1)通过摄像机获取周围环境照片；(2)将获取的周围环境照片输入青草识别模型即得该照片的青草信息，所述青草信息包括该照片是否有青草和该照片中青草的位置信息；(3)判断该照片中是否有青草，如没有青草，则旋转摄像机后返回步骤(1)，反之，则以该照片中青草的任一坐标为目标点I，驱动割草机器人向目标点I运动，割草机器人到达目标点I后，开启割草电机进行割草；(4)割草完成后，判断该照片的青草的所有坐标是否均已成为目标点，如是，则旋转摄像机后返回步骤(1)，如摄像机旋转180°后，仍未发现青草则割草工作结束，反之，返回步骤(3)；所述青草识别模型是由照片数据库训练后的SSD算法模型，照片数据库包含多张照片I和照片I中青草所在的位置信息，训练时分别以照片I及其对应照片I中青草所在的位置信息为输入项和输出项。本专利技术的青草识别模型采用Caffe-ssd进行训练，本专利技术将Caffe-ssd应用于青草识别领域，相比于FastR-CNN等，其具有识别准确率高和识别速度快的特点，同时通过摄像机获取环境照片，采用青草识别模型处理分析环境照片，确定青草的位置，基于机器人与青草的相对位置，调整机器人的偏转角度并驱动机器人达到青草位置进行割草，割草完成后再次采集环境照片重复以上操作，直至环境照片内无青草为止，在整个过程中系统以机器人位置为坐标原点，即坐标原点是运动的，整个控制过程流程简单，逻辑简单且有效，能够有效调度割草机器人完成割草工作，应用前景好。作为优选的技术方案：如上所述的一种基于机器视觉的割草机器人的调度方法，所述照片数据库的照片I包括不同场景下拍摄的照片，所述不同场景包括不同光照、不同湿度、不同时间和不同温度；训练库中的照片数量及场景越多，训练所得的青草识别模型的适应性越好，识别准确率越高；照片I在录入照片数据库前进行了数据化处理，其具体为用脚本将图片集转化成VOC数据集，当然其具体数据化处理过程并不仅限于此，本专利技术仅列举一种可行的处理方法而已，其他能够对照片I进行数据化处理的方法也可适用于本专利技术。如上所述的一种基于机器视觉的割草机器人的调度方法，所述青草识别模型的训练过程如下：(i)将照片数据库的数据分为训练样本和测试样本；(ii)令迭代次数i＝1；(iii)分别以照片I及其对应照片I中青草所在的位置信息为输入项和输出项，选取一训练样本训练SSD算法模型的参数；(iv)选取一测试样本对该SSD算法模型的参数进行验证得到输出函数的loss；(v)判断输出函数的loss是否小于0.005，如果是，则将该组SSD算法模型的参数代入SSD算法模型得到青草识别模型；反之，则返回步骤(ii)，令i＝i+1。其中，loss是训练时程序产生的输出信息，如loss接近零即＜0.005，则说明训练出来的青草识别模型的识别结果与实际结果精确匹配即识别准确率高；如loss随着程序运行而变成nan，那就需要重设置各参数或者更改训练的青草图片样本。如上所述的一种基于机器视觉的割草机器人的调度方法，所述SSD算法模型的参数包括batch_size和base_lr。如上所述的一种基于机器视觉的割草机器人的调度方法，驱动割草机器人到达指定位置是通过设定偏转角度和运动距离来实现的。本专利技术的偏转角度和运动距离是通过摄像机采集到的照片来确定的即根据机器视觉确定，其中运动距离要在机器视觉获取的距离的基础上做一定的处理。如上所述的一种基于机器视觉的割草机器人的调度方法，所述偏转角度α是通过以下公式计算得到的：式中，偏转角度α的单位为°，w为摄像机获取照片的长度，单位为mm，x1为以摄像机获取照片靠近摄像机侧长边的中点为中心，长边右侧为x轴正方向，照片中青草对应的x轴坐标，单位为mm。如上所述的一种基于机器视觉的割草机器人的调度方法，所述运动距离是通过以下公式计算得到的：式中，L为照片中青草与摄像头的距离，单位为mm，y1为以摄像机获取照片靠近摄像机侧长边的中点为中心，长边右侧为x轴正方向，短边远离摄像机方向为y轴正方向，照片中青草对应的y轴坐标，单位为mm，RL为实际青草与摄像头的距离即运动距离，单位为mm。如上所述的一种基于机器视觉的割草机器人的调度方法，所述割草机器人包括车轮、车体、驱动电机、割刀、割草电机、微型电脑及摄像头；所述车体包括底板；所述底板上安装有四个大小形状相同的车轮，所有车轮不完全共轴且两两共轴，车轮轴包括轴I和轴II，轴I上的两轮为前轮，轴II上的两轮为后轮；所述底板的底部安装有与割草电机连接的割刀，割刀为三叶形，相比于其他形状的割刀，在保证较大的有效切割长度下，降低了刀片质量，提高了割草效率；所述轴I上的两轮间设有连接两轮的转向桥，转向桥与转向舵机连接，轴II上的两轮与驱动电机连接；本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的割草机器人的调度方法，所述割草机器人包括驱动系统、割草电机、割刀、摄像机和微型电脑，其特征在于，所述微型电脑包括一个或多个程序和一个或多个处理器，当所述一个或多个程序被所述处理器执行时，使得所述割草机器人执行如下的调度方法；/n所述调度方法包括以下步骤：/n(1)通过摄像机获取周围环境照片；/n(2)将获取的周围环境照片输入青草识别模型即得该照片的青草信息，所述青草信息包括该照片是否有青草和该照片中青草的位置信息；/n(3)判断该照片中是否有青草，如没有青草，则旋转摄像机后返回步骤(1)，反之，则以该照片中青草的任一坐标为目标点I，驱动割草机器人向目标点I运动，割草机器人到达目标点I后，开启割草电机进行割草；/n(4)割草完成后，判断该照片的青草的所有坐标是否均已成为目标点，如是，则旋转摄像机后返回步骤(1)，如摄像机旋转180°后，仍未发现青草则割草工作结束，反之，返回步骤(3)；/n所述青草识别模型是由照片数据库训练后的SSD算法模型，照片数据库包含多张照片I和照片I中青草所在的位置信息，训练时分别以照片I及其对应照片I中青草所在的位置信息为输入项和输出项。/n...

【技术特征摘要】
1.一种基于机器视觉的割草机器人的调度方法，所述割草机器人包括驱动系统、割草电机、割刀、摄像机和微型电脑，其特征在于，所述微型电脑包括一个或多个程序和一个或多个处理器，当所述一个或多个程序被所述处理器执行时，使得所述割草机器人执行如下的调度方法；
所述调度方法包括以下步骤：
(1)通过摄像机获取周围环境照片；
(2)将获取的周围环境照片输入青草识别模型即得该照片的青草信息，所述青草信息包括该照片是否有青草和该照片中青草的位置信息；
(3)判断该照片中是否有青草，如没有青草，则旋转摄像机后返回步骤(1)，反之，则以该照片中青草的任一坐标为目标点I，驱动割草机器人向目标点I运动，割草机器人到达目标点I后，开启割草电机进行割草；
(4)割草完成后，判断该照片的青草的所有坐标是否均已成为目标点，如是，则旋转摄像机后返回步骤(1)，如摄像机旋转180°后，仍未发现青草则割草工作结束，反之，返回步骤(3)；
所述青草识别模型是由照片数据库训练后的SSD算法模型，照片数据库包含多张照片I和照片I中青草所在的位置信息，训练时分别以照片I及其对应照片I中青草所在的位置信息为输入项和输出项。


2.根据权利要求1所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述照片数据库的照片I包括不同场景下拍摄的照片，所述不同场景包括不同光照、不同湿度、不同时间和不同温度；
照片I在录入照片数据库前进行了数据化处理。


3.根据权利要求2所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述青草识别模型的训练过程如下：
(i)将照片数据库的数据分为训练样本和测试样本；
(ii)令迭代次数i＝1；
(iii)分别以照片I及其对应照片I中青草所在的位置信息为输入项和输出项，选取一训练样本训练SSD算法模型的参数；
(iv)选取一测试样本对该SSD算法模型的参数进行验证得到输出函数的loss；
(v)判断输出函数的loss是否小于0.005，如果是，则将该组SSD算法模型的参数代入SSD算法模型得到青草识别模型；反之，则返回步骤(ii)，令i＝i+1。


4.根据权利要求3所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述SSD算法模型的参数包括batch_size和base_lr。


5.根据权利要求1所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，驱动割草机器人到达指定位置是通过设定偏转角度和运动距离来实现的。


6.根据权利要求5所述的一种基于机器视觉的割草机器人的调度方法，其特征在于，所述偏转角度α是通过以下公式计算得到的：



式中，偏转角度α的单位为°，w为摄像机获取照片的长度，单位为mm，x1为以摄像机获取照片靠近摄像机侧长边的中点为中心，长边右侧为x轴正方向，照片中青草...

【专利技术属性】
技术研发人员：艾永平，龚红英，唐巧兴，崔智帏，王少煌，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：上海;31