【技术实现步骤摘要】
本专利技术涉及农业采摘机器人领域，具体涉及一种基于视觉采摘成熟番茄输出根茎世界坐标方法。
技术介绍
1、农业采摘机器人是一种自动化设备，设计用于在农田中执行作物采摘任务。这些机器人利用先进的技术和算法，能够辨别和采摘成熟的农作物，提高农业生产效率并减轻人力成本。计算机视觉技术是农业采摘机器人的核心。通过使用摄像头和传感器，机器人可以获取图像和视频数据，并使用计算机视觉算法来分析和理解这些数据。这使机器人能够辨别不同类型的作物、识别成熟的水果或蔬菜，并计算出最佳的采摘策略。机器学习和深度学习算法在农业采摘机器人中扮演着重要角色。通过对大量数据进行训练，机器学习模型可以学习识别各种不同的农作物和成熟度指标。深度学习算法则可以帮助机器人进行目标检测、识别和分类。农业采摘机器人通常搭载各种类型的传感器，以获取环境信息并与周围的作物进行交互。这些传感器可能包括摄像头、激光雷达、红外线传感器等。传感器数据的准确性对于机器人能够正确识别和采摘作物至关重要。因此，对番茄进行成熟度判别并可靠稳定精确的输出成熟番茄对应根茎的世界坐标是番茄采摘机器人实现采摘作业的关键。可靠准确的视觉识别算法对于提高设施农业对成熟作物定时采摘效率具有重要意义。
2、目前已有一些对成熟番茄采摘的研究。申请号为cn202211458878.0的专利，该系统利用深度相机采集番茄图像，经过图像处理识别果实位置和直径。番茄果柄传感器分析成熟度，进行三维重建。控制器根据三维图像识别最佳采摘点，驱动执行器实现高效稳定的番茄采摘，但番茄生长周期对于成熟周期软硬信号阈值并不
技术实现思路
1、本专利技术的目的是针对现有技术存在的不足，提出一种基于视觉采摘成熟番茄输出根茎世界坐标方法，通过在2d图像推导成熟番茄所对应茎秆框并进行角度推理，针对现有深度相机成像测距在识别茎秆此类边缘深度值变化大、有效平面面积小的物体丢失点云信息进行优化，合理稳定的输出所需茎秆世界坐标及倾斜角度。
2、本专利技术的技术解决方案如下：
3、一种基于视觉深度学习检测成熟番茄根茎的方法，其特点在于，包括如下步骤：
4、步骤s1.利用采摘机器人拍摄获取采摘区域图像；
5、步骤s2.对所述采摘区域图像进行识别与预处理，删除无番茄图像，形成待采摘番茄数据集，并按比例分为训练集、验证集和测试集；
6、步骤s3.利用标注工具labelme对训练集中的待采摘番茄数据集标注上标签并截图，包括番茄截图、根茎截图、番茄带根茎截图；
7、提取所述番茄带根茎截图按比例扩充所述待采摘番茄数据集；
8、步骤s4.构建番茄根茎检测模型：基于训练集和验证集，更改训练超参对yolov5神经网络进行训练和验证，得到番茄根茎检测模型，模型可接收图片作为输入识别番茄及根茎，输出番茄锚框像素坐标、根茎锚框像素坐标；
9、步骤s5.构建与训练番茄成熟度判别系统：
10、将所述番茄截图进行hsv色域空间转换读取，获取成熟番茄的色相、饱和度和色明度区间；
11、当接受所述番茄截图后，判断区间参数是否符合所述成熟番茄的色相、饱和度和色明度区间的像素点数量，当符合的像素点数量占总像素点超70％，则判定番茄成熟；
12、步骤s6.获取成熟番茄的根茎坐标信息：
13、利用采摘机器人拍摄获取待采摘区域图像，并将获取的rgb图像帧和深度帧对齐,使用torch加载训练后的番茄根茎检测模型，将待采摘区域图像输入，根据所述番茄根茎检测模型输出的番茄像素坐标进行截图，形成待采摘番茄截图集；
14、将所述待采摘番茄截图集输入所述番茄成熟度判别系统，输出的番茄成熟度；
15、如输出的番茄成熟度大于90，则根据根茎平均像素长宽外扩番茄锚框，查找根茎、番茄连通域，即将成熟番茄和根茎一一对应，确保只对成熟番茄对应的根茎结果进行下一步处理。
16、步骤s7：获取成熟番茄的根茎倾斜角度；
17、对所述成熟番茄的根茎进行二次识别，获取根茎锚框像素坐标，并将根茎截图进行hsv色域分割、canny算子提取边缘、hough直线变换检测直线操作后，计算最长直线的斜率，获取成熟番茄的根茎倾斜角度，若无角度信息代表遮挡严重放弃采摘；
18、步骤s8：获取成熟番茄的根茎点深度值：
19、根据二次识别获取的成熟番茄像素坐标锚框计算中心点，将rgb像素坐标输入相机sdk深度值计算函数，若点云为未丢失，则返回深度值；若点云缺失，则采用广度优先搜索法寻找番茄平面有效深度点作为根茎点深度值。
20、进一步，还包括步骤s9：将根茎点像素坐标、深度值、相机内参作为输入参数调用深度相机sdk世界坐标函数返回根茎中心点世界坐标，发送根茎中心点世界坐标、根茎倾斜角度以及根茎所对应番茄成熟度等信息至番茄采摘机器人，机器人将根据成熟番茄根茎信息执行无人轨道车路径规划，机械臂采摘路径规划等功能。
21、本专利技术采用intel d435i双目深度相机，深度学习图像识别采用yolov5架构。
22、优选地，所述预处理使用mosaic数据增强，对自动采集图像进行随机水平或垂直翻转、剪裁、马赛克涂抹、尺度变换等处理。
23、优选地，所述yolov5神经网络训练时，通过1280*720长宽直接拍摄获取的图片和进行roi切割兴趣流域两类图片组成，旨在查找成熟番茄的连通域，确保只对成熟番茄进行对应根茎坐标输出。
24、优选地，所述对于根茎截图首先使用hsv色域分割裁剪出绿色区域，再通过canny算子进行边缘检测，最后使用hough直线变换检测直线，并将所识别到的直线进行长度排序，选取最长的直线进行斜率计算，输出根茎倾斜角度，为番茄采摘机器人实际采摘受夹爪机械结构和根茎长度限制，需在采摘前夹爪旋转至根茎实际倾斜角度相切位，以相应姿态将夹爪末端卡入根茎左右。
25、优选地，所述yolov5神经网络训练过程中用giou loss用来计算bounding box的loss，具体计算方式是：
26、giou＝|a∩b||a∪b|-|c/(a∪b)||c|＝iou-|c/(a∪b)||c|
27、即将两个任意框a，b，找到一个最小的封闭形状c，让c可以把a、b包含在内，接着计算c没有覆盖a和b的面积占总面积本文档来自技高网...
【技术保护点】
1.一种基于视觉深度学习检测成熟番茄根茎的方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于视觉深度学习检测成熟番茄根茎的方法，其特征在于，还包括步骤S9：将根茎点像素坐标、深度值、相机内参作为输入参数调用深度相机SDK世界坐标函数返回根茎中心点世界坐标，发送根茎中心点世界坐标、根茎倾斜角度以及根茎所对应番茄成熟度等信息至番茄采摘机器人，机器人将根据成熟番茄根茎信息执行无人轨道车路径规划，机械臂采摘路径规划功能。
3.根据权利要求1所述的基于视觉深度学习检测成熟番茄根茎的方法，其特征在于，所述预处理是利用Mosaic数据增强对所述采摘区域图像进行随机水平或垂直翻转、剪裁、马赛克涂抹和/或尺度变换处理。
4.根据权利要求1所述的基于视觉深度学习检测成熟番茄根茎的方法，其特征在于，所述yolov5神经网络训练时，通过1280*720长宽直接拍摄获取的图片和进行Roi切割兴趣流域两类图片组成，旨在查找成熟番茄的连通域，确保只对成熟番茄进行对应根茎坐标输出。
5.根据权利要求4所述的基于视觉深度学习检测成熟番茄根茎的方法，其特征
6.根据权利要求1所述的基于视觉深度学习检测成熟番茄根茎的方法，其特征在于，所述根茎截图首先使用HSV色域分割裁剪出绿色区域，再通过Canny算子进行边缘检测，最后使用Hough直线变换检测直线，并将所识别到的直线进行长度排序，选取最长的直线进行斜率计算，输出根茎倾斜角度，为番茄采摘机器人实际采摘受夹爪机械结构和根茎长度限制，需在采摘前夹爪旋转至根茎实际倾斜角度相切位，以相应姿态将夹爪末端卡入根茎左右。
...【技术特征摘要】
1.一种基于视觉深度学习检测成熟番茄根茎的方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于视觉深度学习检测成熟番茄根茎的方法，其特征在于，还包括步骤s9：将根茎点像素坐标、深度值、相机内参作为输入参数调用深度相机sdk世界坐标函数返回根茎中心点世界坐标，发送根茎中心点世界坐标、根茎倾斜角度以及根茎所对应番茄成熟度等信息至番茄采摘机器人，机器人将根据成熟番茄根茎信息执行无人轨道车路径规划，机械臂采摘路径规划功能。
3.根据权利要求1所述的基于视觉深度学习检测成熟番茄根茎的方法，其特征在于，所述预处理是利用mosaic数据增强对所述采摘区域图像进行随机水平或垂直翻转、剪裁、马赛克涂抹和/或尺度变换处理。
4.根据权利要求1所述的基于视觉深度学习检测成熟番茄根茎的方法，其特征在于，所述yolov5神经网络训练时...
【专利技术属性】
技术研发人员：苗中华，靳博，李楠，潘康，张皓铭，
申请(专利权)人：上海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。