基于深度学习的番茄茎秆识别与三维重建方法技术

本发明专利技术提供一种基于深度学习的番茄茎秆识别与三维重建方法，包括：利用相机在番茄温室里从不同位置多角度采集番茄茎秆图像，建立番茄茎秆图像数据集；进行彩色相机和深度相机的参数标定；利用MaskRCNN卷积神经网络训练得到较好的识别效果，并利用训练好的MaskRCNN模型识别番茄彩色图像，得到茎秆段的最小外接矩形的像素顶点坐标；利用深度图像和彩色图像匹配，获取基于相机坐标系的顶点坐标和中心三维坐标，并计算得到茎秆的半径r和高度h；将基于相机坐标的茎秆坐标转换为基于机器人基坐标系表示，并利用顶点坐标求解茎秆的空间姿态RPY角度；将空间姿态角度转换为ROS四元素，并根据番茄茎秆的半径r和高度h、中心三维坐标完成番茄茎秆障碍物的创建。成番茄茎秆障碍物的创建。成番茄茎秆障碍物的创建。

【技术实现步骤摘要】
基于深度学习的番茄茎秆识别与三维重建方法


[0001]本专利技术涉及农业机器人领域，尤其是涉及一种基于深度学习的番茄茎秆识别与三维重建方法。

技术介绍

[0002]番茄采摘机器人的视觉系统除了果实的识别和定位外，茎秆的识别和重建也很重要。番茄茎秆和果叶会遮挡果实，果叶造成的影响较小，茎秆整体偏硬，对番茄的采摘影响较大，在采摘过程中农业机器人需要避开茎秆才能进行有效地采摘。因此，研究果蔬茎秆的识别以及三维重建具有重要意义。
[0003]目前，常见的三维重建方法主要有：基于体素、点云和网格描述三维物体。基于点云的表达方式以较高的分辨率描述三维物体，重建的三维物体不仅包含了形状信息，还包含色彩信息。点云的处理方式生成的是不规则的数据格式，减少了内存的消耗，却无法利用卷积操作，点云作为点的集合，数量也是有限的。针对番茄茎秆的重建问题，点云生成的障碍物包含大量的叶面噪声，对避障规划影响很大，因此点云并不是合适的处理方法。重建茎秆时，关键在于茎秆的空间位姿信息，对于茎秆的特征细节要求不是很高。在运用卷积神经网络识别物体时，可以得到目标物的分类信息和位置信息，相比于传统方法，卷积神经网络计算速度快且识别信息完整。综上所述，使用深度学习卷积神经网络作为茎秆的识别方法，基于识别框的三维信息重建茎秆障碍物是很有必要的。

技术实现思路

[0004]针对现有技术存在的缺陷，本专利技术的目的是提供一种基于深度学习的番茄茎秆识别与三维重建方法，能够精准快速的实现番茄茎秆的识别和三维重建，便于后期机器人采摘过程中完成避障运动。
[0005]为达到上述目的，本专利技术采用如下技术方案：
[0006]一种基于深度学习的番茄茎秆识别与三维重建方法，包括以下步骤：
[0007]S1.利用相机在番茄温室里从不同位置多角度采集番茄茎秆图像，兼顾不同光照条件、叶子和果实遮挡条件下的番茄茎秆图像采集，建立番茄茎秆图像数据集；
[0008]S2.进行彩色相机和深度相机的参数标定；
[0009]S3.利用Mask RCNN卷积神经网络训练得到较好的识别效果，并利用训练好的Mask RCNN模型识别番茄彩色图像，得到茎秆段的最小外接矩形的像素顶点坐标；
[0010]S4.利用深度图像和彩色图像匹配，获取基于相机坐标系的顶点坐标和中心三维坐标，并计算得到茎秆的半径r和高度h；
[0011]S5.将基于相机坐标的茎秆坐标转换为基于机器人基坐标系表示，并利用顶点坐标求解茎秆的空间姿态RPY角度；
[0012]S6.将空间姿态角度转换为ROS四元素，并根据半径r和高度h、中心三维坐标完成番茄茎秆障碍物的创建。
[0013]进一步地，步骤S1中所述建立番茄茎秆图像数据集，具体方法如下：
[0014]S1
‑
1.番茄茎秆的茎秆长度和形状并不规则，被果叶和果实遮挡的概率较大，采集数据时不但需要考虑光照条件，还需要考虑各种干扰的情况；
[0015]S1
‑
2.采用网格离散化标记法，利用形状规则的四边形标记茎秆，保证四边形包含的像素点面积尽量和茎秆包含的像素点面积一致，四边形的长边沿着茎秆的生长方向，短边与茎秆截面平行，标注过程中保持网格为四边形。
[0016]进一步地，步骤S2中所述的彩色相机和深度相机参数标定，具体方法如下：
[0017]S2
‑
1.通过彩色相机和深度相机拍摄不同姿态下标定棋盘格板的图片，利用标定函数findChessboard Corners获得对应角点像素坐标；
[0018]S2
‑
2.通过标定函数calibrateCamera函数输入内角点坐标值，获得深度相机的内参矩阵；
[0019]S2
‑
3.对相机进行配准，获取物体的彩色和深度信息，利用深度图像和彩色图像与世界坐标系的转换关系，通过坐标变换，实现深度图像和彩色图像对齐。
[0020]进一步地，所述步骤S3利用训练好的Mask RCNN模型识别番茄彩色图像，得到茎秆段的最小外接矩形的像素顶点坐标；具体方法如下：
[0021]S3
‑
1.利用Mask RCNN采取ResNet和特征金字塔结构，以及Mask的预测分支用于目标物体的轮廓定位；将茎秆图像输入骨干网络，提取图像特征，生成二维矩阵；
[0022]S3
‑
2.采用RPN在二维矩阵上生成一定数量的感兴趣区域，对候选区域进行二分类并修正候选框位置，部分候选框通过非极大值抑制舍弃；
[0023]S3
‑
3.剩余候选区域送入ROIAlign，并将所有候选区域的二维矩阵都变成指定大小的特征向量；
[0024]S3
‑
4.对候选区域进行分类预测、回归预测和掩膜预测。
[0025]进一步地，在步骤S4中，茎秆段的轮廓矩的顶点像素坐标转换为基于相机的空间三维坐标，并计算得出中心三维坐标和茎秆半径r和高度h，具体实施方法如下：
[0026]S4
‑
1.二维平面内轮廓矩的四个角点为P
i
(x
i
,y
i
)，i＝1,2,3或4，根据相邻的角点坐标得到矩形的边长L；
[0027]S4
‑
2.获取矩形的长边和短边后，求得茎秆半径r和高度h；
[0028]S4
‑
3.取短边的中点求解中心点的三维坐标。
[0029]进一步地，在步骤S5中，将基于相机坐标的茎秆坐标转换为基于机器人基坐标系表示，并利用顶点坐标求解茎秆的空间姿态RPY角度，具体方法如下：
[0030]S5
‑
1.通过相机坐标系和世界坐标系转换关系，将基于相机的番茄茎秆中心坐标完成转换为基于世界坐标系；
[0031]S5
‑
2.通过求解轮廓矩绕各轴的转角得到轮廓矩的姿态，取轮廓矩的短边中点A、B，将两点投影到XY平面，得到A
’
(x1,y1,z1)和B
’
(x2,y2,z2)，计算得到轮廓矩绕Z轴的转角α；同理，得到绕Y轴的转角β和绕X轴的转角γ。
[0032]进一步地，在步骤S6中所述的将空间姿态角度转换为ROS四元素，并根据半径r和高度h、中心三维坐标完成番茄茎秆障碍物的创建，具体方法如下：ROS使用四元数描述物体的姿态，四元数由一个标量和一个三维向量组成；利用四元数的性质将空间姿态角RPY转换为ROS四元数，结合半径r和高度h以及中心坐标x、y、z，完成茎秆障碍物的重建。
[0033]与现有技术相比，本专利技术的有益效果是：
[0034]1)本专利技术能够利用MaskRCNN卷积神经网络实现番茄茎秆的检测和定位，具有较高的准确率，并且具有稳定性好、抗干扰能力强、通用性高等优点。
[0035]2)本专利技术将MaskRCNN模型和ROS系统相结合，利用Mask RCNN模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的番茄茎秆识别与三维重建方法，其特征在于，包括以下步骤：S1.利用相机在番茄温室里从不同位置多角度采集番茄茎秆图像，兼顾不同光照条件、叶子和果实遮挡条件下的番茄茎秆图像采集，建立番茄茎秆图像数据集；S2.进行彩色相机和深度相机的参数标定；S3.利用Mask RCNN卷积神经网络训练得到较好的识别效果，并利用训练好的Mask RCNN模型识别番茄彩色图像，得到茎秆段的最小外接矩形的像素顶点坐标；S4.利用深度图像和彩色图像匹配，获取基于相机坐标系的顶点坐标和中心三维坐标，并计算得到茎秆的半径r和高度h；S5.将基于相机坐标的茎秆坐标转换为基于机器人基坐标系表示，并利用顶点坐标求解茎秆的空间姿态RPY角度；S6.将空间姿态角度转换为ROS四元素，并根据半径r和高度h、中心三维坐标完成番茄茎秆障碍物的创建。2.根据权利要求1所述的基于深度学习的番茄茎秆识别与三维重建方法，其特征在于，步骤S1中所述建立番茄茎秆图像数据集，具体方法如下：S1
‑
1.番茄茎秆的茎秆长度和形状并不规则，被果叶和果实遮挡的概率较大，采集数据时不但需要考虑光照条件，还需要考虑各种干扰的情况；S1
‑
2.采用网格离散化标记法，利用形状规则的四边形标记茎秆，保证四边形包含的像素点面积尽量和茎秆包含的像素点面积一致，四边形的长边沿着茎秆的生长方向，短边与茎秆截面平行，标注过程中保持网格为四边形。3.根据权利要求1所述的基于深度学习的番茄茎秆识别与三维重建方法，其特征在于，步骤S2中所述的彩色相机和深度相机参数标定，具体方法如下：S2
‑
1.通过彩色相机和深度相机拍摄不同姿态下标定棋盘格板的图片，利用标定函数findChessboard Corners获得对应角点像素坐标；S2
‑
2.通过标定函数calibrateCamera函数输入内角点坐标值，获得深度相机的内参矩阵；S2
‑
3.对相机进行配准，获取物体的彩色和深度信息，利用深度图像和彩色图像与世界坐标系的转换关系，通过坐标变换，实现深度图像和彩色图像对齐。4.根据权利要求1所述的基于深度学习的番茄茎秆识别与三维重建方法，其特征在于，所述步骤S3利用训练好的Mask RCNN模型识别番茄彩色图像，得到茎秆段的最小外接矩形的像素顶点坐标；具体方法如下：S3
‑
1.利用Mask RCNN采取ResNet和特征金...

【专利技术属性】
技术研发人员：张健滔，翟彬梁，何斌，杨乐平，刘士辉，
申请(专利权)人：上海大学，
类型：发明
国别省市：