本发明专利技术公开一种智能化农业果实采摘识别与定位方法、系统及装置，方法包括以下步骤：对获取到的原始RGB图像进行光照归一化处理；将归一化图像输入预设目标检测模型中进行目标检测，得到每个待识别物体在RGB图像中目标检测框及置信度；将所有置信度按照从大到小进行排序，选择前N个置信度高对应的目标检测框；计算N个目标检测框的中心像素坐标；将中心像素坐标映射到原始深度图像中，得到原始深度图像中待识别物体相对于深度相机的坐标位置。本发明专利技术根据RGB图像智能识别出各个待识别物体所在像素坐标信息，并根据深度信息得到所对应的真实世界中的坐标信息，有利于后续采摘机器人进行采摘操作；具有较好的抗光照干扰能力、抗遮挡能力及精度高的优势。挡能力及精度高的优势。挡能力及精度高的优势。
【技术实现步骤摘要】
智能化农业果实采摘识别与定位方法、系统及装置
[0001]本专利技术涉及图像识别
，尤其涉及一种智能化农业果实采摘识别与定位方法、系统及装置。
技术介绍
[0002]现有技术中，由于种植规模的提升，以及人力成本的大幅提高，采用智能化设备实现农业果实智能采摘势在必行。其中基于计算机视觉的农业果实定位是实现智能采摘的关键步骤，精确的果实定位信息可以大幅度提高采摘成功率。研究表明果实定位主要包括果实识别及距离测量。即首先利用视觉检测方法识别出摄像头拍摄画幅中农业果实的像素坐标信息，其次利用测距方法测量出识别出的果实相对于摄像头的空间坐标信息。
[0003]这种方法被应用的很多，但是也会存在很多缺陷，比如：精确的果实识别是实现果实定位的关键一步，传统果实识别大多采用基于色差与形状信息的视觉检测方法进行识别，将果实从背景(树枝与树叶)中分离出来。但是传统方法依赖于各种阈值参数的设立才能取得较好的效果，由于自然环境中，摄像头普遍受光照的影响，不同顺光、逆光情况下需要配合不同的阈值参数；此外，农业果实还受到自身树叶的遮挡、与果实之间的遮挡影响，因此基于传统方法的果实识别方法效果受限。
[0004]精确的测距也是获取果实相对于摄像头的空间坐标同样是关键步骤之一。为实现测距，目前常采用双目深度、基于结构光，与基于飞行时间(TOF)的视觉测距方法。双目深度非常依赖纯图像特征匹配，在光照较暗或过曝的情况下效果都非常差，如果被测物体本身缺乏纹理，也很难进行特征提取和匹配；基于TOF的方法分辨率低，甚至难以达到640x480的分辨率，对于像小番茄这样的小目标进行精确测量较为困难。基于结构光的方法可以有效避免上述问题，但软件编码较为复杂，成本稍高。综上，合理的测距方法选择有利于提升测距精度，但因为目前国内外农业果实采摘处于初始阶段，因此对于这些方法的选择并无一个统一的标准。
技术实现思路
[0005]本专利技术针对现有技术中的缺点，提供了一种智能化农业果实采摘识别与定位方法、系统及装置。
[0006]为了解决上述技术问题，本专利技术通过下述技术方案得以解决：
[0007]一种智能化农业果实采摘识别与定位方法，包括以下步骤：
[0008]对获取到的原始RGB图像进行光照归一化处理，得到归一化图像，其中，原始RGB图像中至少包括一个待识别物体；
[0009]将归一化图像输入预设目标检测模型中进行目标检测，得到每个待识别物体在RGB图像中目标检测框及每个待识别物体的置信度；
[0010]将所有置信度按照从大到小进行排序，选择前N个置信度高对应的目标检测框；
[0011]计算N个目标检测框的中心像素坐标；
[0012]将所述中心像素坐标映射到原始深度图像中，得到原始深度图像中待识别物体相对于深度相机的坐标位置，其中，原始RGB图像和原始深度图像都通过深度相机获取。
[0013]作为一种可实施方式，所述对获取到的原始RGB图像进行光照归一化处理，包括以下步骤：
[0014]将原始RGB图像从RGB空间转换到YUV空间，得到YUV图像；
[0015]在YUV图像中，对分量V进行限制对比度自适应直方图均衡处理得到处理后YUV图像；
[0016]将处理后YUV图像转换到RGB空间。
[0017]作为一种可实施方式，所述对分量V进行限制对比度自适应直方图均衡处理得到处理后YUV图像，包括以下步骤：
[0018]将YUV图像根据预设图像分块尺寸及预设裁剪值进行分块处理，得到分块结果图像；
[0019]对分块结果图像依次进行直方图计算、直方图修建及直方图均衡处理，得到多个图像块；
[0020]对所有图像块进行图像插值处理，得到块处理结果；
[0021]将块处理结果和原始RGB图像做图层滤色混合处理，得到处理后YUV图像。
[0022]作为一种可实施方式，所述预设图像分块尺寸及预设裁剪值通过以下方式获得：
[0023]取若干包含不同光照度下的原始RGB图像分别进行分块处理，得到最佳效果的每个原始RGB图像对应的初始图像分块尺寸与初始裁剪值，将初始图像分块尺寸与初始裁剪值作为首次分块处理的预设图像分块尺寸及预设裁剪值；
[0024]分别对初始图像分块尺寸与初始裁剪值进行均值化处理，得到两者的均值作并对初始图像分块尺寸与初始裁剪值进行替换并作为后续分块处理的预设图像分块尺寸及预设裁剪值。
[0025]作为一种可实施方式，所述预设目标检测模型获取的过程包括离线训练和在线推理，离线训练包括以下步骤：
[0026]获取多种光照强度下含待识别物体的原始RGB图像数据库；
[0027]对所有原始RGB图像中各个待识别物体进行目标检测框标注，得到原始数据集；
[0028]对原始数据集进行光照归一化处理，得到含有目标检测框的归一化数据集，将归一化数据集作为网络输入，以目标检测框为网络输出，进行目标检测模型训练，得到目标检测模型；
[0029]在线推理步骤包括以下步骤：
[0030]对实时获取到的原始RGB图像进行光照归一化处理，得到实时归一化图像；
[0031]将所述实时归一化图像输入训练好的目标检测模型，得到每个待识别物体在原始RGB图像上的目标检测框以及目标检测框内的目标属于待识别物体的的置信度。
[0032]作为一种可实施方式，所述将所述中心像素坐标映射到原始深度图像中，包括以下步骤：
[0033]获取原始深度图像中每个待识别物体中心点的像素坐标；
[0034]将所述像素坐标映射到相应的实际空间坐标系中，得到在实际空间坐标系中的位置数据，并将位置数据记作[x0,y0,dis]，其中，x0表示待识别物体中心点相比于深度相机
在x轴的偏移，y0表示待识别物体中心点相比于深度相机在y轴的偏移，dis为深度相机与待识别物体中心点的视觉距离。
[0035]作为一种可实施方式，还包括优化的过程，包括以下步骤：
[0036]提取待识别物体中心点5*5邻域内的所有点的空间坐标数据，得到第一空间坐标点集；
[0037]剔除视觉距离为0的点，得到第二空间坐标点集；
[0038]求取第二空间坐标集合中所有点的视觉距离的均值与方差，将均值记作，将方差记作std，将均值记作mean；
[0039]剔除视觉距离大于mean+3std与小于mean
‑
3std的点，得到第三空间坐标点集；
[0040]求取第三空间坐标点集中所有点视觉距离的均值，所述均值对应的空间坐标数据即为优化后的空间坐标数据。
[0041]作为一种可实施方式，还包括以下步骤：基于深度相机和或补光装置获取含待识别物体的原始RGB图像及原始深度图像。
[0042]一种智能化农业果实采摘识别与定位系统，包括第一处理模块、检测模块、排序筛选模块、计算模块及映射模块；
[0043]所述第一处理模块，用于对获取到的原始RGB图像进行光本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种智能化农业果实采摘识别与定位方法，其特征在于，包括以下步骤：对获取到的原始RGB图像进行光照归一化处理，得到归一化图像，其中，原始RGB图像中至少包括一个待识别物体；将归一化图像输入预设目标检测模型中进行目标检测，得到每个待识别物体在RGB图像中目标检测框及每个待识别物体的置信度；将所有置信度按照从大到小进行排序，选择前N个置信度高对应的目标检测框；计算N个目标检测框的中心像素坐标；将所述中心像素坐标映射到原始深度图像中，得到原始深度图像中待识别物体相对于深度相机的坐标位置，其中，原始RGB图像和原始深度图像都通过深度相机获取。2.根据权利要求1所述的智能化农业果实采摘识别与定位方法，其特征在于，所述对获取到的原始RGB图像进行光照归一化处理，包括以下步骤：将原始RGB图像从RGB空间转换到YUV空间，得到YUV图像；在YUV图像中，对分量V进行限制对比度自适应直方图均衡处理得到处理后YUV图像；将处理后YUV图像转换到RGB空间。3.根据权利要求1所述的智能化农业果实采摘识别与定位方法，其特征在于，所述对分量V进行限制对比度自适应直方图均衡处理得到处理后YUV图像，包括以下步骤：将YUV图像根据预设图像分块尺寸及预设裁剪值进行分块处理，得到分块结果图像；对分块结果图像依次进行直方图计算、直方图修建及直方图均衡处理，得到多个图像块；对所有图像块进行图像插值处理，得到块处理结果；将块处理结果和原始RGB图像做图层滤色混合处理，得到处理后YUV图像。4.根据权利要求3所述的智能化农业果实采摘识别与定位方法，其特征在于，所述预设图像分块尺寸及预设裁剪值通过以下方式获得：取若干包含不同光照度下的原始RGB图像分别进行分块处理，得到最佳效果的每个原始RGB图像对应的初始图像分块尺寸与初始裁剪值，将初始图像分块尺寸与初始裁剪值作为首次分块处理的预设图像分块尺寸及预设裁剪值；分别对初始图像分块尺寸与初始裁剪值进行均值化处理，得到两者的均值作并对初始图像分块尺寸与初始裁剪值进行替换并作为后续分块处理的预设图像分块尺寸及预设裁剪值。5.根据权利要求1所述的智能化农业果实采摘识别与定位方法，其特征在于，所述预设目标检测模型获取的过程包括离线训练和在线推理，离线训练包括以下步骤：获取多种光照强度下含待识别物体的原始RGB图像数据库；对所有原始RGB图像中各个待识别物体进行目标检测框标注，得到原始数据集；对原始数据集进行光照归一化处理，得到含有目标检测框的归一化数据集，将归一化数据集作为网络输入，以目标检测框为网络输出，进行目标检测模型训练，得到目标检测模型；在线推理步骤包括以下步骤：对实时获取到的原始RGB图像进行光照归一化处理，得到实时归一化图像；将所述实时归一化图像输入训练好的目标检...
【专利技术属性】
技术研发人员：孔令瑜，蒲奕，王盛，
申请(专利权)人：苏州书农科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。