本发明专利技术公开了一种果实识别与定位方法，包括以下步骤：在不同光照条件下对果实进行拍摄，将拍摄结果分类，得到训练图像数据集；对所述训练图像数据集中的图像进行标注，并对标注结果进行标签设置；利用所述训练图像数据集与标注结果对果实目标检测模型进行训练；采集若干张待检测果实的图像，通过训练完成的果实目标检测模型对所述图像中的果实进行识别与定位，获得待检测果实的成熟度与位置信息。本发明专利技术能有效解决现有技术准确率低、不通用、以及数据获取成本高的问题。数据获取成本高的问题。数据获取成本高的问题。
【技术实现步骤摘要】
一种果实识别与定位方法、装置及介质
[0001]本专利技术涉及果实识别与定位
，尤其涉及一种果实识别与定位方法、装置及介质。
技术介绍
[0002]果实的识别和定位是实现自动化采摘的前提和基础。现有的水果识别和定位方法例如专利文献CN111126296A提出的水果定位方法及装置、专利文献CN112529948A提出的一种基于Mask R
‑
CNN与3维球体拟合的成熟石榴定位方法采用阈值分割或者实例分割的方法识别图像中的水果目标，这种方法算法复杂、容易受到环境的干扰，而且需要处理的数据量大，无法保证实时性。
[0003]现有的目标技术利用彩色图像中水果的颜色、形状、纹理等信息将图像中的目标与背景分割开来，实现图像中水果的识别。此方法对环境的要求严格，容易受到干扰而出现遗漏、识别错误等现象，不能满足果园中的果实识别要求。例如，不同天气情况和一天中的不同时间，果园中的光线条件有很大差别；另一方面，果园中的水果生长在果树上，与树叶和枝条存在相互靠近和遮挡的情况，使得果园中采集的果实图像背景非常复杂，现有的技术并不能很好地避免以上因素带来的干扰，在果园环境中的识别准确率低、不具有通用性。采用实例分割的方法在标记数据集时需要对目标的轮廓描点进行标记，工作量大，效率低。上述两种识别方法需要处理的数据量都非常大，处理起来缓慢无法保证实时性。采用获取点云的方式进行定位，此方法所需要的点云数据获取十分困难，成本高。
技术实现思路
[0004]本专利技术实施例提供一种果实识别与定位方法、装置及介质，能有效解决现有技术准确率低、不通用、以及数据获取成本高的问题。
[0005]本专利技术一实施例提供一种果实识别与定位方法，包括以下步骤：
[0006]在不同光照条件下对果实进行拍摄，将拍摄结果分类，得到训练图像数据集；
[0007]对所述训练图像数据集中的图像进行标注，并对标注结果进行标签设置；
[0008]利用所述训练图像数据集与标注结果对果实目标检测模型进行训练；
[0009]采集若干张待检测果实的图像，通过训练完成的果实目标检测模型对所述图像中的果实进行识别与定位，获得待检测果实的成熟度与位置信息。
[0010]与现有技术相比，本专利技术实施例公开的果实识别与定位方法通过在不同的天气条件下进行拍摄，以保证数据集中图像获取的环境条件的多样性，使得在训练果园荔枝目标检测模型时能学习到多种情况下荔枝果实目标的特征，克服光线变化带来的困难，保证目标检测模型能在不同环境条件下准确识别出荔枝果实目标。通过结合目标检测的结果和深度图像对目标进行定位，相比于利用点云数据定位的方法，本专利技术只需要利用深度传感器进行拍摄，成本低，数据获取方法简单。
[0011]进一步的，所述在不同光照条件下对果实进行拍摄，将拍摄结果分类，得到训练图
像数据集，具体包括：
[0012]分别在各种光照条件下拍摄固定数量的果实图像，将所有拍摄得到的果实图像按照光照条件进行分类后组合成训练图像数据集。
[0013]在制作荔枝果实图像数据集时，在不同的天气条件下进行拍摄，以保证数据集中图像获取的环境条件的多样性，使得在训练果园荔枝目标检测模型时能学习到多种情况下荔枝果实目标的特征，克服光线变化带来的困难，保证目标检测模型能在不同环境条件下准确识别出荔枝果实目标。
[0014]进一步的，所述对所述训练图像数据集中的图像进行标注，并对标注结果进行标签设置，具体包括：
[0015]通过标注工具对图像数据集中的果实进行标注，将图像中的果实区域用几何图形框框出，根据图像中果实的成熟度分别将得到的几何图形框设置标签，所述标签类型包括成熟与未成熟。
[0016]在进行数据标记时只需要设置一个包围住目标的几何图形框，无需对目标的轮廓进行描点，在标记过程中工作量更小。
[0017]进一步的，所述利用所述训练图像数据集与标注结果对果实目标检测模型进行训练，具体包括：
[0018]加载图像数据集，将所述训练图像数据集与标注结果输入到果实目标检测模型中，经过模型运算后得到初始模型参数并计算初始损失，随后使用反向传播迭代的方式持续更新模型参数并计算损失，当模型性能达到要求后结束训练，得到最终训练完成的果实目标检测模型；
[0019]其中，所述果实目标检测模型包括：特征提取网络、颈部、检测部分；所述特征提取网络由卷积神经网络和注意力函数构成，所述注意力函数为将缩放点积注意力函数并行计算多次后进行拼接而构成的多头注意力函数；所述颈部采用特征金字塔和路径聚合网络两种结构，所述特征金字塔结构用于通过上采样将高级特征映射和低级特征映射重合，所述路径聚合网络用于将定位信息从浅层传输到深层；所述检测部分根据特征提取网络和颈部生成的特征图输出目标检测输出框，所述输出框包括若干个先验框与预测框，所述先验框分布在特征图的每个像素中且具有不同的大小尺寸，所述预测框通过先验框和特征图计算获得。
[0020]作为一个优选的实施例，所述当模型性能达到要求后结束训练，具体包括：
[0021]所述模型性能达到要求具体为：损失小于预设误差值；
[0022]其中，损失由定位损失、置信度损失和分类损失相加得到，用于判定当前参数的模型预测结果和真实情况之间的误差，当所述损失小于预设误差值时，结束训练。
[0023]进一步的，所述采集若干张待检测果实的图像，通过训练完成的果实目标检测模型对所述图像中的果实进行识别与定位，获得待检测果实的位置信息，具体包括：
[0024]加载已训练完成的果实目标检测模型，初始化拍摄设备的拍摄参数，设置拍摄所得图像的分辨率；
[0025]通过所述拍摄设备对待检测果实的采集若干张图像；其中，所述图像包括彩色图像与深度图像，所述拍摄设备具体为深度传感器；
[0026]使用果实目标检测模型检测彩色图像中的果实，得到若干个目标检测输出框，分
别记录所述若干个输出框的中心点在彩色图像中的横纵坐标；其中，所述目标检测输出框还包括标签，所述标签分为成熟与未成熟，用于识别果实的成熟度；
[0027]获取所述深度图像中所述若干个输出框的中心点的深度数值；
[0028]将所述横纵坐标与深度数值组合，得到果实在空间坐标系中的位置信息。
[0029]通过结合目标检测的结果和深度图像对目标进行定位，相比于利用点云数据定位的方法，此方法只需要利用深度传感器进行拍摄，成本低，数据获取方法简单。
[0030]本专利技术另一实施例对应提供了一种果实识别与定位装置，包括：图像采集与标注模块、模型训练模块和果实识别与定位模块；
[0031]所述图像采集与标注模块用于在不同光照条件下对果实进行拍摄，将拍摄结果分类，得到训练图像数据集，同时对所述训练图像数据集中的图像进行标注，并对标注结果进行标签设置；
[0032]所述模型训练模块用于利用所述训练图像数据集与标注结果对果实目标检测模型进行训练；
[0033]所述果实识别与定本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种果实识别与定位方法，其特征在于，包括以下步骤：在不同光照条件下对果实进行拍摄，将拍摄结果分类，得到训练图像数据集；对所述训练图像数据集中的图像进行标注，并对标注结果进行标签设置；利用所述训练图像数据集与标注结果对果实目标检测模型进行训练；采集若干张待检测果实的图像，通过训练完成的果实目标检测模型对所述图像中的果实进行识别与定位，获得待检测果实的成熟度与位置信息。2.如权利要求1所述的一种果实识别与定位方法，其特征在于，所述在不同光照条件下对果实进行拍摄，将拍摄结果分类，得到训练图像数据集，具体包括：分别在各种光照条件下拍摄固定数量的果实图像，将所有拍摄得到的果实图像按照光照条件进行分类后组合成训练图像数据集。3.如权利要求1所述的一种果实识别与定位方法，其特征在于，所述对所述训练图像数据集中的图像进行标注，并对标注结果进行标签设置，具体包括：通过标注工具对图像数据集中的果实进行标注，将图像中的果实区域用几何图形框框出，根据图像中果实的成熟度分别将得到的几何图形框设置标签，所述标签类型包括成熟与未成熟。4.如权利要求1所述的一种果实识别与定位方法，其特征在于，所述利用所述训练图像数据集与标注结果对果实目标检测模型进行训练，具体包括：加载图像数据集，将所述训练图像数据集与标注结果输入到果实目标检测模型中，经过模型运算后得到初始模型参数并计算初始损失，随后使用反向传播迭代的方式持续更新模型参数并计算损失，当模型性能达到要求后结束训练，得到最终训练完成的果实目标检测模型；其中，所述果实目标检测模型包括：特征提取网络、颈部、检测部分；所述特征提取网络由卷积神经网络和注意力函数构成，所述注意力函数为将缩放点积注意力函数并行计算多次后进行拼接而构成的多头注意力函数；所述颈部采用特征金字塔和路径聚合网络两种结构，所述特征金字塔结构用于通过上采样将高级特征映射和低级特征映射重合，所述路径聚合网络用于将定位信息从浅层传输到深层；所述检测部分根据特征提取网络和颈部生成的特征图输出目标检测输出框，所述输出框包括若干个先验框与预测框，所述先验框分布在特征图的每个像素中且具有不同的大小尺寸，所述预测框通过先验框和特征图计算获得。5.如权利要求4所述的一种果实识别与定位方法，其特征在于，所述当模型性能达到要求后结束训练，具体包括：所述模型性能达到要求具体为：损失小于预设误差值；其中，损失由定位损失、置信度损失和分类损失相加得到，用于判定当前参数的模型预测结果和真实情况之间的误差，当所述损失小于预设误差值时，结束训练。6.如权利要求1所述的一种果实识别与定位方法，其特征在于，所述采集若干张待检测果实的图像，通过训练完成的果实目标检测模型对所述图像...
【专利技术属性】
技术研发人员：毛亮，梁志尚，吴惠粦，田鑫裕，张兴龙，朱文铭，刘昌乐，
申请(专利权)人：广州国家现代农业产业科技创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。