基于深度学习的葡萄及其采摘点同步识别定位方法、装置制造方法及图纸

本申请涉及一种基于深度学习的葡萄及其采摘点同步识别定位方法、装置。所述方法包括：获取待检测的葡萄图像；将所述待检测的葡萄图像输入改造后的YOLO v4模型，得到葡萄边框位置数据和采摘点的坐标；其中，采用改造后的YOLO v4模型中轻量化Backbone进行葡萄边框特征和采摘点特征提取，再通过neck进行加强特征，再通过heads进行特征解析，得到葡萄边框位置数据和采摘点的坐标。采用本方法能够实现葡萄边框位置数据和采摘点的坐标的快速同步检测。测。测。

【技术实现步骤摘要】
基于深度学习的葡萄及其采摘点同步识别定位方法、装置


[0001]本申请涉及机器视觉
，特别是涉及一种基于深度学习的葡萄及其采摘点同步识别定位方法、装置。

技术介绍

[0002]葡萄是日常生活中最常见的水果，每年在全世界范围内的产量可达到7500万吨。葡萄常采用人工的方式进行采摘，这种采摘方式非常耗时并且低效。另外，葡萄种植园一般地势平台，环境可控。综合上述，对葡萄进行智能化采摘非常有必要并且葡萄的种植场景决定了葡萄非常适合智能化采摘。
[0003]对于智能化的葡萄采摘而言，葡萄的视觉识别以及采摘点预测是智能化采摘中非常重要的一步，也是后续采摘操作的基础。首先，葡萄的视觉识别常采用深度学习模型，包括RCNN模型、YOLO模型等。RCNN模型一般预测葡萄串区域的掩膜，包含了详细的葡萄区域，预测精度高，但是速度慢；YOLO模型则预测葡萄串区域的边界框，预测速度快。实际上，常规的葡萄识别任务仅需要获取葡萄串区域的边界框，所以较多采用YOLO模型，但是目前YOLO模型比较复杂。其次，葡萄采摘点的预测一般需要先通过深度学习模型预测葡萄区域，进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的葡萄及其采摘点同步识别定位方法，其特征在于，所述方法包括：采集葡萄图像并标注，构建模型训练数据集；将模型训练数据集输入初始YOLO v4模型，对初始YOLO v4模型进行训练，得到改造后的YOLO v4模型；其中，所述初始YOLO v4模型采用简便线性变换操作替换原始YOLO v4模型中backbone中的部分卷积操作，并改造heads使其采用包括采摘点的坐标的数据输出格式；所述模型训练数据集中标注的标签格式如下：其中，class为类别，该数据集中只有葡萄一个类别，因此数值为0；为葡萄边框中心点的坐标，分别为葡萄边框宽度、高度；为葡萄串的采摘点的坐标，均进行归一化处理，数值范围为0~1；获取待检测的葡萄图像；将所述待检测的葡萄图像输入改造后的YOLO v4模型，得到葡萄边框位置数据和采摘点的坐标；其中，采用改造后的YOLO v4模型中轻量化Backbone进行葡萄边框特征和采摘点特征提取，再通过neck进行加强特征，再通过heads进行特征解析，得到葡萄边框位置数据和采摘点的坐标；其中，简便线性变换操作的公式如下：其中，是前一步卷积操作后获得的第i个特征图；是第j个线性操作用来生成第j个特征图；改造heads输出解析后的模型预测结果，表示如下：其中，score是置信度，表示模型预测结果的可能性大小；为葡萄边框中心点坐标，分别为葡萄边框的宽度的预测值、高度的预测值；为葡萄串的采摘点的坐标的预测值。2.根据权利要求1所述的方法，其特征在于，所述将所述待检测的葡萄图像输入改造后的YOLO v4模型，得到葡萄边框位置数据和采摘点的坐标，包括：将待检测的葡萄图像输入改造后的YOLO v4模型的轻量化Backbone，通过轻量化Backbone提取葡萄边框特征和采摘点特征；将葡萄边框特征和采摘点特征使用neck进行特征加强，生成3个不同尺度的特征图；将3个不同尺度的特征图分别分割成个网格；其中，n
i
为正整数；对每个网格分别使用3个预设的锚框进行预测，得到网格对应的预测结果；所述锚框预测的结果由葡萄边框的位置及尺寸元素、置信度元素、类别元素以及表示采摘点坐标的元素组成；
对所有网格对应的预测结果采用非极大值抑制方法进行筛选，得到葡萄边框位置数据和采摘点的坐标。3.根据权利要求2所述的方法，其特征在于，葡萄边框的位置及尺寸元素的解析公式如下：下：下：下：其中，为sigmoid函数；、为预测的葡萄边框中心点相对于所处的网格左上角角点的偏移量，、为预测的葡萄边框的宽、高度的初步预测值；、为预测的葡萄边框中心所处的网格左上角角点的坐标，、为anchor box的尺寸；采摘点坐标的元素的解析公式如下：坐标的元素的解析公式如下：其中，ta...

【专利技术属性】
技术研发人员：赵汝准，黄英健，陈宽广，邓忠承，夏晶晶，朱裕昌，
申请(专利权)人：广东机电职业技术学院，
类型：发明
国别省市：