一种基于卷积神经网络的黄花菜成熟度识别方法技术

本发明专利技术公开了一种基于卷积神经网络的黄花菜成熟度识别方法，包括：采集黄花菜的图像数据并标注其特征点；修改YOLOv3神经网络的输出层、激活函数以及损失函数；使用COCO数据集预训练的神经网络参数在采集到的图像数据集上进行训练；使用训练完成的神经网络预测黄花菜的特征点，得到特征点在图像坐标系中的坐标；利用特征点在图像坐标系中的坐标及其深度图像，得到空间坐标；根据空间坐标计算黄花菜的长度特征；通过黄花菜成熟度与其长度特征之间的映射关系得到黄花菜的成熟度。本发明专利技术通过神经网络识别特征点与深度相机提取三维信息相结合的方式得到黄花菜的位置与长度信息，并通过长度判断其成熟度，具有识别率高、计算成本低的优点。本低的优点。本低的优点。

【技术实现步骤摘要】
一种基于卷积神经网络的黄花菜成熟度识别方法


[0001]本专利技术涉及黄花菜成熟度智能识别
，特别是涉及一种基于卷积神经网络的黄花菜成熟度识别方法。

技术介绍

[0002]黄花菜，又名金针菜、忘忧草，是一种阿福花科萱草属植物。在我国秦岭以南、湖南、山西大同、江苏、浙江等多个省份均有大量种植。它不仅可以食用，是我国的传统美食之一，还具有止血、消炎、清热、利湿等多种药用价值。
[0003]目前，我国的农业采收机械大部分仍然为大型的人为操纵的机械，例如小麦和玉米的采收。这种机器仅能用于采收硬质并且每年都需要重新种植的农作物，不用担心农作物在采收过程中被机器击碎。对于番茄、花椒等农作物，不适合采用大型采收机器，因为番茄较软，非常容易在采摘过程中被机器损坏，而花椒生长在树上，也不适合使用大型的采收机械。针对这种情况，很多研发人员开发出了智能机器人用于采收这种果实，在智能机器人的研发过程中，最关键的技术为视觉识别技术的研究与智能避障与路径规划算法的研究。对于视觉采摘算法，研究人员通常采用聚类算法、霍夫检测等算法检测到目标并通过膨胀、腐蚀等图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的黄花菜成熟度识别方法，其特征在于，包括以下步骤：S1，采用基于TOF的3D相机采集黄花菜在夜晚和白天的图像，采用标注程序标注采集到的图像中黄花菜的特征点，保存图像数据集及其标签；S2，改进卷积神经网络，修改YOLOv3神经网络的输出层、激活函数以及损失函数，其中，输出层修改为x
×
x
×
24的向量；将不在图像中的特征点坐标设置为(
‑
0.1,
‑
0.1)，激活函数为Leaky
‑
ReLU函数：损失函数定义为：式中，x
i
和y
i
分别表示神经网络的坐标预测结果，和分别表示数据集中的坐标真实值，C
i
和分别表示预测的置信度与真实值，M
i
和分别表示预测目标是否被遮挡；S表示模型最终预测的张量边长，B则表示负责预测目标的3种大小类别；第一行累加项代表在图像中节点位置的损失函数，表示预测点在图像中；第二行累加项代表不在图像中的节点的位置损失函数，其权重分别为λ
cooin
和λ
coonoin
，表示该预测点不在图像中；第三行累加项为锚框内存在目标的概率的损失函数，表示负责预测的网格内存在目标；最后一行累加项表示目标被遮挡的概率的损失函数表示该目标被遮挡，其损失权重为λ
mask
；S3，使用COCO数据集预训练的神经网络在步骤S1采集到的图像数据集上进行训练；S4，采摘过程中使用基于TOF的3D相机捕捉黄花菜的图像数据以及深度图，并使用步骤S3训练完成的神经网络预测黄花菜的特征点，得到特征点在图像坐标系中的坐标；S5，利用特征点在图像坐标系中的坐标及其深度图像，得到特征点的空间坐标；S6，通过得到的特征点的空间坐标计算特征点之间的距离，即黄花菜的长度特征；S7，通过黄花菜成熟度与其长度特征之间的映射关系得到黄花菜的成熟度，同时用特征点的空间坐标表示黄花菜的位置，完成黄花菜的识别和定位。2.根据权利要求1所述的基于卷积神经网络的黄花菜成熟度识别方法，其特征在于，所述步骤S1中，采用基于TOF的3D相机采集黄花菜在夜晚和白天的图像，采用标注程序标注采
集到的图像中黄花菜的特征点，保存图像数据集及其标签，具体包括：1)采集黄花菜数据集时，时间段分布均匀，即一天24小时内每个时间段内图片数量接近；2)采集图像时，基于TOF的3D相机高度保持在500mm～1300mm之间，这个距离是黄花菜生长的高度范围，同时也是采摘时的相机设置高度；3)将采摘到的图像随机切分为3部分：训练集、验证集、测试集。3.根据权利要求2所述的基于卷积神经网络的黄花菜成熟度识别方法，其特征在于，所述步骤S2中，构建卷积神经网络，修改YOLOv3神经网络的输出层、激活函数以及损失函数，具体包括：1)调整神经网络输出层：神经网络有两个输出，分别用于预测图像中不同大小的黄花菜目标，输出层维度分别为13*13*12*2和26*26*12*2，为了使用YOLOv3的训练参数来进行初始化，神经网络仅改变最后一层1*1卷积层；神经网络输出层维度中的13*13和26*26分别代表两个输出中划分的网格数量，其中，每个网格负责预测两个目标，这两个目标分别用十维向量来表示，即该网格内存在目标的概率、该目标被遮挡的概率以及该目标四个特征点的坐标，如果标注的真实标签的中心点落在该网格内，该网格就负责预测这个目标，该目标的中心点计算公式如下：式中，x
i
和y
i
分别表示第i个网格内中心点的图像坐标预测结果，n表示该网格的边长；2)输出特征点坐标的表达方式采用坐标表达方法为极坐标表示法，将负责预测该点的栅格坐上角设置为坐标原点，某一特征点相对于坐标原点的极坐标位置为(θ,r)，将该坐标系进行归一化处理即为最终输出层的预测标签，归一化方法如下：式中，w表示输入图像的大小，最终某一特征点的输出层的预测标签为(θ',r')；3)神经网络的激活函数对于特征点不在图像中的黄花菜目标，真实位置标签将其不在图像中的特征点坐标标注为极坐标系(0，
‑
0.1)，输出负数值来预测特征点不在图像中的黄花菜目标；为了使输出值为负数，神经网络的激活函数为Leaky
‑
ReLU，并且在计算特征点不在图像中的黄花菜目标的中心点时，忽略掉不在图...

【专利技术属性】
技术研发人员：张延军，张朋琳，赵建鑫，夏黎明，刘敏强，杨博，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：