基于深度学习的苗线识别的方法、装置和农机制造方法及图纸

本申请实施例提供了一种基于深度学习的苗线识别的方法、装置和农机，该方法包括：获取第一图片，并根据所述第一图片生成第二图片，第一图片是农机的摄像头拍摄的图片；使用预先训练的神经网络模型处理所述第二图片，以生成苗线；根据所述苗线的坐标计算各条苗线在所述第一图片的空间关系，得到第一苗线和第二苗线，所述第一苗线和所述第二苗线分别为所述第一图片中的苗线中的最中心的两条苗线；根据所述第一苗线和所述第二苗线生成导航线，所述导航线的横坐标为所述第一苗线的横坐标和所述第二苗线的横坐标的均值。本申请提供的方案，能够兼顾苗线识别的速度和准确率。能够兼顾苗线识别的速度和准确率。能够兼顾苗线识别的速度和准确率。

【技术实现步骤摘要】
基于深度学习的苗线识别的方法、装置和农机


[0001]本申请实施例涉及农业领域，并且更具体地，涉及一种基于深度学习的苗线识别的方法、装置和农机。

技术介绍

[0002]随着科技的发展，农业机械化越来越趋向于智能化，农业机械自动导航技术是精细农业的关键技术，尤其是农机在田间作业的时候，苗线的识别至关重要。
[0003]现有技术中，苗线识别的方法较为复杂且耗费大量时间，从而降低苗线识别的速度。因此，如何提供一种可以兼顾速度和准确率的苗线识别方法是一个亟待解决的技术问题。

技术实现思路

[0004]本申请提供一种基于深度学习的苗线识别的方法、装置和农机，能够兼顾苗线识别的速度和准确率。
[0005]第一方面，提供了一种基于深度学习的苗线识别的方法，包括：获取第一图片，并根据所述第一图片生成第二图片，第一图片是农机的摄像头拍摄的图片；使用预先训练的神经网络模型处理所述第二图片，以生成苗线；根据所述苗线的坐标计算各条苗线在所述第一图片的空间关系，得到第一苗线和第二苗线，所述第一苗线和所述第二苗线分别为所述第一图片中的苗线中的最中心的两条苗线；根据所述第一苗线和所述第二苗线生成导航线，所述导航线的横坐标为所述第一苗线的横坐标和所述第二苗线的横坐标的均值。
[0006]本申请提供的方案，基于预先训练的神经网络模型，可以正确并快速地识别农机行驶过程中的苗线，并根据识别的苗线输出导航线，从而使得农机可以按输出的导航线行驶，可以避免对农作物的损坏。
[0007]结合第一方面，在一些可能的实现方式中，所述根据所述第一苗线和所述第二苗线生成导航线包括：当农机的两轮之间的作物带的数量为奇数时，生成位于所述作物带的中间的所述导航线，所述第一苗线和所述第二苗线分别是属于同一条作物带的两条苗线；当农机的两轮之间的作物带的数量为偶数时，生成位于相邻的两条所述作物带的垄的中间的所述导航线，所述第一苗线和所述第二苗线分别为相邻两条所述作物带的临垄的苗线。通过根据农机的两轮之间的作物带的数量设置生成的导航线的位置，可以避免由于农机的摄像头的偏移或农机的跑偏导致的生成错误的导航线。
[0008]结合第一方面，在一些可能的实现方式中，所述根据所述第一图片生成第二图片包括：根据第一比例将所述第一图片缩小至所述第二图片；所述根据所述苗线的坐标计算各条苗线在所述第一图片的空间关系包括：在生成所述苗线后，根据第二比例将所述苗线在所述第二图片的坐标还原至所述苗线在所述第一图片的坐标，所述第一比例与所述第二比例对应。这样，缩小后的图片与原图比例接近，按照与第一比例对应的第二比例进行还原可以减少苗线识别结果的偏差；同时使用缩小后的第二图片进行计算可以减小苗线识别过
程中的计算量，节约计算资源。
[0009]结合第一方面，在一些可能的实现方式中，在训练所述神经网络模型前，所述方法还包括：获取第三图片；对所述第三图片添加标签，将添加标签后的所述第三图片转化为第四图片，所述第四图片为添加标签后的所述第三图片的灰度图，其中，所述标签与所述苗线在所述第三图片中的空间位置对应。这样，第四图片中的苗线的坐标值可以作为神经网络模型在训练过程中输出的苗线的坐标值的参照。
[0010]结合第一方面，在一些可能的实现方式中，在所述使用预先训练的神经网络模型处理所述第二图片，以生成苗线之前，所述方法还包括：对所述神经网络模型进行训练以得到所述预先训练的神经网络模型；其中，所述对所述神经网络模型进行训练包括：获取第三图片，根据第一比例将所述第三图片缩小至第五图片；使用骨干网络提取所述第五图片的特征，得到第一特征图；将所述第一特征图转化为所述苗线的坐标；使用损失函数对所述神经网络模型进行修正。
[0011]结合第一方面，在一些可能的实现方式中，所述骨干网络包括：第一输入层，所述第一输入层被配置为采用卷积模块对所述第五图片进行处理，得到第二特征图；第一中间层，所述第一中间层被配置为采用深度可分离卷积模块对所述第二特征图进行处理，得到第三特征图；第一输出层，所述第一输出层被配置为采用卷积模块对所述第三特征图进行处理，得到第一特征图；第二中间层，所述第二中间层被配置为采用深度可分离卷积模块对第四特征图进行处理，得到第五特征图；第二输出层，所述第二输出层被配置为采用卷积模块对所述第五特征图进行处理，得到第六特征图；第三中间层，所述第三中间层被配置为采用深度可分离卷积模块对第七特征图进行处理，得到第八特征图；第三输出层，所述第三输出层被配置为采用卷积模块对所述第八特征图进行处理，得到第九特征图。该骨干网络结构能够加快神经网络模型的运行速度，并且可以部署到嵌入式设备上，能够兼容嵌入式设备。
[0012]结合第一方面，在一些可能的实现方式中，所述输入层，所述第一中间层和所述第一输出层被配置为推理所述苗线；所述第二中间层，所述第二输出层，所述第三中间层和所述第三输出层被配置为参与所述苗线的辅助训练。
[0013]结合第一方面，在一些可能的实现方式中，所述骨干网络包括5次下采样。这样，进一步加快了神经网络模型的运行速度。
[0014]结合第一方面，在一些可能的实现方式中，所述第一中间层包括3个深度可分离卷积模块，所述第二中间层和所述第三中间层分别包括2个深度可分离卷积模块。
[0015]结合第一方面，在一些可能的实现方式中，所述深度可分离卷积模块包括：特征扩充层，所述特征扩充层被配置为使用1*1卷积核将特征图数量扩充为原来的6倍；逐深度卷积层，所述逐深度卷积层被配置为在单一通道上进行卷积；逐点卷积层，所述逐点卷积层被配置为通过1*1的卷积核在所有通道上遍历；直连层，所述直连层被配置为使用残差结构连接输入与输出。通过深度可分离卷积模块，可以在获得更多细节的基础上，减小计算量，提升神经网络模型的运算速度。
[0016]结合第一方面，在一些可能的实现方式中，所述将所述第一特征图转化为所述苗线的坐标包括：使用1*1卷积核，将所述第一特征图进行降维，得到第十特征图；使用第一路线，第二路线，第三路线分别从第十特征图提取三组特征点；将所述三组特征点与n个全连
接层拼接，得到n个中间层；将n个中间层与n个输出层一一对应连接，得到n*h*(m+1)的输出矩阵，其中，n对应所述苗线的数量，h对应所述苗线的纵坐标，m对应所述苗线的横坐标。将第一特征图降维至第十特征图，可以在不损失明显精度的强狂下提高神经网络模型的推理速度；使用三种不同的路线进行特征的提取，可以获得更丰富的特征。
[0017]结合第一方面，在一些可能的实现方式中，n＝6。
[0018]结合第一方面，在一些可能的实现方式中，所述使用第一路线，第二路线，第三路线分别从第九特征图提取三组特征点包括：基于所述第一路线，先从纵坐标方向提取特征，再从横坐标方向提取特征；基于所述第二路线，先从横坐标方向提取特征，再从纵坐标方向提取特征；基于所述第三路线，使用全卷积的方式提取特征。
[0019]结合第一方面，在一些可能的实现方式中，所述损失函数满足：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的苗线识别的方法，其特征在于，包括：获取第一图片，并根据所述第一图片生成第二图片，第一图片是农机的摄像头拍摄的图片；使用预先训练的神经网络模型处理所述第二图片，以生成苗线；根据所述苗线的坐标计算各条苗线在所述第一图片的空间关系，得到第一苗线和第二苗线，所述第一苗线和所述第二苗线分别为所述第一图片中的苗线中的最中心的两条苗线；根据所述第一苗线和所述第二苗线生成导航线，所述导航线的横坐标为所述第一苗线的横坐标和所述第二苗线的横坐标的均值。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一苗线和所述第二苗线生成导航线包括：当农机的两轮之间的作物带的数量为奇数时，生成位于所述作物带的中间的所述导航线，所述第一苗线和所述第二苗线分别是属于同一条作物带的两条苗线；当农机的两轮之间的作物带的数量为偶数时，生成位于相邻的两条所述作物带的垄的中间的所述导航线，所述第一苗线和所述第二苗线分别为相邻两条所述作物带的临垄的苗线。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一图片生成第二图片包括：根据第一比例将所述第一图片缩小至所述第二图片；所述根据所述苗线的坐标计算各条苗线在所述第一图片的空间关系包括：在生成所述苗线后，根据第二比例将所述苗线在所述第二图片的坐标还原至所述苗线在所述第一图片的坐标，所述第一比例与所述第二比例对应。4.根据权利要求1至3中任一项所述的方法，其特征在于，在训练所述神经网络模型前，所述方法还包括：获取第三图片；对所述第三图片添加标签，将添加标签后的所述第三图片转化为第四图片，所述第四图片为添加标签后的所述第三图片的灰度图，其中，所述标签与所述苗线在所述第三图片中的空间位置对应。5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述使用预先训练的神经网络模型处理所述第二图片，以生成苗线之前，所述方法还包括：对所述神经网络模型进行训练以得到所述预先训练的神经网络模型；其中，所述对所述神经网络模型进行训练包括：获取第三图片，根据第一比例将所述第三图片缩小至第五图片；使用骨干网络提取所述第五图片的特征，得到第一特征图；将所述第一特征图转化为所述苗线的坐标；使用损失函数对所述神经网络模型进行修正。6.根据权利要求5所述的方法，其特征在于，所述骨干网络包括：第一输入层，所述第一输入层被配置为采用卷积模块对所述第五图片进行处理，得到第二特征图；第一中间层，所述第一中间层被配置为采用深度可分离卷积模块对所述第二特征图进
行处理，得到第三特征图；第一输出层，所述第一输出层被配置为采用卷积模块对所述第三特征图进行处理，得到所述第一特征图；第二中间层，所述第二中间层被配置为采用深度可分离卷积模块对第四特征图进行处理，得到第五特征图；第二输出层，所述第二输出层被配置为采用卷积模块对所述第五特征图进行处理，得到第六特征图；第三中间层，所述第三中间层被配置为采用深度可分离卷积模块对所述第七特征图进行处理，得到第八特征图；第三输出层，所述第三输出层被配置为采用卷积模块对所述第八特征图进行处理，得到第九特征图。7.根据权利要求6所述的方法，其特征在于，所述输入层，所述第一中间层和所述第一输出层被配置为推理所述苗线；所述第二中间层，所述第二输出层，所述第三中间层和所述第三输出层被配置为参与所述苗线的辅助训练。8....

【专利技术属性】
技术研发人员：常志中，蒋相哲，王香珊，
申请(专利权)人：黑龙江惠达科技发展有限公司，
类型：发明
国别省市：