【技术实现步骤摘要】
一种田垄宽度识别方法及用于田垄的无人车装置
[0001]本专利技术涉及图像识别
，具体涉及一种田垄宽度识别方法及用于田垄的无人车装置。
技术介绍
[0002]无人化农业是指利用无人机、无人车、智能机器人等设备，实现农业生产过程中的自动化、智能化和精准化。在如今农业劳动力不足生产效率低下、生产成本高收益低的背景下，无人农场的发展是一种不可避免的趋势，先前由于技术方面的缺陷，其应用和市场化一直收到限制，导致发展并不全面。其中就包括无人车在农场中应用，由于其所需的导航定位技术因精度难以达到要求以及成本高昂，而得不到发展。如今随着国产北斗高精度定位导航技术的下放应用，无人车在农场中的应用也出现了可能。
[0003]目前的无人小车视觉系统，多用于有明确道路边界线划分的宽度检测，对于田垄这种地形复杂，缺乏明显边界划分标识的区域来说，识别其宽度仍然是一项挑战。
[0004]中国申请号为201980009840.5的专利技术专利公开了图像中的作物边界检测，其通过地面真实数据建立作物模型，通过图像的频谱、时序特性利用作物模型来确定作物热图，根据热图可以描绘出作物的边界。该现有技术是对作物的边界位置做出一个限定，并没有精确的识别出边界的线条，其目的是为了监测作物边界的改变。
[0005]另外，在无人农场中，不同田垄的宽度是不一致的，一般的无人小车应用场景简单，底盘轮距是固定的，若一开始便设计宽轮距的无人小车这必然会增大无人车的体积，且在窄宽度的田垄之间穿梭时可能会出现碾压附近两侧田垄土壤样本的问题。>
技术实现思路
[0006]有鉴于此，本专利技术提出了一种田垄宽度识别方法及用于田垄的无人车装置，通过深度学习算法的宽度识别算法对田垄的宽度进行计算，并根据田垄宽度来对无人车的轮距进行控制，以实现高精度的田垄宽度识别，避免无人车工作时碾压附近两侧田垄土壤。
[0007]本专利技术的技术方案是这样实现的，一方面，本专利技术提供了一种田垄宽度识别方法，包括：S1 采用摄像机采集田垄图像，并对田垄图像进行预处理；S2 构建深度学习模型并预训练，深度学习模型包括编码器和解码器；S3 将田垄图像输入预训练的深度学习模型，通过编码器对田垄图像进行特征提取和编码，通过解码器对编码后的特征进行解码和分类，得到每个像素的类别，标记出属于田垄边界的像素和背景的像素，得到田垄的边界线条；S4 采用筛选算法在边界线条中进行筛选，得到目标边界；S5 利用宽度识别模型对目标边界进行宽度识别，得到田垄宽度。
[0008]进一步优选的，步骤S2包括：S21 获取数据集，数据集包括多个固定角度的田垄的图像和对应的像素级别的真
实标签，将数据集按预设比例分为训练集、验证集和测试集；S22 利用随机梯度下降的优化算法优化损失函数，根据训练集对深度学习模型进行迭代训练，得到训练集的预测标签，并利用验证集来调整模型权重，直至模型收敛，得到初训练的深度学习模型；S23 利用测试集对初训练的深度学习模型进行模型评估和性能分析，采用可视化工具展示测试结果，将测试结果中的错例挑出，进行人工标注后加入训练集，并转至步骤S22重新执行迭代训练和验证，直至测试结果达到要求。
[0009]进一步优选的，步骤S4包括：S41 将一个田垄图像的边界线条记为{A
i
}，i为边界线条的数量；S42 选取一个边界线条A
i
，对A
i
进行二值化，随机选取A
i
中的一个像素点作为起始点，从起始点进行遍历，直至A
i
的全部像素点均被遍历，将A
i
中所有的像素点标为一个标号，并按照像素点之间的邻域关系得到其位置点；S43 重复步骤S42，得到所有边界线条{A
i
}的标号和像素位置点，以及确定i的值；S44 根据{A
i
}的标号确定每个边界线条的像素点集合，基于每个边界线条的像素点集合计算每个边界线条的图像矩，根据图像矩得到每个边界线条的中心点{B
i
}坐标；S45 根据中心点的坐标计算{B
i
}中每个中心点到田垄图像的中心点的距离，得到距离值；S46 将距离值按从小到大进行排序，选择第一个和第二个距离值，将其对应的边界线条作为目标边界。
[0010]进一步优选的，步骤S5包括：S51 从目标边界中的两个边界线条上分别选取两个方向平行的像素点，作为目标点，将目标点之间的连线作为中心线，以中心线为起始，按步长为1向外扩展一步，得到目标区域；S52 利用摄像机拍摄多张目标图像，所述目标图像中的区域的并集完全覆盖目标区域；S53 将多张目标图像输入深度学习模型中进行特征提取和边界识别，得到多张目标图像的特征点，特征点组成目标图像的边界线条；S54 对多张目标图像的特征点与目标点之间进行特征匹配和跟踪，使用特征描述符和特征匹配算法，将所有的特征点与目标点之间进行相似度匹配，以跟踪目标点的位置，将与目标点匹配成功的特征点作为目标特征点；S55 利用摄像机在拍摄目标图像时的移动信息，以及摄像机的参数，计算得到摄像机在拍摄不同目标图像时的位置变化；S56 根据摄像机的移动信息和位置变化，以及目标特征点的位置，进行三角测量计算，并通过目标特征点的几何关系，得到目标点之间的宽度。
[0011]进一步优选的，步骤S56包括：通过摄像机的参数和目标特征点的位置，计算得到目标特征点在摄像机坐标系下的三维坐标，其中，摄像机的参数包括焦距和目标特征点所属目标图像中心点的像素坐标；通过将目标特征点的三维坐标投影至地面平面中，得到目标特征点的实际坐标，进而得到目标点的实际坐标；
基于目标点的实际坐标进行测量，得到目标点之间的宽度，即田垄宽度。
[0012]进一步优选的，目标特征点的三维坐标的计算过程为：根据摄像机的参数，得到目标特征点的像素坐标，利用归一化公式将目标特征点的像素坐标转换为摄像机坐标系下的归一化坐标，归一化公式为：
[0013][0014]其中，X、Y是目标特征点的归一化坐标，(u,v)是目标特征点的像素坐标，(c
x
,c
y
)是目标特征点所属目标图像中心点的像素坐标，f
x
和f
y
是摄像机的焦距；选取参考平面，通过三维公式计算得到目标特征点的三维坐标：
[0015][0016][0017]其中，(X
c
,Y
c
,Z
c
)是目标特征点的三维坐标，X、Y是目标特征点的归一化坐标，Z是目标特征点相对摄像机的深度；相应地，目标点的实际坐标的计算过程为：选取地面平面为平行于XY方向的平面，根据目标特征点的三维坐标中的，计算投影后的目标特征点的实际坐标：
[0018][0019][0020]其中，(X
g
,Y
g
,Z
g
)是目标特征点的实际坐标；根据目标点与目标特征点之间的匹配属性，将(X
g
,本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种田垄宽度识别方法，其特征在于，包括：S1 采用摄像机采集田垄图像，并对田垄图像进行预处理；S2 构建深度学习模型并预训练，深度学习模型包括编码器和解码器；S3 将田垄图像输入预训练的深度学习模型，通过编码器对田垄图像进行特征提取和编码，通过解码器对编码后的特征进行解码和分类，得到每个像素的类别，标记出属于田垄边界的像素和背景的像素，得到田垄的边界线条；S4 采用筛选算法在边界线条中进行筛选，得到目标边界；S5 利用宽度识别模型对目标边界进行宽度识别，得到田垄宽度。2.如权利要求1所述的方法，其特征在于，步骤S2包括：S21 获取数据集，数据集包括多个固定角度的田垄的图像和对应的像素级别的真实标签，将数据集按预设比例分为训练集、验证集和测试集；S22 利用随机梯度下降的优化算法优化损失函数，根据训练集对深度学习模型进行迭代训练，得到训练集的预测标签，并利用验证集来调整模型权重，直至模型收敛，得到初训练的深度学习模型；S23 利用测试集对初训练的深度学习模型进行模型评估和性能分析，采用可视化工具展示测试结果，将测试结果中的错例挑出，进行人工标注后加入训练集，并转至步骤S22重新执行迭代训练和验证，直至测试结果达到要求。3.如权利要求1所述的方法，其特征在于，步骤S4包括：S41 将一个田垄图像的边界线条记为{A
i
}，i为边界线条的数量；S42 选取一个边界线条A
i
，对A
i
进行二值化，随机选取A
i
中的一个像素点作为起始点，从起始点进行遍历，直至A
i
的全部像素点均被遍历，将A
i
中所有的像素点标为一个标号，并按照像素点之间的邻域关系得到其位置点；S43 重复步骤S42，得到所有边界线条{A
i
}的标号和像素位置点，以及确定i的值；S44 根据{A
i
}的标号确定每个边界线条的像素点集合，基于每个边界线条的像素点集合计算每个边界线条的图像矩，根据图像矩得到每个边界线条的中心点{B
i
}坐标；S45 根据中心点的坐标计算{B
i
}中每个中心点到田垄图像的中心点的距离，得到距离值；S46 将距离值按从小到大进行排序，选择第一个和第二个距离值，将其对应的边界线条作为目标边界。4.如权利要求3所述的方法，其特征在于，步骤S5包括：S51 从目标边界中的两个边界线条上分别选取两个方向平行的像素点，作为目标点，将目标点之间的连线作为中心线，以中心线为起始，按步长为1向外扩展一步，得到目标区域；S52 利用摄像机拍摄多张目标图像，所述目标图像中的区域的并集完全覆盖目标区域；S53 将多张目标图像输入深度学习模型中进行特征提取和边界识别，得到多张目标图像的特征点，特征点组成目标图像的边界线条；S54 对多张目标图像的特征点与目标点之间进行特征匹配和跟踪，使用特征描述符和特征匹配算法，将所有的特征点与目标点之间进行相似度匹配，以跟踪目标点的位置，将与
目标点匹配成功的特征点作为目标特征点；S55 利用摄像机在拍摄目标图像时的移动信息，以及摄像机的参数，计算得到摄像机在拍摄不同目标图像时的位置变化；S56 根据摄像机的移动信息和位置变化，以及目标特征点的位置，进行三角测量计算，并通过目标特征点的几何关系，得到目标点之间的宽度。5.如权利要求4所述的方法，其特征在于，步骤S56包括：通过摄像机的参数和目标特征点的位置，计算得到目标特征点在摄像机坐标系下的三维坐标，其中，摄像机的参数包括焦距和目标特征点所属目标图像中心点的像素坐标；通过将目标特征点的三维坐标投影至地面平面中，得到目标特征点的实际坐标，进而得到目标点的实际坐标；基于目标点的实际坐标进行测量，得到目标点之间的宽度，即田垄宽度。6.如权利要求5所述的方法，其特征在于，目标特征点的三维坐标的计算过程为：根据摄像机的参数，得到目标特征点的像素坐标，利用归一化公式将目标特征点的像素坐标转换为摄像机坐标系下的归一化坐标，归一化公式为：；；其中，X、Y是目标特征点的归一化坐标，(u,v)是目标特征点的像素坐标，(c
x
,c
y
)是目标特征点所属目标图像中心点的像素坐标，f
x
和f
y
是摄像机的焦距；选取参考平面，通过三维公式计算得到目标特征点的三维坐标：；；；其中，(X
c
,Y
c
,Z
c
)是目标特征点的三维坐标，X、Y是目标特征点的归一化坐标，Z是目标特征点相对摄像机的深度；相应地，目标点的实际坐标的计算过程为：选取地面平面为平行于XY方向的平面，根据目标特征点的三维坐标中的，计算投影后的目标特征点的实际坐标：；；；其中，(X
g
,Y
g
,Z
g
)是目标特征点的实际坐标；根据目...
【专利技术属性】
技术研发人员：杨旭，邓新献，孟磊，尤虎，陈雷，黄斌，罗杰，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。