一种用于无人驾驶拖拉机的耕作区域边界检测方法技术

一种用于无人驾驶拖拉机的耕作区域边界检测方法，包括如下步骤：从实验田环境下采集图片形成数据集，数据集应涵盖各种不同的场景和情况，包括光照变化

【技术实现步骤摘要】
一种用于无人驾驶拖拉机的耕作区域边界检测方法


[0001]本专利技术涉及农业自动化
，具体为一种用于无人驾驶拖拉机的耕作区域边界检测方法
。

技术介绍

[0002]当前，无人驾驶技术在农业领域的应用正在迅速发展，其中无人驾驶拖拉机作为农业自动化的重要组成部分，需要精确的感知和导航能力以执行各种农业作业；工作区域的准确边界检测是无人驾驶拖拉机实现自主导航和农业作业的关键技术，然而在大田环境中，光照
、
遮挡等因素对传统视觉系统的影响较大
。
[0003]在目前的技术状况下，农业自动化领域已经出现了一些基于计算机视觉和传感技术的边界检测系统，但在大田环境下应用的无人驾驶拖拉机边界检测方案还相对有限
。
以下是一些与本专利技术技术方案最接近的现有技术状况的介绍和说明：例如如下文献：
[1]王侨
,
刘卉
,
杨鹏树
,
基于机器视觉的农田地头边界线检测方法
[J].
农业机械学报
,2020,51(05):18
‑
27
；
[2]张勇
,
武欣
.
农用无人拖拉机耕作轨迹智能控制系统的设计
[J].
农机化研究
,2023,45(02):230
‑5；
[3]牛鑫
.
基于
ARM
‑
Linux
的无人驾驶拖拉机自动导航控制系统<br/>[J].
农机化研究
,2023,45(11):264
‑8；
[0004]目前，一些农业自动化设备采用上述文献所描述的计算机视觉系统以及导航控制系统进行边界检测和导航
。
这些系统使用基于颜色跳变
[1]、
纹理等特征的图像处理算法来识别和定位目标物体，但在大田环境中，光照变化
、
遮挡等因素容易影响传统视觉系统的性能，导致边界检测不稳定
[2]。
其次，在农业领域，已经出现了一些应用于无人驾驶拖拉机的技术，包括
GNSS
导航
[3]、
惯性传感器等
。
这些技术可以帮助拖拉机实现自主导航，但是在工作区域边界检测方面，通常依赖于地形
、
路标等信息，无法准确识别大田中的动态目标或边界
。

技术实现思路

[0005]为解决上述技术问题，本专利技术提供一种用于无人驾驶拖拉机的耕作区域边界检测方法，通过
YOLOv5
实例分割算法结合图像处理方法，实现了在无人驾驶拖拉机上对工作区域边界的准确检测和定位；该方法还利用
RGB
‑
D
相机提供的深度图像计算，获得边界距离信息，为无人驾驶拖拉机的自主导航和农业作业提供关键空间数据
。
[0006]本专利技术采用的技术方案是：一种用于无人驾驶拖拉机的耕作区域边界检测方法，包括如下步骤：
S1、
从实验田环境下采集图片形成数据集，数据集应涵盖各种不同的场景和情况，包括光照变化
、
目标遮挡障碍物以及不同作物类型；
S2、
为每个图像创建标注文件，在每个图像中标注出耕作区域和非耕作区域并用不同的类别进行标记，并将数据集按照一定的比例划分为训练集
、
验证集和测试集；
S3、
根据应用场景和数据集特点，选择
yolov5s
‑
seg
模型架构，对模型的超参数进行调整，以逐渐衰减学习率作为主要的学习策略，加速模型收敛并避免陷入局部最优；
S4、
在使用
RGB
‑
D
相机之前，需要对相机进行标定，以获取内参和畸变系数等相机参数，并利用标定算法计算相机参数，纠正图像畸变，构建准确的相机投影模型；
S5、
设置无人驾驶拖拉机中相机参数并持续读取实时图像上传至上位机，上位机从
RGB
‑
D
相机读中取到数据帧分离出彩色图和深度图将彩色图作为
yolov5s
‑
seg
的数据源输入，进行前向推理得出工作区域的轮廓点作为该步骤中的后处理的预瞄区域；
S6、
以预瞄区域作为主要对象通过掩码的裁剪
、
轮廓提取
、
图像逻辑运算操作，逐步精准定位出工作区域边界距当前拍摄位置的距离
。
作为优选方案，
S2
步骤中，所述数据集按照
8:1:1
的比例划分成训练集
、
验证集和测试集；其中，训练集用于模型的学习，验证集用于调优超参数和验证模型性能，测试集用于最终评估模型的准确性
。
作为优选方案，
S4
步骤中，具体操作方法如下：
S4.1、
准备一个张正友标定法的棋盘格，用相机对其进行不同角度的拍摄，得到一组图像；
S4.2、
对图像中的特征点如标定板角点进行检测，得到标定板角点的像素坐标值，根据已知的棋盘格大小和世界坐标系原点，计算得到标定板角点的实际坐标值；
S4.3、
通过公式构建单点无畸变的相机成像模型
。
作为优选方案，
S4.3
步骤中，具体操作方法如下：步骤中，具体操作方法如下：根据上述公式求解内参矩阵
M
与外参矩阵
(R
，
t)
，其中
M
是相机的固有属性，
R
为相机位姿的旋转矩阵，
t
为相机的位移矩阵，单点无畸变的相机成像模型如下：其中，
Z
为尺度因子，
u
，
v
为该点对应的在像素坐标系下的像素坐标，
f
为相距，
dX,dY
分别表示
X
，
Y
方向上一个像素在相机感光板上的物理长度，
θ
表示相机的旋转角度，
u0，
v0表示相机感光板中心在像素坐标系下的坐标，
U
，
W
，
V
为在世界坐标系下一点的物理坐标
。
作为优选方案，
S5
步骤中，具体操作方法如下：相机通过摄像头同时采集当前环境下的彩色图像和深度图像封装成一帧数据上传至上位机，上位机对图像进行解码，分离出彩色图和深度图；将彩色图作为数据源制作
dataloader
作为
yolov5s
‑
seg
的输入图像，而后将训练
后得到的权重文件加载进
yolov5s
‑
seg
网络框架中，
yolov5s...

【技术保护点】

【技术特征摘要】
1.
一种用于无人驾驶拖拉机的耕作区域边界检测方法，其特征在于：包括如下步骤：
S1、
从实验田环境下采集图片形成数据集，数据集应涵盖各种不同的场景和情况，包括光照变化
、
目标遮挡障碍物以及不同作物类型；
S2、
为每个图像创建标注文件，在每个图像中标注出耕作区域和非耕作区域并用不同的类别进行标记，并将数据集按照一定的比例划分为训练集
、
验证集和测试集；
S3、
根据应用场景和数据集特点，选择
yolov5s
‑
seg
模型架构，对模型的超参数进行调整，以逐渐衰减学习率作为主要的学习策略，加速模型收敛并避免陷入局部最优；
S4、
在使用
RGB
‑
D
相机之前，需要对相机进行标定，以获取内参和畸变系数等相机参数，并利用标定算法计算相机参数，纠正图像畸变，构建准确的相机投影模型；
S5、
设置无人驾驶拖拉机中相机参数并持续读取实时图像上传至上位机，上位机从
RGB
‑
D
相机读中取到数据帧分离出彩色图和深度图将彩色图作为
yolov5s
‑
seg
的数据源输入，进行前向推理得出工作区域的轮廓点作为该步骤中的后处理的预瞄区域；
S6、
以预瞄区域作为主要对象通过掩码的裁剪
、
轮廓提取
、
图像逻辑运算操作，逐步精准定位出工作区域边界距当前拍摄位置的距离
。2.
根据权利要求1所述的一种用于无人驾驶拖拉机的耕作区域边界检测方法，其特征在于：
S2
步骤中，所述数据集按照
8:1:1
的比例划分成训练集
、
验证集和测试集；其中，训练集用于模型的学习，验证集用于调优超参数和验证模型性能，测试集用于最终评估模型的准确性
。3.
根据权利要求1所述的一种用于无人驾驶拖拉机的耕作区域边界检测方法，其特征在于：
S4
步骤中，具体操作方法如下：
S4.1、
准备一个张正友标定法的棋盘格，用相机对其进行不同角度的拍摄，得到一组图像；
S4.2、
对图像中的特征点如标定板角点进行检测，得到标定板角点的像素坐标值，根据已知的棋盘格大小和世界坐标系原点，计算得到标定板角点的实际坐标值；
S4.3、
通过公式构建单点无畸变的相机成像模型
。4.
根据权利要求3所述的一种用于无人驾驶拖拉机的耕作区域边界检测方法，其特征在于：
S4.3
步骤中，具体操作方法如下：步骤中，具体操作方法如下：根据上述公式求解内参矩阵
M
与外参矩阵
(R,t)
，其中
M
是相机的固有属性，
R
为相机位姿的旋转矩阵，
t
为相机的位移矩阵，单点无畸变的相机成像模型如下：其中，
Z
为尺度因子，
u
，
v
为该点对应的在像素坐标系下的像素坐标，
f
为相距，
dX,dY
分
别表示
X
，
Y
方向上一个像素在相机感光板上的物理长度，
θ
表示相机的旋转角度，
u0，
v0表示相机感光板中心在像素坐标系下的坐标，
U
，
W
，
V
为在世界坐标系下一点的物理坐标
。5.
根据权利要求4所述的一种用于无人驾驶拖拉机的耕作区域边界检测方法，其特征在于：
S5
步骤中，具体操作方法如下：相机通过摄像头同时采集当前环境下的彩色图像和深度图像封装成一帧数据上传至上位机，上位机对图像进行解码，分离出彩色图和深度图；将彩色图作为数据源制作
dataloader
作为
yolov5s
‑
seg
的输入图像，而后将训练后得到的权重文件加载进
yolov5s
‑
seg
网络框架中，
yolov5s
‑
seg
网络加载
dataloader
并解码以
...

【专利技术属性】
技术研发人员：姬江涛，杜树灿，韩志豪，张云浩，赵静怡，雷杨，
申请(专利权)人：河南科技大学，
类型：发明
国别省市：