一种基于传感器融合目标检测的作物行间作业导航方法技术

本发明专利技术公开了一种基于传感器融合目标检测的作物行间作业导航方法，属于数字化农业机械技术领域；本发明专利技术提出一种基于传感器融合目标检测的作物行间作业导航方法，运用计算机视觉以及深度学习算法使用相机识别农作物，再利用激光雷达进行基于点云聚类的目标检测与障碍物分类，并融合二者检测结果。基于点云聚类的雷达目标检测方法，相较于常用的基于特征提取的激光雷达目标检测方法在运算量大大减少的情况下，可以在果园环境中达到接近效果，且可以完成不需要预先进行学习的多种类障碍物自动检测识别效果。自动检测识别效果。自动检测识别效果。

【技术实现步骤摘要】
一种基于传感器融合目标检测的作物行间作业导航方法


[0001]本专利技术涉及数字化农业机械
，特别是涉及一种基于传感器融合目标检测的作物行间作业导航方法。

技术介绍

[0002]随着农业机械技术的发展，农业机械向自动化、智能化方向的发展成为当今农业研究的热点。一种在田间环境下，精度较高、使用便捷，鲁棒性好的农业机械全自动驾驶系统，在农业生产中有着非常重要的作用，它可以降低人工成本，提高作业效率，带来良好的经济效益。农业机械在作物行间导航需要识别作物行，由于GNSS传感器信号在树木遮挡情况下易丢失，泥土与天气会影响相机的图像数据质量以及高线束激光雷达数据量过大且成本高昂等问题，导致单一传感器难以实现果园精确的环境感知。融合目标检测算法中通常使用基于特征的雷达目标检测算法与视觉融合，这种方法的运算量要求较大，同时农业机械常用的PID控制算法与MPC路径跟踪算法也需要较高算力，不适用于农业机械算力较低的嵌入式设备。
[0003]为了解决上述问题，本专利技术提出了一种基于传感器融合目标检测的作物行间作业导航方法。

技术实现思路

[0004]本专利技术的目的在于提供一种基于传感器融合目标检测的作物行间作业导航方法以解决
技术介绍
中所提出的问题。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种基于传感器融合目标检测的作物行间作业导航方法，所述方法基于传感器融合目标检测的作物行间作业导航系统进行，所述系统包括有行进设备、相机、激光雷达、IMU传感器、轮胎转向角传感器和总控制器；
[0007]所述方法具体包括以下步骤：
[0008]S1、在行进设备上设置相机的拍摄角度以及激光雷达的位置和探测角度；
[0009]S2、初始化相机、激光雷达和IMU传感器；
[0010]S3、联合标定相机、激光雷达和IMU传感器的坐标系；
[0011]S4、利用视觉目标检测算法识别目标作物；
[0012]S5、进行点云预处理，基于密度法对激光雷达点云进行聚类，通过体积阈值判断检测目标与障碍物；
[0013]S6、利用S5中所得的目标检测结果进行决策融合，获取目标点的相对坐标；
[0014]S7、行进过程中，对环境进行识别，依据环境作物位置自动切换行走模式；
[0015]S8、利用IMU传感器获取行进设备的机械运动状态；
[0016]S9、计算S8中所得运动状态与规划路径的差值，进行滑模控制跟踪，完成作物行间作业导航工作。
[0017]优选地，S3中所述联合标定具体包括以下内容：
[0018]S3.1、相机坐标系标定：对相机进行标定，获取相机的内参；
[0019]S3.2、相机坐标系与激光雷达坐标系联合标定：
[0020]将相机坐标系表示为O
C
‑
X
C
Y
C
Z
C
，将激光雷达坐标系表示为O
L
‑
X
L
Y
L
Z
L
，将激光雷达坐标系与摄像机坐标系之间的位姿关系分解为绕坐标原点O的旋转和平移，具体计算公式如下：
[0021][0022]其中，R为旋转矩阵，代表激光雷达坐标系与摄像机坐标系之间的角位移关系；T为平移矩阵，表示激光雷达坐标系原点在摄像机坐标系中的坐标，代表激光雷达坐标系与摄像机坐标系之间的相对位置关系；所述旋转矩阵R和平移矩阵T通过空间点匹配方案获取；
[0023]S3.3、激光雷达坐标系与IMU坐标系联合标定：
[0024]将IMU坐标系表示为O
U
‑
X
U
Y
U
Z
U
，IMU坐标系与激光雷达坐标系方向一致，因此转换关系为：
[0025][0026]通过卷积运算方法消除IMU坐标系与激光雷达坐标系的位置偏差，获得旋转矩阵R
’
和平移矩阵T
’
。
[0027]优选地，所述S4具体包括以下内容：
[0028]S4.1、采集多种环境、条件下的目标农作物图像，构建数据集，并将数据集划分为训练集和验证集；
[0029]S4.2、基于S4.1中所得训练集，采用随机梯度下降法对视觉目标检测网络进行训练，并利用验证集对训练后的网络进行验证；当验证集的分类精度停止增加时，则降低学习率，直至通过调整学习率不再提高识别率为止；
[0030]S4.2、使用训练权重文件对环境进行检测，获取环境中目标图像信息，赋予目标2D包围框与标签，获得目标在图像坐标系位置信息。
[0031]优选地，所述S5具体包括以下内容：
[0032]S5.1、保留激光雷达正前方前云，去除地面点云，通过质心体素进行降采样处理，根据目标种植特征与机械运行速度进行点云分割；
[0033]S5.2、基于点云密度算法对点云进行处理，具体聚类原理如下：
[0034]S5.2.1、初始化邻域c、阈值ρ，将整体点云集合记为D，将其变量M赋值为J，聚类编号N＝0；
[0035]S5.2.2、从D集合中取一点a，如果M＝F，则选择其它点；若M＝K，则判断其是否为核心点；其中，F表示未访问，K表示已访问；
[0036]S5.2.3、若该点半径L范围内点云数量小于ρ，则其为噪声点，计N＝
‑
1；若点云数量大于ρ，寻找其密度可达点，并对其编号N＝N+1，计其中所有点M＝K；
[0037]S5.2.4、重复S5.2.2、S5.2.3，直至所有点云M＝K，则聚类完成，输出所有点云簇N
i
；
[0038]S5.3、聚类完成后，通过点云簇边界点赋予其垂直于地面的四条框线，根据其地面点赋予其底面与顶面上的包围线，由此获取其3D包围框；
[0039]S5.4、通过3D包围框的三维坐标获得其横向宽度以及纵向高度，并计算其点云簇体积；
[0040]S5.5、根据目标作物的大致宽度、高度设定一检测阈值，然后根据检测阈值对已聚类点云进行分类，在阈值范围内的点云簇赋予目标标签；非阈值内目标不赋予标签作为障碍物；过滤小于行进机械轮廓通过性最小离地间隙，接近角大小的点云簇。
[0041]优选地，所述S6具体包括以下内容：
[0042]S6.1、获取激光雷达数据发布帧率与相机数据发布帧率，取其帧率较低者帧率作为同步频率基准，通过二者数据时间戳，将相近时间数据按照同步频率进行匹配，同时删除多余数据；通过旋转矩阵R
’
和平移矩阵T
’
，修正激光雷达与相机之间的位置偏差与角度偏差；
[0043]S6.2、将带有标签的激光雷达3D包围框与目标检测包围框空间位置进行投影匹配，获得二者在三维空间中位置关系，将二者位置关系分为独立与相交，并求取相交3D包围框与目标检测包围框二者目标框交并比；
[0044]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于传感器融合目标检测的作物行间作业导航方法，其特征在于，所述方法基于传感器融合目标检测的作物行间作业导航系统进行，所述系统包括有行进设备、相机、激光雷达、IMU传感器、轮胎转向角传感器和总控制器；所述方法具体包括以下步骤：S1、在行进设备上设置相机的拍摄角度以及激光雷达的位置和探测角度；S2、初始化相机、激光雷达和IMU传感器；S3、联合标定相机、激光雷达和IMU传感器的坐标系；S4、利用视觉目标检测算法识别目标作物；S5、进行点云预处理，基于密度法对激光雷达点云进行聚类，通过体积阈值判断检测目标与障碍物；S6、利用S5中所得的目标检测结果进行决策融合，获取目标点的相对坐标；S7、行进过程中，对环境进行识别，依据环境作物位置自动切换行走模式；S8、利用IMU传感器获取行进设备的机械运动状态；S9、计算S8中所得运动状态与规划路径的差值，进行滑模控制跟踪，完成作物行间作业导航工作。2.根据权利要求1所述的一种基于传感器融合目标检测的作物行间作业导航方法，其特征在于，S3中所述联合标定具体包括以下内容：S3.1、相机坐标系标定：对相机进行标定，获取相机的内参；S3.2、相机坐标系与激光雷达坐标系联合标定：将相机坐标系表示为O
C
‑
X
C
Y
C
Z
C
，将激光雷达坐标系表示为O
L
‑
X
L
Y
L
Z
L
，将激光雷达坐标系与摄像机坐标系之间的位姿关系分解为绕坐标原点O的旋转和平移，具体计算公式如下：其中，R为旋转矩阵，代表激光雷达坐标系与摄像机坐标系之间的角位移关系；T为平移矩阵，表示激光雷达坐标系原点在摄像机坐标系中的坐标，代表激光雷达坐标系与摄像机坐标系之间的相对位置关系；所述旋转矩阵R和平移矩阵T通过空间点匹配方案获取；S3.3、激光雷达坐标系与IMU坐标系联合标定：将IMU坐标系表示为O
U
‑
X
U
Y
U
Z
U
，IMU坐标系与激光雷达坐标系方向一致，因此转换关系为：通过卷积运算方法消除IMU坐标系与激光雷达坐标系的位置偏差，获得旋转矩阵R
’
和平移矩阵T
’
。3.根据权利要求1所述的一种基于传感器融合目标检测的作物行间作业导航方法，其特征在于，所述S4具体包括以下内容：
S4.1、采集多种环境、条件下的目标农作物图像，构建数据集，并将数据集划分为训练集和验证集；S4.2、基于S4.1中所得训练集，采用随机梯度下降法对视觉目标检测网络进行训练，并利用验证集对训练后的网络进行验证；当验证集的分类精度停止增加时，则降低学习率，直至通过调整学习率不再提高识别率为止；S4.2、使用训练权重文件对环境进行检测，获取环境中目标图像信息，赋予目标2D包围框与标签，获得目标在图像坐标系位置信息。4.根据权利要求1所述的一种基于传感器融合目标检测的作物行间作业导航方法，其特征在于，所述S5具体包括以下内容：S5.1、保留激光雷达正前方前云，去除地面点云，通过质心体素进行降采样处理，根据目标种植特征与机械运行速度进行点云分割；S5.2、基于点云密度算法对点云进行处理，具体聚类原理如下：S5.2.1、初始化邻域c、阈值ρ，将整体点云集合记为D，将其变量M赋值为J，聚类编号N＝0；S5.2.2、从D集合中取一点a，如果M＝F，则选择其它点；若M＝K，则判断其是否为核心点；其中，F表示未访问，K表示已访问；S5.2.3、若该点半径L范围内点云数量小于ρ，则其为噪声点，计N＝
‑
1；若点云数量大于ρ，寻找其密度可达点，并对其编号N＝N+1，计其中所有点M＝K；S5.2.4、重复S5.2.2、S5.2.3，直至所有点云M＝K，则聚类完成，输出所有点云簇N
i
；S5.3、聚类完成后，通过点云簇边界点赋予其垂直于地面的四条框线，根据其地面点赋予其底面与顶面上的包围线，由此获取其3D包围框；S5.4、通过3D包围框的三维坐标获得其横向宽度以及纵向高度，并计算其点云簇体积；S5.5、根据目标作物的大致宽度、高度设定一检测阈值，然后根据检测阈值对已聚类点云进行分类，在阈值范围内的点云簇赋予目标标签；非阈值内目标不赋予标签作为障碍物；过滤小于行进机械轮廓通过性最小离地间隙，接近角大小的点云簇。5.根据权利要求1所述的一种基于传感器融合目标检测的作物行间作业导航方法，其特征在于，所述S6具体包括以下内容：S6.1、获取激光雷达数据发布帧率与相机数据发布帧率，取其帧率较低者帧率作为同步频率基准，通过二者数据时间戳，将相近时间数据按照同步频率进行匹配，同时删除多余数据；通过旋转矩阵R
’
和平移矩阵T
’
，修正激光雷达与相机之间的位置偏差与角度偏差；S6.2、将带有标签的激光雷达3D包围框与目标检测包围框空间位置进行投影匹配，获得二者在三维空间中位置关系，将二者位置关系分为独立与相交，并求取相交3D包围框与目标检测包围框二者目标框交并比；S6.3、通过目标框位置关系对检测目标真实位置进行判断，获取所有不相交包围框，认定其皆为单独目标，输出其包围框为真实框；获取所有目标包围框交并比小于重合阈值的包围框，认定其也为单独目标，输出其包围框为真实框；获取所有目标包围框交并比大于重合阈值的包围框，以其二维包围框作为真实框，删除与之相交且交并比大于重合阈值的3D包围框；S6.4、将上述所有真实框的几何中心位置作为导航点，输出其导航点坐标(x
n
，y
n
，z
n
)。
6.根据权利要求1所述的一种基于传感器融合目标检测的作物行间作业导航方法，其特征在于，所述S7具体包括以下内容：S7.1：S7.1.1、系统启动并初始化，对环境进行识别，将前方的目标按照角度划分为0～90
°
点云集合Q，以及270～360
°
点云集合P，用来区分左右目标；当点云集合I或J其中一个没有目标导航点时，机器开始单行识别开始作业；S7.1.2、识别l
n
值最小点Q
n
或P
n
，记录其坐标为O(X0，Y0，Z0)，取雷达坐标A点为原点，则导航点坐标为(r
‑
X0，Y，0)，坐标系以激光雷达坐标系表示r为A点据障碍物点X轴距离；S7.1.3、重复S7.1.2寻找下一导航点，直至驶入行末，进行行末转向，开始作业；S7.2：当机械行走至行末，需要转入下一行以继续作业；S7.2.1、当目标点Q
n
，P
n
从雷达视野中消失，且点云集合Q与P都无目标导航点时，系统认为已行走至行末，并...

【专利技术属性】
技术研发人员：李宁，刘立超，方旭，马立，丁宵，
申请(专利权)人：安徽农业大学，
类型：发明
国别省市：