一种基于多传感器融合的农业无人车定位里程计方法及系统技术方案

本发明专利技术提出一种基于多传感器融合的农业无人车定位里程计方法和系统，包括：通过视觉传感器检测获取农业无人车所处环境的多个视觉特征点，利用深度传感器采集到的环境点云获取视觉特征点的深度信息，将获取到深度信息的视觉特征点作为稳定特征点，统计稳定特征点数量占视觉特征点总数的比例，作为复杂度；惯性传感器采集相对位姿信息，根据相对位姿信息生成惯性位姿信息；通过卡尔曼滤波器融合惯性位姿信息和视觉特征点，得到第一位姿信息，根据相对位姿信息为环境点云进行去畸形化处理，得到校正点云，以结合惯性位姿信息执行点云配准处理，得到第二位姿信息；根据复杂度，选择第一位姿信息或第二位姿信息，作为农业无人车的最终定位结果。终定位结果。终定位结果。

【技术实现步骤摘要】
一种基于多传感器融合的农业无人车定位里程计方法及系统


[0001]本专利技术涉及农业无人车、多传感器融合和定位里程计
，并特别涉及一种基于多传感器融合的农业无人车定位里程计方法及系统。

技术介绍

[0002]随着传感器硬件技术、计算机软件技术以及人工智能技术的发展，无人车在不同场景下的应用越来越广泛。在过去的几年里，无人车在仓储物流、探索救援等领域的应用已较为成熟，技术方案也趋向于多样化和实用化，但是无人车在农业领域(精准农业、智慧农业等)内还亟待发展，存在一系列的问题与限制，这与农业环境的多变性与复杂性有不可忽视的关系。其中农业环境下无人车的定位是当前无人车落地应用的一个技术挑战。里程计为整个定位软硬件系统。
[0003]农业无人车定位技术属于无人车定位
的子领域，现有的无人车定位技术主要有以下几个：1)卫星差分定位：基于GNSS系统或北斗卫星定位系统，辅以差分信号基站，解算出高精度的无人车的经纬度坐标；但基于GPS获取到的姿态精度低。姿态的参数包括车辆翻滚角、俯仰角、航向角；2)视觉定位：基于单目相机或立体相机，利用环境中的视觉几何特征或光度特征，解算出无人车的相对运动位姿(位置和姿态)；3)激光雷达定位：基于多线激光雷达，利用环境中的激光点云的形状分布特征或几何特征，解算出无人车的相对运动位姿；4)二维码定位：基于预先设立在环境中的二维码，利用相机扫描二维码的方式，获取无人车的位姿；5)UMB定位：基于预先安置在环境中的UWB无线基站，利用安装在无人车上的定位标签，通过无线通信技术的测算无人车位姿。
[0004]服务于农业的无人车类型包括无人驾驶拖拉机、收割机、农业自主巡检车辆等，农业对于这些无人车定位的需求主要体现在定位精度高(定位精度要求厘米级)、稳定性好(定位信号输出频率稳定在10Hz以上)以及可靠性强(定位系统不易宕机)等方面。上文中所述无人车的定位方法在农业场景下应用均存在一些问题。1)无人车在农田作业的部分场景无法使用卫星差分定位的方法获取精确位置，例如塑料大棚等室内作业场景以及卫星信号被高架桥梁遮挡的农田场景；2)待耕作或收割的农田包含的视觉几何特征和光度特征较少，不利于相机进行特征提取与匹配，因此很难通过视觉获取无人车精准度定位信息；3)农田场景常常包含较为广阔的平面，不利于激光雷达进行点云配准，会出现激光雷达里程计退化的现象；4)农田场景面积较大，不适合二维码定位或者UWB定位这类需要提前在环境中布置设备的定位方法。综上所述，现有的无人车定位方法无法满足农业无人车定位在精准性、稳定性以及可靠性方面的需求。
[0005]农业场景下进行无人车定位的难点在于农业场景中环境多变(光照、天气、地形、地块作业类型等)、路况颠簸、环境几何特征少、卫星差分信号不稳定，对于单一传感器来说，无法同时应对这些难点，多传感器融合可以综合利用各种传感器的优势覆盖大多数场景，因此多传感器融合在定位技术中的应用可有效解决农业场景中的定位问题。在农业场景中应用多传感器融合定位，需要注意多传感器的融合不是硬件设备的累加，需要选取适
合的传感器最小集(sensor suite)来在定位系统性能和成本之间权衡，在达到系统精准性、稳定性和可靠性的基础上尽量缩减成本。
[0006]现有融合技术是大多基于卡尔曼滤波器或者图优化技术进行传感器的定位信息融合。这两种融合方法依赖于传感器测量的无人车位置的不确定性来进行融合，通常使用协方差矩阵来对位置测量的不确定性进行描述。农业环境下场景多变，在变化的场景下进行传感器定位信息融合，需要实时动态地修改系统参数来使定位系统适应环境，采用协方差矩阵对于不确定性进行描述方法较为单一，无法充分感知环境的复杂度来对融合系统及时调整。随着周围环境的变化，当融合里程计系统发生退化现象时，需要及时感知并对系统进行针对性优化，来满足系统的精准性、稳定性和可靠性。

技术实现思路

[0007]发现根据上述分析，本专利技术提出了一种实时感知周围农业环境并对系统进行动态调优的方法，提升了融合里程计系统对环境的适应性。该方法对融合系统的优化不仅仅依赖于传感器测量的不确定性协方差矩阵，而是通过视觉信息和激光点云信息对周围环境的感知来判断系统是否出现退化现象，进而通过针对性设计的优化策略对系统输出做出调整。
[0008]本专利技术的目的是提升农业场景下无人车定位的精准性、稳定性和可靠性，解决现有定位系统环境适应性差的问题，提出了一种基于多传感器融合的农业无人车定位里程计方法，其中包括：
[0009]步骤1、农业无人车设有视觉传感器、惯性传感器和深度传感器，通过该视觉传感器检测获取该农业无人车所处环境的多个视觉特征点，同时利用该深度传感器采集到的环境点云获取视觉特征点的深度信息，将获取到深度信息的视觉特征点作为稳定特征点，统计稳定特征点数量占视觉特征点总数的比例，作为当前环境的复杂度；
[0010]步骤2、该惯性传感器采集相对位姿信息，根据该相对位姿信息生成惯性位姿信息；通过卡尔曼滤波器融合该惯性位姿信息和该视觉特征点，得到第一位姿信息，根据该相对位姿信息为该环境点云进行去畸形化处理，得到校正点云，以结合该惯性位姿信息执行点云配准处理，得到第二位姿信息；
[0011]步骤3、根据该复杂度，选择该第一位姿信息或该第二位姿信息，作为该农业无人车的最终定位结果。
[0012]所述的基于多传感器融合的农业无人车定位里程计方法，其中该去畸形化处理包括：
[0013][0014]其中Δφ
tk
代表t时刻接收到的点云中的第k个点的姿态修正信息，Δp
tk
代表t时刻接收到的点云中的第k个点的位置修正信息，t代表该点实际接收到的时刻，tk代表该帧点云接受的起始时间，Δt代表该帧点云接收经历的总时长，Δφ
k，k+1
和Δp
k，k+1
分别代表该惯性传感器计算出的该帧点云相对于上一帧的姿态变换和位置变换；
[0015]融合该姿态修正信息和该位置修正信息，构成位姿变换矩阵，通过该姿变换矩阵
与该环境点云的3D坐标相乘，得到该校正点云的3D坐标。
[0016]所述的基于多传感器融合的农业无人车定位里程计方法，其中该惯性位姿信息的生成过程包括：
[0017]该惯性位姿信息包括和分别代表姿态和位置的变换信息，t
k
和t
k
‑1代表接收到两帧连续点云或者图像的时刻，下标k代表点云或者图像的序号，ω
t
和a
t
代表t时该惯性传感器采集的角速度和加速度，v
k
‑1代表接收到第k
‑
1点云或者图像时测量得到的速度；
[0018][0019][0020]所述的基于多传感器融合的农业无人车定位里程计方法，其中该点云配准处理包括：
[0021]将该校正点云进行网格化处理，对每一个网格中所包含的激光点云采用主成分分析的方法进行正态分布计算；其中每一帧点云经过PCA后的点云分布表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器融合的农业无人车定位里程计方法，其特征在于，包括：步骤1、农业无人车设有视觉传感器、惯性传感器和深度传感器，通过该视觉传感器检测获取该农业无人车所处环境的多个视觉特征点，同时利用该深度传感器采集到的环境点云获取视觉特征点的深度信息，将获取到深度信息的视觉特征点作为稳定特征点，统计稳定特征点数量占视觉特征点总数的比例，作为当前环境的复杂度；步骤2、该惯性传感器采集相对位姿信息，根据该相对位姿信息生成惯性位姿信息；通过卡尔曼滤波器融合该惯性位姿信息和该视觉特征点，得到第一位姿信息，根据该相对位姿信息为该环境点云进行去畸形化处理，得到校正点云，以结合该惯性位姿信息执行点云配准处理，得到第二位姿信息；步骤3、根据该复杂度，选择该第一位姿信息或该第二位姿信息，作为该农业无人车的最终定位结果。2.如权利要求1所述的基于多传感器融合的农业无人车定位里程计方法，其特征在于，该去畸形化处理包括：其中Δφ
tk
代表t时刻接收到的点云中的第k个点的姿态修正信息，Δp
tk
代表t时刻接收到的点云中的第k个点的位置修正信息，t代表该点实际接收到的时刻，tk代表该帧点云接受的起始时间，Δt代表该帧点云接收经历的总时长，Δφ
k，k+1
和Δp
k，k+1
分别代表该惯性传感器计算出的该帧点云相对于上一帧的姿态变换和位置变换；融合该姿态修正信息和该位置修正信息，构成位姿变换矩阵，通过该姿变换矩阵与该环境点云的3D坐标相乘，得到该校正点云的3D坐标。3.如权利要求1所述的基于多传感器融合的农业无人车定位里程计方法，其特征在于，该惯性位姿信息的生成过程包括：该惯性位姿信息包括和分别代表姿态和位置的变换信息，t
k
和t
k
‑1代表接收到两帧连续点云或者图像的时刻，下标k代表点云或者图像的序号，ω
t
和a
t
代表t时该惯性传感器采集的角速度和加速度，v
k
‑1代表接收到第k
‑
1点云或者图像时测量得到的速度；度；4.如权利要求3所述的基于多传感器融合的农业无人车定位里程计方法，其特征在于，该点云配准处理包括：将该校正点云进行网格化处理，对每一个网格中所包含的激光点云采用主成分分析的方法进行正态分布计算；其中每一帧点云经过PCA后的点云分布表示如下：A＝{a
i
}，其中代表该帧点云第i个网格中正态分布的中心点坐标，代表其协方差矩阵；
待匹配的两帧点云分别为P＝{p
i
}和Q＝{q
i
}，基于正态分布变换的迭代最近点的目标函数为：式中R和τ分别代表两帧点云变化间的旋转信息和平移信息，取该目标函数值最小时对应的R和τ，作为变换关系T
kk
‑1，T
kk
‑1代表第k帧点云和第k
‑
1点云之间的旋转信息R和平移信息t；该第二位姿信息T
k
为：T
k
＝∏
k
T
k
T
k
‑1。5.如权利要求4所述的基于多传感器融合的农业无人车定位里程计方法，其特征在于，该第一位姿信息生成过程包括：根据激光雷达坐标系和相机坐标系间的变换信息T
LC
，将点云坐标投影从激光雷达坐标系投影到相机坐标系中，该视觉特征点通过搜索即可获取到深度；设激光点云坐标为p(x,y,z)，投影后的坐标为p'(x',y',z')，跟据下列公式进行投影：p
′
＝T
LC
p视觉特征点在进行深度获取前的像素坐标为x(u，v，1)，经过激光点云投影之后，对每一个视觉特征点，在指定半径内搜索投影后的激光点云，统计所有搜索到的点云的深度平均值作为视觉特征点的深度信息，获取深度后的视觉特征点坐标通过对极几何的方法计算出视觉特征点的空间位置坐标P(X，Y，Z)；有n个特征点的空间位置坐标P，它们的像素坐标u表示为光束法平差优化目标函数为：其中K代表相机的内参矩阵，R代表所要解算的位姿；根据该惯性位姿信息在卡尔曼滤波的更新步骤中计算卡尔曼滤波增益K，最后融合该光束法平差优化目标函数中优化得出的位姿z，作为该第一位姿信息其中C表示位姿测算的协方差矩阵。6.如权利要求5所述的基于多传感器融合的农业无人车定位里程计方法，其特征在于，该步骤3包括：通过视觉特征点检测模块得出的视觉特征点个数为n，其中m个特征点可激光雷达点云通过获取到深度，则环境复杂度E：该最终定位结果T
final
为：其中thresh...

【专利技术属性】
技术研发人员：赵紫旭，陆在旺，张玉成，刘子辰，龙隆，刘清华，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：