一种基于DS-GNN算法的多传感器融合方法技术

本发明专利技术公开了一种基于DS‑GNN算法的多传感器融合方法，首先雷达通过自身的信号处理解析出多个可能的目标，获得其位置和速度信息，摄像头模块提供目标的位置和速度信息，系统检测之前需要预先对毫米波雷达和摄像头进行联合标定，实现多传感器在时间和空间上的融合，然后引入全局最近邻(GNN)算法对所有原始目标信息和观测值进行一一匹配，从而来确认雷达和摄像头的哪些观测值由同一辆车产生，最后采用D‑S证据理论对观测值进行有效的融合，包括目标状态更新与存在性概率更新，其中状态更新的流程与标准卡尔曼滤波基本一致，存在性概率与其同时进行跟踪。本发明专利技术可实现对目标车辆的准确识别与跟踪。

【技术实现步骤摘要】
一种基于DS-GNN算法的多传感器融合方法
本专利技术涉及车辆智能驾驶和主动安全
，特别是涉及一种基于DS-GNN算法的多传感器融合方法。
技术介绍
对于先进驾驶员辅助系统(ADAS)和自主驾驶来说，单一传感器越来越不能满足人们对日益复杂的交通环境的安全要求。但无论是雷达还是摄像头都有自身缺陷，都会受到各种不利环境因素影响，导致在特定的场景中，目标识别的能力大大减弱。在车辆避撞方法和系统中，因受单传感器的感知能力制约，都存在一定的缺陷，不能在实际全工况场景中，有效避免车辆碰撞。因此，基于多传感器融合的目标跟踪方法研究具有极大的理论意义和实际价值。目前，国内外研究学者在多传感器融合领域已经取得一些研究进展，但这些研究大部分注重于利用摄像头等传感器探测到的目标位置，迅速确定图像上的“感兴趣区域”(regionofinterest，ROI)，然后调用图像算法对该区域进行检测，确定区域内是否含有车辆。这类算法虽然能够加快图像的识别过程，但它不能有效地发挥出传感器的识别技术优势，系统鲁棒性也不强。因此，目前需要一种多传感器融合算法对单传感器分别给出的判断结果进行融合，将算法认为有效的结果作为输出结果，从而提高系统的鲁棒性。
技术实现思路
本专利技术的目的在于克服上述技术的不足，因此选用毫米波雷达与摄像头信息进行融合，并提出了一种基于DS-GNN算法的多传感器融合方法，由摄像头与毫米波雷达各自完成目标的检测，然后DS-GNN算法进行数据融合，实现准确的目标识别。为实现以上目的，本专利技术的技术方案为：一种基于DS-GNN算法的多传感器融合方法，包括如下步骤：步骤1：将摄像头和毫米波雷达的时空融合，实现摄像头和毫米波雷在空间坐标系上的一致和时间上的同步；步骤2：采用基于全局最近邻算法分别对毫米波雷达和摄像头采集的观测值与目标源进行一一匹配，从而来确认雷达和摄像头的哪些观测值由同一辆车产生；步骤3：采用基于D-S证据理论数据融合模型对获得的雷达和摄像头匹配值进行融合。进一步，所述步骤1对摄像头和毫米波雷达的时空融合，根据毫米波雷达距离和方位信息，应用不同的空间变换矩阵实现视觉和毫米波雷达的空间融合；德尔福毫米波雷达的采样频率为20Hz，摄像头的采样频率为60Hz,以雷达获取的数据为基准，采用多线程同步的方法解决传感器时间融合问题，其中雷达采集模块以雷达数据采集周期正常运行，使图像采集模块根据雷达运行相对应的进行触发运行，也就是说在当前时刻摄像机传感器与雷达传感器同时工作的下一时刻控制运行周期短的摄像机传感器停止采集数据，直到雷达传感器再次采集数据时再触发摄像机传感器进行数据采集，以此达到同一时刻采集数据的目的。进一步，采用基于全局最近邻算法对毫米波雷达采集的观测值与目标源进行一一匹配，具体步骤如下：Pro1：目标状态方程：Xi(k)＝f[Xi(k-1)]+v(k)(1)其中：Xi(k)表示k时刻目标i的状态向量；f[·]表示状态函数；v(k)表示协方差Q(k)为零均值高斯白噪声的过程噪声；假设在k-1时目标的状态已知，同时毫米波雷达的观测方程为：Z1,i(k)＝h1[Xi(k)]+w1(k)(2)其中：Z1,i(k)为k时刻毫米波雷达对目标i的观测向量；h1[·]表示毫米波雷达的观测函数；w1[·]表示毫米波雷达的协方差R1(k)为零均值高斯白噪声的测量噪声；Pro2:根据k-1时刻给出的目标状态，利用扩展卡尔曼滤波方法计k时刻目标的状态预测值以及k时刻目标的预测误差协方差其中，F表示f[·]的雅克比矩阵；P1(k-1|k-1)表示雷达k-1时刻的状态协方差；根据式(3)和式(4)得到的k时刻目标的状态预测值以及预测误差协方差，计算雷达的量测预测值Z1,pre(k|k-1)、新息协方差值S1(k)及卡尔曼增益K1(k)：其中，H1表示h1[·]的雅克比矩阵；R1(k)表示毫米波雷达的协方差；利用全局最近邻(GNN)数据关联算法对k时刻的雷达量测与目标源进行关联，确定雷达量测是否落入椭圆跟踪门内；Pro3：由椭圆跟踪门规则得到的关联区域为：其中：d1,j为雷达的第j个量测与目标源的统计距离，服从自由度为m的χ2分布，m为雷达的有效量测个数；G为限定阈值，本专利技术规定G取3时，雷达有效量测都会包含在区域中；v1(j)为雷达的第j个量测的滤波新息,满足v1，k(j)＝Z1，i(j)-Z1，pre(j)；Pro4：将雷达与目标源的关联量测数据输入到跟踪滤波器中，然后更新得到协方差矩阵和状态估计向量其中：I为单位矩阵。进一步，采用基于全局最近邻算法对摄像头采集的观测值与目标源进行一一匹配，具体步骤如下Pro4.1：目标状态方程：Xi(k)＝f[Xi(k-1)]+v(k)(11)其中：Xi(k)表示k时刻目标i的状态向量；f[·]表示状态函数；v(k)表示协方差Q(k)为零均值高斯白噪声的过程噪声；假设在k-1时目标的状态已知，同时毫米波雷达的观测方程为：Z2,i(k)＝h2[Xi(k)]+w2(k)(12)其中：Z2,i(k)为k时刻摄像头对目标i的观测向量；h2[·]表示摄像头的观测函数；w2[·]表示摄像头的协方差R2(k)为零均值高斯白噪声的测量噪声；利用毫米波雷达得到的状态估计向量和协方差矩阵作为摄像头的初始状态预测值和协方差矩阵然后结合摄像头的量测数据进行预测；Pro4.2：摄像头的一步预测状态估计值Z2,pre(k|k-1)、预测误差协方差矩阵S2(k)以及卡尔曼增益K2(k)：其中，H2分别表示h2[·]的雅克比矩阵；R2(k)表示摄像头的协方差；同样利用全局最近邻(GNN)数据关联算法对k时刻的摄像头量测与目标源进行关联；Pro4.3：确定摄像头量测是否落入椭圆跟踪门内，则需要满足的条件为：其中：d2,j为摄像头获得的第j个量测与目标源的统计距离；G为限定阈值，本专利技术规定G取3时，摄像头有效量测都会包含在区域中；v2(j)为第j个量测的滤波新息,满足v2,k(j)＝Z2,i(j)-Z2,pre(j)；Pro4.4：对跟踪门内摄像头采集的观测值进行状态估计，得到其状态估计值和协方差矩阵其中：I为单位矩阵。进一步，所述步骤3中，雷达和摄像头通过全局最近邻算法获得k时刻的目标状态估计值和量测值通过基本概率分配函数分别计算其概率分配值Aii＝1,2和Bii＝1,2，然后将概率分配值输入到融合中心进行融合和目标状态更新。进一步，所述步骤3采用基于D-S证据理论数据融合模型对获得的雷达和摄像头匹配值进行融合，具体步骤如下：Pro6.1：在k时刻，雷达和摄像头经过数据关联算法计算后得到的目标状态估计值在k时刻的量测值为然后我们可本文档来自技高网...

【技术保护点】
1.一种基于DS-GNN算法的多传感器融合方法，其特征在于，包括如下步骤：/n步骤1：将摄像头和毫米波雷达的时空融合，实现摄像头和毫米波雷在空间坐标系上的一致和时间上的同步；/n步骤2：采用基于全局最近邻算法分别对毫米波雷达和摄像头采集的观测值与目标源进行一一匹配，从而来确认雷达和摄像头的哪些观测值由同一辆车产生；/n步骤3：采用基于D-S证据理论数据融合模型对获得的雷达和摄像头匹配值进行融合。/n

【技术特征摘要】
1.一种基于DS-GNN算法的多传感器融合方法，其特征在于，包括如下步骤：
步骤1：将摄像头和毫米波雷达的时空融合，实现摄像头和毫米波雷在空间坐标系上的一致和时间上的同步；
步骤2：采用基于全局最近邻算法分别对毫米波雷达和摄像头采集的观测值与目标源进行一一匹配，从而来确认雷达和摄像头的哪些观测值由同一辆车产生；
步骤3：采用基于D-S证据理论数据融合模型对获得的雷达和摄像头匹配值进行融合。


2.根据权利要求1所述的一种基于DS-GNN算法的多传感器融合方法，其特征在于:所述步骤1对摄像头和毫米波雷达的时空融合，根据毫米波雷达距离和方位信息，应用不同的空间变换矩阵实现视觉和毫米波雷达的空间融合；德尔福毫米波雷达的采样频率为20Hz，摄像头的采样频率为60Hz,以雷达获取的数据为基准，采用多线程同步的方法解决传感器时间融合问题，其中雷达采集模块以雷达数据采集周期正常运行，使图像采集模块根据雷达运行相对应的进行触发运行，也就是说在当前时刻摄像机传感器与雷达传感器同时工作的下一时刻控制运行周期短的摄像机传感器停止采集数据，直到雷达传感器再次采集数据时再触发摄像机传感器进行数据采集，以此达到同一时刻采集数据的目的。


3.根据权利要求1所述的一种基于DS-GNN算法的多传感器融合方法，其特征在于：采用基于全局最近邻算法对毫米波雷达采集的观测值与目标源进行一一匹配，具体步骤如下：
Pro1：目标状态方程：
Xi(k)＝f[Xi(k-1)]+v(k)(1)
其中：Xi(k)表示k时刻目标i的状态向量；f[·]表示状态函数；v(k)表示k时刻协方差Q(k)为零均值高斯白噪声的过程噪声；假设在k-1时目标的状态已知，同时毫米波雷达的观测方程为：
Z1,i(k)＝h1[Xi(k)]+w1(k)(2)
其中：Z1,i(k)为k时刻毫米波雷达对目标i的观测向量；h1[·]表示毫米波雷达的观测函数；w1[·]表示毫米波雷达的协方差R1(k)为零均值高斯白噪声的测量噪声；
Pro2:根据k-1时刻给出的目标状态，利用扩展卡尔曼滤波方法计k时刻目标的状态预测值以及k时刻目标的预测误差协方差






其中，F表示f[·]的雅克比矩阵；P1(k-1|k-1)表示雷达k-1时刻的状态协方差；根据式(3)和式(4)得到的k时刻目标的状态预测值以及预测误差协方差，计算雷达的量测预测值Z1,pre(k|k-1)、新息协方差值S1(k)及卡尔曼增益K1(k)：









其中，H1表示h1[·]的雅克比矩阵；R1(k)表示毫米波雷达的协方差；利用全局最近邻(GNN)数据关联算法对k时刻的雷达量测与目标源进行关联，确定雷达量测是否落入椭圆跟踪门内；
Pro3：由椭圆跟踪门规则得到的关联区域为：



其中：d1,j为雷达的第j个量测与目标源的统计距离，服从自由度为m的χ2分布，m为雷达的有效量测个数；G为限定阈值，本发明规定G取3时，雷达有效量测都会包含在区域中；v1(j)为雷达的第j个量测的滤波新息,满足vl，k(j)＝Zl，i(j)-Zl，pre(j)；
Pro4：将雷达与目标源的关联量测数据输入到跟踪滤波器中，然后更新得到协方差矩阵和状态估计向量






其中：I为单位矩阵。


4.权利要求1所述的一种基于DS-GNN算法的多传感器融合方法，其特征在于：采用基于全局最近邻算法对摄像头采集的观测值与目标源进行一一匹配，具体步骤如下
Pr...

【专利技术属性】
技术研发人员：刘志强，张光林，张腾，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32