一种基于互信息的自适应多传感器数据融合方法及系统技术方案

本发明专利技术公开了一种基于互信息的自适应多传感器数据融合方法，所述方法包括：接收相机采集路面的RGB图像；接收激光雷达同步采集该路面的点云数据；对点云数据进行预处理得到稠密点云数据；将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果；所述融合网络，用于计算输入数据的特征张量与预期特征的互信息，根据互信息分配输入数据的融合权重，进而根据融合权重输出数据融合结果。本发明专利技术的方法引入了互信息这一信息论工具，计算输入数据的提取特征与融合网络的预期特征之间的相关性，可以合理、客观地量化数据质量的好坏与信息量的大小，有严格的数学方法作为理论支撑，具有一定的可解释性。具有一定的可解释性。具有一定的可解释性。

【技术实现步骤摘要】
一种基于互信息的自适应多传感器数据融合方法及系统


[0001]本专利技术属于智能驾驶
，具体涉及一种基于互信息的自适应多传感器数据融合方法及系统。

技术介绍

[0002]智能驾驶车辆需要通过多种传感器对周围环境进行感知测量，以保证安全行使。融合网络可以融合不同传感器的数据，完成驾驶任务，包括车道线检测、物体检测与跟踪等。然而，不同传感器的数据可能存在多种问题。例如摄像头可能存在图像过曝、雨雾天气影响、障碍物遮挡等问题，激光雷达可能存在点云过于稀疏、距离目标较远等问题。针对这些问题，可以利用互信息计算评估数据质量，通过分配融合权重对有效信息加权利用，降低无效数据对融合网络的影响，改善网络性能。
[0003]现有的多传感器数据融合权重计算方法较少涉及信息论领域，现有方法主要包括：1)不进行数据质量评估，使用固定权重；2)对比不同传感器数据，可能存在问题的数据不参与融合；3)利用证据理论计算数据融合权重。然而它们要么对数据的自适应性不足，要么计算复杂。互信息的引入克服了现有方法存在的一些难点：1)缺少合理的量化工具，缺少数学方法的支撑；2)在训练过程中容易存在网络不收敛的问题；3)融合权重不能自适应地对不同传感器的输入进行调整，即不能根据数据质量和信息量进行调整。

技术实现思路

[0004]本专利技术的目的在于克服现有技术缺陷，提出了一种基于互信息的自适应多传感器数据融合方法及系统，可以应用于车道线检测等自动驾驶相关领域。
[0005]为了实现上述目的，本专利技术提出了一种基于互信息的自适应多传感器数据融合方法，所述方法包括：
[0006]接收相机采集路面的RGB图像；
[0007]接收激光雷达同步采集该路面的点云数据；
[0008]对点云数据进行预处理得到稠密点云数据；
[0009]将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果；
[0010]所述融合网络，用于计算输入数据的特征张量与预期特征的互信息，根据互信息分配输入数据的融合权重，进而根据融合权重输出数据融合结果。
[0011]作为上述方法的一种改进，所述对点云数据进行预处理得到稠密点云数据；具体包括：
[0012]利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到像素平面，得到灰度图像对应的二维点云数据；
[0013]对二维点云数据进行插值操作，得到稠密点云数据。
[0014]作为上述方法的一种改进，所述融合网络包括互信息计算模块，所述互信息计算
模块的具体实现过程为：
[0015]根据随机变量X、Y计算互信息I(X；Y)：
[0016][0017]其中，p(x,y)是随机变量X和Y的联合概率密度函数，p(x)为随机变量X的边缘概率密度函数，p(y)为随机变量Y的边缘概率密度函数；
[0018]将互信息I(X；Y)表示为KL散度形式：
[0019][0020]其中，
[0021][0022]其中，D
KL
(.)表示互信息的KL散度，P
X
为随机变量X的概率，P
Y
为随机变量Y的概率，P
XY
为随机变量X和Y的联合概率，表示P
XY
的期望值；
[0023]将P
XY
记为J，记为M；
[0024]根据KL散度的DV分布形式及性质得到互信息下限
[0025][0026]其中，T
ω
:x
×
y
→
R为含参数ω的函数，E
J
表示T
ω
(x,y)的期望值，E
M
表示的期望值，由该函数计算出的互信息下限足够接近实际值，该函数具体实现如下：
[0027]第一分支特征张量X1的形式为(C,H1,M1,N1)，其中，C为第一分支的通道数，(H1,M1,N1)表示C个特征图，记为X
1,n
，n＝1，
…
，C，n为第一分支的某一通道，由互信息下限计算公式得到第一分支互信息下限为：
[0028][0029]其中，为H1·
H1对角阵，矩阵U1＝X
1,n
·
Y，u
1,n
为U1中元素，u
1,max
为U1中各元素的最大值，u
1,avg
为U1各元素的平均值，由此得到第一分支互信息I(X1；Y)：
[0030][0031]第二分支特征张量X2的形式(D,H2,M2,N2)，其中，D为第二分支的通道数，(H2,M2,N2)表示D个特征图，记为X
2,m
，m＝1，
…
，D；m为第二分支的某一通道，由互信息下限计算公式得到第二分支互信息下限为：
[0032][0033]其中，为H2·
H2对角阵，矩阵U2＝X
2,m
·
Y，u
2,m
为U2中元素，u
2,max
为U2中各元素的最大值，u
2,avg
为U2各元素的平均值，由此得到第二分支的互信息I(X2；Y)：
[0034][0035]作为上述方法的一种改进，所述方法还包括融合网络的训练步骤；具体包括：
[0036]步骤1)将已经标注好的RGB图像和稠密点云数据作为训练集；
[0037]步骤2)设置初始融合权重为1:1；
[0038]步骤3)将训练集中的RGB图像和稠密点云数据输入融合网络，经p轮训练后，确定融合网络的超参数，并得到两个分支的特征张量以及预期特征；由互信息计算模块计算互信息并分配融合权重；
[0039]步骤4)计算分配的融合权重和初始权重的差值，如果差值小于阈值，则分配后的融合权重收敛，融合网络训练完成；否则，转到步骤5)。
[0040]步骤5)以q轮为一个训练周期，每一轮均选取训练集中的RGB图像和稠密点云数据输入融合网络，调整融合网络的超参数；在第q轮，由互信息计算模块根据特征张量和预期特征计算互信息，并分配融合权重；转入步骤4)。
[0041]作为上述方法的一种改进，所述将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果之前还包括：判断当前帧RGB图像与前一帧RGB图像是否满足时序要求，如果满足，融合网络基于当前帧RGB图像、当前帧稠密点云数据、前一帧RGB图像和前一帧稠密点云数据调整融合权重，输出数据融合结果；具体包括：
[0042]计算当前帧RGB图像与前一帧RGB图像之间的归一化互信息；如果归一化互信息大于0.5，则满足时序要求，融合网络根据前一帧RGB图像和前一帧稠密点云数据得到预期特征，根据当前帧RGB图像的第一特征张量和预期特征计算得到第一分支互信息，根据当前帧稠密点云数据的第二特征张量和预期特征计算得到第二分支互信息，根据不同分支融合权重之比与互信息之比成正比的原则重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于互信息的自适应多传感器数据融合方法，所述方法包括：接收相机采集路面的RGB图像；接收激光雷达同步采集该路面的点云数据；对点云数据进行预处理得到稠密点云数据；将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果；所述融合网络，用于计算输入数据的特征张量与预期特征的互信息，根据互信息分配输入数据的融合权重，进而根据融合权重输出数据融合结果。2.根据权利要求1所述的基于互信息的自适应多传感器数据融合方法，其特征在于，所述对点云数据进行预处理得到稠密点云数据；具体包括：利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到像素平面，得到灰度图像对应的二维点云数据；对二维点云数据进行插值操作，得到稠密点云数据。3.根据权利要求2所述的基于互信息的自适应多传感器数据融合方法，其特征在于，所述融合网络包括互信息计算模块，所述互信息计算模块的具体实现过程为：根据随机变量X、Y计算互信息I(X；Y)：其中，p(x，y)是随机变量X和Y的联合概率密度函数，p(x)为随机变量X的边缘概率密度函数，p(y)为随机变量Y的边缘概率密度函数；将互信息I(X；Y)表示为KL散度形式：其中，其中，D
KL
(
·
)表示互信息的KL散度，P
X
为随机变量X的概率，P
Y
为随机变量Y的概率，P
XY
为随机变量X和Y的联合概率，表示P
XY
的期望值；将P
XY
记为J，记为M；根据KL散度的DV分布形式及性质得到互信息下限根据KL散度的DV分布形式及性质得到互信息下限其中，T
ω
：x
×
y
→
R为含参数ω的函数，E
J
表示T
ω
(x，y)的期望值，E
M
表示的期望值，由该函数计算出的互信息下限足够接近实际值，该函数具体实现如下：第一分支的特征张量X1的形式为(C，H1，M1，N1)，其中，C为第一分支的通道数，(H1，M1，N1)表示C个特征图，记为X
1，n
，n＝1，...，C，n为第一分支的通道序号，由互信息下限计算公式得到第一分支互信息下限为：
其中，其中，为H1·
H1对角阵，矩阵U1＝X
1，n
·
Y，u
1，n
为U1中元素，u
1，max
为U1中各元素的最大值，u
1，avg
为U1各元素的平均值，由此得到第一分支互信息I(X1；Y)：第二分支特征张量X2的形式(D，H2，M2，N2)，其中，D为第二分支的通道数，(H2，M2，N2)表示D个特征图，记为X
2，m
，m＝1，...，D；m为第二分支的通道序号，由互信息下限计算公式得到第二分支互信息下限为：其中，其中，为H2·
H2对角阵，矩阵U2＝X
2，m
·
Y，u
2，m
为U2中元素，u
2，max
为U2中各元素的最大值，u
2，avg
为U2各元素的平均值，由此得到第二分支的互信息I(X2；Y)：4.根据权利要求3所述的基于互信息的自适应多传感器数据融合方法，其特征在于，所述方法还包括融合网络的训练步骤；具体包括：步骤1)将已经标注好的RGB图像和稠密点云数据作为训练集；步骤2)设置初始融合权重为1∶1；步骤3)将训练集中的RGB图像和稠密点云数据输入融合网络，经p轮训练后，确定融合网络的超参数，并得到两个分支的特征张量以及预期特征；由互信息计算模块计算互信息并分配融合权重；步骤4)计算分配的融合权重和初始权重的差值，如果差值小于阈值，则分配后的融合权重收敛，融合网络训练完成；否则，转到步骤5)；步骤5)以q轮为一个训练周期，每一轮均选取训练集中的RGB图像和稠密点云数据输入融合网络，调整融合网络的超参数；在第q轮，由互信息计算模块根据特征张量和预期特征计算互信息，并分配融合权重；转入步骤4)。5.根据权利要求1所述的基于互信息的自适应多传感器数据融合方法，其特征在于，所述将RGB图像和稠密点云数据输入预先建立和训练好的融合网络，输出数据融合结果之前还包括：判断当前帧RGB图像与前一帧RGB图像是否满足时序要求，如果满足，融合网络基于当前帧RGB图像、当前帧稠密点云数据、前一帧RGB图像和前一帧稠密点云数据调整融合权重，输出数据融合结果；具体包括：计算当前帧RGB图像与前一帧RGB图像之间的归一化互信息；如果归...

【专利技术属性】
技术研发人员：张新钰，李骏，李志伟，邹镇洪，杜昊宇，张天雷，
申请(专利权)人：清华大学，
类型：发明
国别省市：