基于BP神经网络的双目相机与激光雷达空间外参标定方法技术

本发明专利技术公开的一种基于BP神经网络的双目相机与激光雷达空间外参标定方法，属于传感器标定领域。本发明专利技术实现方法为：通过激光雷达和已知内参的双目相机同步在不同的位置上采集N组标定板的左、右图像信息和点云信息。分别提取左、右图像中标定板的角点，解算出标定板中心点在左像素坐标系下的坐标参数。对激光雷达获得的点云数据进行分割和滤波处理，解算出标定板中心点在激光雷达坐标系下的坐标参数；通过构建网络的损失函数优化BP神经网络模型；对BP神经网络模型进行迭代训练，获取得到激光雷达与双目相机的外参参数的估计结果；将根据基线长度误差配合重投影误差引入作为评价指标，提升对标定结果评价的准确性和有效性。提升对标定结果评价的准确性和有效性。提升对标定结果评价的准确性和有效性。

【技术实现步骤摘要】
基于BP神经网络的双目相机与激光雷达空间外参标定方法


[0001]本专利技术涉及一种双目相机与激光雷达空间外参标定的方法，尤其涉及基于BP神经网络的双目相机与激光雷达空间外参标定的方法，属于传感器标定领域。

技术介绍

[0002]近年来，随着无人系统技术飞速发展，无人系统环境感知技术也得到很大的发展。激光雷达
‑
双目相机系统也越来越多的应用于各类场景。激光雷达可以有效的获得周围环境的深度信息，而且测量精度高，抗干扰能力强。但激光雷达无法得到色彩和纹理信息。相机可以获得色彩与纹理信息，双目相机可以获得左、右相机共视部分的深度信息，但是相机易受光照的影响，且深度信息精度较差。因此两种传感器形成了一种很强的互补的关系，融合激光雷达和双目相机的环境感知系统可以获得比单个传感器更佳的检测效果。而对两种传感器进行数据融合的前提是对两传感器准确的外参标定。因此对双目相机和激光雷达进行准确而具有鲁棒性的校准具有重要的研究价值与意义。
[0003]现有的激光雷达与双目相机标定的方法主要是使用PnP分别对左、右相机与激光雷达标定以获得外参，其获得的基线长度和重投影精度有限。目前还少见使用神经网络同时对双目相机与激光标定的方法。传统分别标定的方式很难得到重投影误差和基线长度误差都较小的外参结果。且传统的PnP方法在可使用标定板位置较少时误差会明显增大，鲁棒性不强。因此开发一种能够有效降低双目相机与激光雷达标定外参所产生的重投影误差和基线长度误差的方法是很有必要的。

技术实现思路

[0004]为解决现有技术中存在的使用标定板位置较少时误差会明显增大，鲁棒性不强问题，本专利技术主要目的是提供一种基于BP神经网络的双目相机与激光雷达空间外参标定方法，能够有效降低双目相机与激光雷达标定外参所产生的重投影误差和基线长度误差，提高对双目相机与激光雷达空间外参标定的效率，且能够提高标定结果用于传感器信息融合的准确率和鲁棒性。
[0005]本专利技术的目的是通过下述技术方案来实现：
[0006]本专利技术公开的一种基于BP神经网络的双目相机与激光雷达空间外参标定方法为：设置激光雷达、双目相机和标定板。通过激光雷达和已知内参的双目相机同步在不同的位置上采集N组标定板的左、右图像信息和点云信息。提取左图像中标定板的角点，解算出标定板中心点在左像素坐标系下的坐标参数。提取右图像中标定板的角点，解算出标定板中心点在右像素坐标系下的坐标参数。对激光雷达获得的点云数据进行分割和滤波处理，解算出标定板中心点在激光雷达坐标系下的坐标参数；确定BP神经网络的结构参数，通过构建网络的损失函数优化BP神经网络模型；将标定板中心点在激光雷达坐标系下的坐标参数作为输入，标定板中心点在左、右像素坐标系下的坐标参数为输出，对BP神经网络模型进行迭代训练，获取得到激光雷达与双目相机的外参参数的估计结果。同时，将根据基线长度误
差配合重投影误差引入作为评价指标，提升对对标定结果评价的准确性和有效性。
[0007]本专利技术公开的一种基于BP神经网络的双目相机与激光雷达空间外参标定方法，包括以下步骤：
[0008]S1.设置激光雷达、双目相机和棋盘格标定板。通过激光雷达和已知内参的双目相机同步在不同的位置上采集N组标定板的左、右图像信息和点云信息。N组数据包含N个标定板中心点P＝{P1,P2,
…
P
n
,
…
,P
N
}，P
n
点表示第n组的标定板中心点。N组数据包含N组标定板角点C＝{C1,C2,
…
C
n
,
…
,C
N
}，C
n
表示第n组的标定板角点，第n组共有X个角点C
n
＝{C
n1
,C
n2
,
…
C
nx
,
…
,C
nX
}。
[0009]为了提高标定的准确性，作为优选，N≥6，X＝35。
[0010]S2.提取左图像中标定板的角点，获得N组标定板中心点P在左像素坐标系下的坐标(u
l
,v
l
)。提取右图像中标定板的角点，获得N组标定板中心点P在右像素坐标系下的坐标(u
r
,v
r
)；使用PnP方法和坐标系转换解算出N组标定板中心点P在左相机坐标系下的坐标(x
Cl
,y
Cl
,z
Cl
)和在右相机坐标系下的坐标(x
Cr
,y
Cr
,z
Cr
)。
[0011]S21.获得每组数据标定板中心点和每组数据每个角点在像素坐标系下的坐标，定义标定板中心点在世界坐标系下的坐标并解算出每组数据每个角点在世界坐标系下的坐标。
[0012]对每组数据左图像使用检测函数提取棋盘格标定板中的角点，得到每组数据每个角点C
nx
在左像素坐标系下的坐标，通过角点之间的位置关系得到每组数据标定板中心点P
n
在左像素坐标系下的坐标(u
nl
,v
nl
)，最终得到N组棋盘格标定板中心点P在在左像素坐标系下的坐标(u
l
,v
l
)；对每组数据右图像使用检测函数提取棋盘格标定板中的角点C，可以得到每组数据每个角点C
nx
在右像素坐标系下的坐标，通过角点之间的位置关系得到每组数据标定板中心点P
n
在右像素坐标系下的坐标(u
nr
,v
nr
)，最终得到N组棋盘格标定板中心点P在在左像素坐标系下的坐标(u
r
,v
r
)。定义标定板中心点P
n
在世界坐标系下的坐标为(0,0,0)，世界坐标系的X轴平行于标定板的短边，世界坐标系的Y轴平行于标定板的长边，世界坐标系的Z轴从标定板无棋盘格面指向有棋盘格面。根据棋盘格标定板格子的边长解算出每组数据每个角点C
nx
在世界坐标系下的坐标。
[0013]S22.对于每组数据，使用PnP方法，根据该组数据每个角点C
nx
在左像素坐标系下的坐标和其在世界坐标系下的对应坐标，解算出该组数据左相机坐标系(O
cl
X
cl
Y
cl
Z
cl
)相对于世界坐标系(O
w
X
w
Y
w
Z
w
)的旋转矩阵平移向量对于每组数据，使用PnP方法，根据该组数据每个角点C
nx
在右像素坐标系下的坐标和其在世界坐标系下的对应坐标，解算出右相机坐标系(O
cr
X
cr
Y
cr
Z
cr
)本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BP神经网络的双目相机与激光雷达空间外参标定方法，其特征在于：包括以下步骤，S1.设置激光雷达、双目相机和棋盘格标定板；通过激光雷达和已知内参的双目相机同步在不同的位置上采集N组标定板的左、右图像信息和点云信息；N组数据包含N个标定板中心点P＝{P1,P2,...P
n
,...,P
N
}，P
n
点表示第n组的标定板中心点；N组数据包含N组标定板角点C＝{C1,C2,...C
n
,...,C
N
}，C
n
表示第n组的标定板角点，第n组共有X个角点C
n
＝{C
n1
,C
n2
,...C
nx
,...,C
nX
}；S2.提取左图像中标定板的角点，获得N组标定板中心点P在左像素坐标系下的坐标(u
l
,v
l
)；提取右图像中标定板的角点，获得N组标定板中心点P在右像素坐标系下的坐标(u
r
,v
r
)；使用PnP方法和坐标系转换解算出N组标定板中心点P在左相机坐标系下的坐标(x
Cl
,y
Cl
,z
Cl
)和在右相机坐标系下的坐标(x
Cr
,y
Cr
,z
Cr
)；S3.利用激光雷达获取标定板的点云数据；对每组数据使用直通滤波去除无关的点云，只保留有效的标定板点云；根据所述有效的标定板点云，使用随机采样一致方法拟合标定板所在的平面，将标定板的点云投影到该平面上形成一个新的点云；拟合新标定板点云的四个边的空间方程，找到所述四个边的交点，所述四个边的交点构成四边形，通过几何关系求解所述四边形两条对角线的交点，所述交点即为该组数据标定板中心点P
n
在激光雷达坐标系下的坐标，进而得到N组标定板中心点P在激光雷达坐标系下的坐标(x
L
,y
L
,z
L
)；S4.定义左相机坐标系、右相机坐标系和激光雷达坐标系；定义激光雷达坐标系相对于左相机坐标系旋转所用的欧拉角及平移向量，并通过上述欧拉角及平移向量表示激光雷达坐标系相对于左相机坐标系外参矩阵所述外参矩阵即激光雷达与左相机的空间外参；定义激光雷达坐标系相对于右相机坐标系旋转所用的欧拉角及平移向量，并通过上述欧拉角及平移向量表示激光雷达坐标系相对于右相机坐标系外参矩阵所述外参矩阵即激光雷达与右相机的空间外参；S5.引入基线长度误差重投影误差和标定板中心点在相机坐标系下空间投影误差并构建BP神经网络模型和损失函数：由于双目相机与激光雷达标定的输入和输出特性，作为优选，BP神经网络模型包括3层结构：分别为输入层、中间隐含层以及输出层；输入层含3个神经元，隐含层含6个神经元和6个偏置，输出层含5个神经元；输入层为标定板中心点在激光雷达坐标系下的坐标值，隐含层得到的是模型计算出标定板中心点在左相机坐标系下的坐标值(x
ClP
,y
ClP
,z
ClP
)和模型计算出标定板中心点在左相机坐标系下的坐标值(x
CrP
,y
CrP
,z
CrP
)，输出层为模型计算出标定板中心点在左像素坐标系下的坐标(u
lP
,v
lP
)、模型计算出标定板中心点在右像素坐标系下的坐标(u
rP
,v
rP
)和计算得到的基线长度Baseline
P
；引入基线长度误差重投影误差和标定板中心点在相机坐标系下空间投影误差Baseline
T
为双目相机基线的实际长度，(x
ClP
,y
ClP
,z
ClP
)为标定板中心点在左相机坐标系下的坐标值，(x
CrP
,y
CrP
,z
CrP
)为标定板中心点在左相机坐标系下的坐标值，(u
r
,v
r
)为标定板中心点在左像素坐标系下的坐标，(u
r
,v
r
)为标定板中心点在右像素坐标系下的坐标；通过3个比例系数α,β,χ构建包含所述基线长度误差、重投影误差和标定板中心点在相机坐标系下空间投影误差的损失函数在BP神经网络中，通过隐含层向输入层同步反向
传播中引入损失函数，通过损失函数中基线长度误差同步反向传播减小基线长度误差，且能够减小重投影误差；通过损失函数中重投影误差同步反向传播进一步消除重投影误差；即通过隐含层向输入层同步反向传播中引入损失函数提高双目相机与激光雷达空间外参标定的精度；通过将所述损失函数在隐含层构建左、右相机的映射关系，利用所述损失函数在隐含层构建左、右相机的映射关系的融合使双目相机数据与激光雷达数据同步训练，提高训练效率和空间外参标定精度；S6.配置网络训练所需参数并训练；设置学习率、批处理大小、权值初始化方式、权值衰减系数、最大迭代次数及损失函数目标大小；将N组标定板中心点P在激光雷达坐标系下的坐标(x
L
,y
L
,z
L
)，在左、右相机坐标系下的坐标，在左、右像素坐标系下的坐标输入改进的BP神经网络中进行训练；训练更新权值，当损失函数满足条件后获得：激光雷达坐标系到左相机坐标系的外参矩阵和激光雷达光雷达坐标系到右相机坐标系的外参矩阵即基于BP神经网络实现双目相机与激光雷达空间外参标定。2.如权利要求1所述的一种基于BP神经网络的双目相机与激光雷达空间外参标定方法，其特征在于：还包括S7，根据S6获得的激光雷达与左、右相机的外参矩阵和将激光点云分别投影到左、右相机坐标系中并计算重投影误差通过外参矩阵和计算出基线长度与相机自身的基线长度对比，得到基线长度误差通过所述两项指标进行综合评定双目相机与激光雷达空间外参标定的结果，即通过将根据基线长度误差配合重投影误差引入作为评价指标，提升对标定结果评价的准确性和有效性，进而提高标定结果用于传感器信息融合的准确率和鲁棒性。3.如权利要求1或2所述的一种基于BP神经网络的双目相机与激光雷达空间外参标定方法，其特征在于：步骤S2实现方法为，S21.获得每组数据标定板中心点和每组数据每个角点在像素坐标系下的坐标，定义标定板中心点在世界坐标系下的坐标并解算出每组数据每个角点在世界坐标系下的坐标；对每组数据左图像使用检测函数提取棋盘格标定板中的角点，得到每组数据每个角点C
nx
在左像素坐标系下的坐标，通过角点之间的位置关系得到每组数据标定板中心点P
n
在左像素坐标系下的坐标(u
nl
,v
nl
)，最终得到N组棋盘格标定板中心点P在在左像素坐标系下的坐标(u
l
,v
l
)；对每组数据右图像使用检测函数提取棋盘格标定板中的角点C，可以得到每组数据每个角点C
nx
在右像素坐标系下的坐标，通过角点之间的位置关系得到每组数据标定板中心点P
...

【专利技术属性】
技术研发人员：张振海，韩季洲，胡学海，王州博，李靖宇，刘石豪，朱炜，邓宏彬，何光，张振山，康晓，
申请(专利权)人：北京海泰微纳科技发展有限公司，
类型：发明
国别省市：