【技术实现步骤摘要】
本申请实施例涉及传感器外参标定，具体涉及一种雷达与相机间的外参标定方法、装置、设备及计算机可读存储介质。
技术介绍
1、在多传感器系统中，雷达相机融合技术扮演着关键的角色，雷达和相机作为常用的感知设备，能够提供丰富的信息，但它们通常位于不同的位置，因此需要进行外参标定，以确定它们的数据能够准确地融合在一起。传统的标定方案对于标定板的依赖性较强，而由于标定板与实际应用场景之间的差异性，导致外参标定精度较差，鲁棒性差。
技术实现思路
1、鉴于上述问题，本申请实施例提供了一种雷达与相机间的外参标定方法、装置、设备及计算机可读存储介质，用于解决现有技术中存在的外参标定精度差和鲁棒性差的问题。
2、根据本申请实施例的一个方面，提供一种雷达与相机间的外参标定方法，应用于在预设的控制场中对雷达与相机间的外参进行标定，控制场为包含有建筑物的室外场景，雷达和相机用于在控制场中进行远景观测标定，该方法包括：基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点；基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量；将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参；基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控
3、在一种可选的方式中，雷达和相机用于在控制场中进行多站点观测标定，以得到相机位于每一站点时相对于控制场的外参以及雷达位于每一站点时相对于控制场的外参；根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参，包括：通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参；通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达对于控制场的外参；根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参。
4、在一种可选的方式中，通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参中，重投影误差的损失函数如下：
5、
6、其中，i表示站点，j表示相机位于每个站点时所成的图像中与特征点对应的像素点的序号，k表示相机内参，pij与pw分别表示相互匹配的像素点与特征点，ri和ti表示相机位于站点i时相对于控制场的姿态，其中ri表示相机位于站点i时相对于控制场的旋转，ti表示相机位于站点i时相对于控制场的平移；
7、通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达对于控制场的外参中，同名点云匹配误差的损失函数如下：
8、
9、其中，m表示站点，n表示雷达位于每个站点时所成的点云中与特征点对应的三维点的序号，pmn与pw分别表示相互匹配的三维点与特征点，rm和tm表示雷达位于站点m时相对于控制场的姿态，其中rm表示雷达位于站点m时相对于控制场的旋转，tm表示雷达位于站点m时相对于控制场的平移。
10、在一种可选的方式中，根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参，包括：根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到位于每一站点时雷达与相机间的外参；将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参。
11、在一种可选的方式中，将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参中，重投影误差的损失函数如下：
12、
13、其中，k表示站点，l表示位于每个站点时相机所成图像中与雷达所成点云中的三维点相匹配的像素点的序号，k表示相机内参，pkl与pkl分别表示相互匹配的像素点与三维点，rk和tk表示位于站点k时相机相对于雷达的外参，其中rk表示位于站点k时相机相对于雷达的旋转，tk表示位于站点k时相机相对于雷达的平移。
14、在一种可选的方式中，基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，包括：基于控制场的世界坐标系与相机的投影坐标系之间的转换关系，确定控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系；基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系；根据第一坐标关系和第二坐标关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系。
15、在一种可选的方式中，相机为鱼眼镜头相机；
16、控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系如下：
17、
18、其中，b1表示投影点的坐标，b2表示特征点的坐标，r和t表示特征点与投影点的坐标转换关系参数，其中r表示旋转，t表示平移；
19、基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系，包括：
20、基于针孔投影原理，可得特征点的坐标b2（x，y，z）在像素坐标系下对应的像素点的坐标b3（u，v）如下：
21、
22、转化为极坐标系可得：
23、
24、基于鱼眼成像模型，可得鱼眼镜头下的投影点的坐标b1（x’，y’）如下：
25、
26、
27、其中，k1、k2、k3及k4均为鱼眼镜头内参；
28、将投影点的坐标b1（x’，y’）转换为像素点的坐标b3（u，v），可得第二坐标关系如下：
29、
30、其中，fx表示相机x方向焦距，cx表示相机x方向像主点坐标，fy表示相机y方向焦距，cy表示相机y方向像主点坐标；
31、基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，包括：
3本文档来自技高网...
【技术保护点】
1.一种雷达与相机间的外参标定方法，应用于在预设的控制场中对所述雷达与所述相机间的外参进行标定，其特征在于，所述控制场为包含有建筑物的室外场景，所述雷达和所述相机用于在所述控制场中进行远景观测标定，所述方法包括：
2.根据权利要求1所述的雷达与相机间的外参标定方法，其特征在于，所述雷达和所述相机用于在所述控制场中进行多站点观测标定，以得到所述相机位于每一站点时相对于所述控制场的外参以及所述雷达位于每一站点时相对于控制场的外参；
3.根据权利要求2所述的雷达与相机间的外参标定方法，其特征在于，所述通过最小化多站点间的重投影误差，优化位于每一站点时所述相机相对于所述控制场的外参中，重投影误差的损失函数如下：
4.根据权利要求2或3所述的雷达与相机间的外参标定方法，其特征在于，所述根据优化后的位于每一站点时所述相机相对于所述控制场的外参以及优化后的位于每一站点时所述雷达相对于所述控制场的外参，转换得到所述雷达与所述相机间的外参，包括：
5.根据权利要求4所述的雷达与相机间的外参标定方法，其特征在于，所述将位于每一站点时的所述雷达投影至所述
6.根据权利要求2所述的雷达与相机间的外参标定方法，其特征在于，所述基于所述控制场的世界坐标系与所述相机所成的图像的像素坐标系之间的转换关系，确定所述控制场中的特征点和所述相机所成的图像中与所述特征点对应的像素点之间的坐标关系，包括：
7.根据权利要求6所述的雷达与相机间的外参标定方法，其特征在于，所述相机为鱼眼镜头相机；
8.一种雷达与相机间的外参标定装置，应用于在预设的控制场中对所述雷达与所述相机间的外参进行标定，其特征在于，所述控制场为包含有建筑物的室外场景，所述雷达和所述相机用于在所述控制场中进行远景观测标定，所述装置包括：
9.一种雷达与相机间的外参标定设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有可执行指令，所述可执行指令在雷达与相机间的外参标定设备上运行时，使得所述雷达与相机间的外参标定设备执行如权利要求1-7中任意一项所述的雷达与相机间的外参标定方法的操作。
...【技术特征摘要】
1.一种雷达与相机间的外参标定方法，应用于在预设的控制场中对所述雷达与所述相机间的外参进行标定，其特征在于，所述控制场为包含有建筑物的室外场景，所述雷达和所述相机用于在所述控制场中进行远景观测标定，所述方法包括：
2.根据权利要求1所述的雷达与相机间的外参标定方法，其特征在于，所述雷达和所述相机用于在所述控制场中进行多站点观测标定，以得到所述相机位于每一站点时相对于所述控制场的外参以及所述雷达位于每一站点时相对于控制场的外参；
3.根据权利要求2所述的雷达与相机间的外参标定方法，其特征在于，所述通过最小化多站点间的重投影误差，优化位于每一站点时所述相机相对于所述控制场的外参中，重投影误差的损失函数如下：
4.根据权利要求2或3所述的雷达与相机间的外参标定方法，其特征在于，所述根据优化后的位于每一站点时所述相机相对于所述控制场的外参以及优化后的位于每一站点时所述雷达相对于所述控制场的外参，转换得到所述雷达与所述相机间的外参，包括：
5.根据权利要求4所述的雷达与相机间的外参标定方法，其特征在于，所述将位于每一站点时的所述雷达投影至所述相机视角下，利用所述位于每一站点时所述雷达与所述相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中...
【专利技术属性】
技术研发人员：董皓男，
申请(专利权)人：深圳市其域创新科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。