本发明专利技术公开一种基于任意三面体的雷达-相机系统外部参数标定方法。利用自然环境中的三面体场景，仅需两帧数据即求解系统的外部参数。首先利用三面体规定世界坐标系，在雷达系统中对观察到的三面体进行平面拟合，得到各个平面的参数，并求得世界坐标系和雷达坐标系的转换关系以及雷达坐标系下两帧数据间的相对运动；在相机系统中，利用前后两帧提取的匹配特征点求解本质矩阵，然后分解出在相机坐标系下的相对运动，并利用雷达坐标系下的参数对相机坐标系下的平面参数进行求解，最后求解雷达-相机的外部参数，并利用两个坐标系下对应平面上点的共面性进行最终优化。本发明专利技术所要求的场景比较简单，兼具抗干扰性强、实验设备简单、灵活性较强的特点。
【技术实现步骤摘要】
本专利技术涉及雷达-相机系统外部參数标定的方法，具体来说是ー种基于任意三面体的雷达-相机系统外部參数标定方法。
技术介绍
对地形环境的实时构建是移动机器人领域的ー个基础问题，为了实现这一目的，通常采用双目相机系统或者一个雷达传感器来提供三維信息。但是双目相机系统由于需要进行致密的立体匹配来进行三维重建，耗时较大，容易受外部环境影响，所以无法满足实时性和准确性的要求；雷达传感器虽然可以提供实时三維信息，精度较高，但是缺少环境的颜色信息。因此，越来越多研究者将雷达和单目相机结合在一起构成ー个雷达-相机系统来实时的提供具有顔色和三維信息的环境地图。近年来，许多研究者也提供了一些雷达-相机系统外部參数标定的方法。又献 I (Zhang, Q. ;P_Less, R, “Extrinsic calioration of a camera and laserrange finder (improvecamera calibration)，，，IEEE International Conferenceon Intelligent Robots and Systems, IR0S, 2004, pp. 2301-2306.)和文献 2(Unnikrishnan, R. ;Hebert, M. , “Fast extrinsic calibration ofa laser rangefinderto a camera”，Technical report,Carnegie Mellon University, RotboticsInstitute, 2005)利用棋盘格标定板来计算系统外部參数，棋盘格上的角点要在相机图像上手动提取，而且需要采集多幅图像，该方法很大程度上依赖于角点的提取准确程度，对光照也有一定要求。文献 3 (Rodriguez F，S. ;Fremont, V. ;Bonnifait, P, “Extrinsiccalibration between a mult1-layer lidar and a camera，.，IEEE InternationalConferenceonMultisensor Fusion andIntegrationforIntelIigentSystems, 2008, pp. 214 - 219.)和文献4 ( Li, G. ; Liu, Y. ; Dong, L. ; Cai, X. ; Zhou, D, “An algorithm forextrinsic parameters calibration of acamera and a laser range under usingline features”，IR0S，2007，pp. 3854-3859.)为了减小角点提取的误差，利用了特殊形状的标定物体，在雷达数据和图像数据中同时提取标定物的对应角点位置，但雷达数据本身的非致密性决定了该方法的准确性不会太高。近来，文献5 (Pandey,G. ;McBride1J.R. ;Savarese, S. ;Eustice, R. M. ,^Automatictargetless extrinsic calibration of a^dlidar and camera by maximizing mutual information^, Proceedings oi the AAAINational Conference on Artificial Intelligence, 2012.)不依赖于任何的场景,仅利用雷达提供的三维点反射強度和相机图像的互信息来优化雷达-相机系统的外部參数，但是并不是所有的雷达都可以提供物体的反射強度，而且不同材质物体的反射強度并不相同。
技术实现思路
为了将雷达-相机数据有效的结合在一起，本专利技术的目的在于提供一种基于任意三面体的雷达-相机系统外部參数标定方法，即求解雷达系统和相机系统的位置转换关系；利用自然场景中常见的任意三面体，不依赖手工输入信息的准确性，而且仅需要两帧数据即可快速的进行外部參数求解。本专利技术采用的技术方案的步骤如下( I)利用雷达-相机系统，对存在任意三面体的标定场景采集两帧数据，井根据三面体定义世界坐标系Ow-XwYwZw,采集的两帧数据间存在相对运动，且每帧数据中有对应的雷达采集的三维点云和相机采集的彩色图像；(2)求解雷达系统參数在三维点云中标注三面体三个面上的点，表示为P1 = {P/'k J = 1,2,j = 1,2,3, k = n'、J其中下标I代表这些点在雷达坐标系O1-X1Y1Z1下，i代表第i帧数据，j代表第j个面，k代表第k个点，每个面上点的个数为<，同一平面上的点用參数{”，<涞表示N^pJ =O其中为每个面的法向量，W为到坐标系原点的距离；然后根据三面体在雷达两帧数据中点的共面性，对两帧共6个面的进行非线性优化；通过{べメハ得到两帧数据中世界坐标系到雷达坐标系的旋转矩阵和平移向量= 2，并由此得到雷达-相机系统在雷达坐标系下两帧之间的运动參数，即第一中贞相对于第二巾贞的旋转矩阵和平移向量' ^hh . (3)求解相机系统參数利用SIFT算法在相机采集的前后两帧图像中三面体三个面的对应区域提取前后帧匹配的特征点，表示为Pe = \P/'L J = 1,2 プ=1,2,3, A- =其中下标c代表这些点在相机坐标系Oe-XcTc^下，i代表第i帧数据，j代表第j个面，k代表第k个特征点，前后两帧对应面的匹配特征点数目相等为< ；根据P。计算出两帧运动的本质矩阵E，并进一歩得到雷达-相机系统在相机坐标系下两帧之间的运动參数，其中1*_为相机坐标系下第一帧相对于第二帧的旋转矩阵ス为平移向量ル、归ー化的结果_8] tCiCi = r,,； ,Wl 机.:1h利用 ゆも’Thh，初始化相机坐标系下的參数丨Wベ),Rm,Tvt此处{/VK丨为三面体各个平面在相机坐标系下的參数；根据提取的特征点的对应投影关系,MIN^1进行优化；通过ひ得到两帧数据中世界坐标系到相机坐标系的转换关系，即旋转矩阵和平移向星枚.<,> i = 1，2 ;(4)求解外部參数利用Rwc, Twc, Rw1jTw1得到雷达坐标系到相机坐标系的转换关系，即旋转矩阵も。和平移向量Tle ;利用雷达坐标系和相机坐标系下三面体上点的共面性，对Rlc, Tlc进行非线性优化，得到优化后的转换关系も。，Tlc0所述的步骤(2)求解雷达系统參数的具体方法为利用线性最小ニ乘优化目标函数F1，对第i帧数据第j个面上的点<进行平面拟本文档来自技高网...
【技术保护点】
一种基于任意三面体的雷达?相机系统外部参数标定方法，其特征在于该方法包括以下步骤：?（1）利用雷达?相机系统，对存在任意三面体的标定场景采集两帧数据，并根据三面体定义世界坐标系Ow?XwYwZw，采集的两帧数据间存在相对运动，?且每帧数据中有对应的雷达采集的三维点云和相机采集的彩色图像；?（2）求解雷达系统参数：在三维点云中标注三面体三个面上的点，表示为：?其中下标l代表这些点在雷达坐标系Ol?XlYlZl下，i代表第i帧数据，j代表第j个面，k代表第k个点，每个面上点的个数为同一平面上的点用参数?来表示：?其中为每个面的法向量，为到坐标系原点的距离；?然后根据三面体在雷达两帧数据中点的共面性，对两帧共6个面的进行非线性优化；?通过得到两帧数据中世界坐标系到雷达坐标系的旋转矩阵和平移向量i＝1,2，并由此得到雷达?相机系统在雷达坐标系下两帧之间的运动参数，即第一帧相对于第二帧的旋转矩阵和平移向量（3）求解相机系统参数：利用SIFT算法在相机采集的前后两帧图像中三面体三个面的对应区域提取前后帧匹配的特征点，表示为：?其中下标c代表这些点在相机坐标系Oc?XcYcZc下，i代表第i帧数据，j代表第j个面，k代表第k个特征点，前后两帧对应面的匹配特征点数目相等为根据Pc计算出两帧运动的本质矩阵E，并进一步得到雷达?相机系统在相机坐标系下两帧之间的运动参数其中为相机坐标系下第一帧相对于第二帧的旋转矩阵，为平移向量归一化的结果：?利用初始化相机坐标系下的参数，此处为三面体各个平面在相机坐标系下的参数；根据提取的特征点的对应投影关系，对进行优化；?通过得到两帧数据中世界坐标系到相机坐标系的转换关系，即旋转矩阵和平移向量i＝1,2；?（4）求解外部参数：利用Rwc,Twc,Rwl，Twl得到雷达坐标系到相机坐标系的转换关系，即旋转矩阵Rlc和平移向量Tlc；利用雷达坐标系和相机坐标系下三面体上点的共面性，对Rlc,Tlc进行非线性优化，得到优化后的转换关系Rcl,Tlc。?FDA00002629307900011.jpg,FDA00002629307900012.jpg,FDA00002629307900013.jpg,FDA00002629307900014.jpg,FDA00002629307900015.jpg,FDA00002629307900016.jpg,FDA00002629307900017.jpg,FDA00002629307900018.jpg,FDA00002629307900019.jpg,FDA000026293079000110.jpg,FDA000026293079000111.jpg,FDA000026293079000112.jpg,FDA000026293079000113.jpg,FDA000026293079000114.jpg,FDA000026293079000115.jpg,FDA000026293079000116.jpg,FDA000026293079000117.jpg,FDA00002629307900021.jpg,FDA00002629307900022.jpg,FDA00002629307900023.jpg,FDA00002629307900024.jpg,FDA00002629307900025.jpg,FDA00002629307900026.jpg...
【技术特征摘要】
1.一种基于任意三面体的雷达-相机系统外部参数标定方法，其特征在于该方法包括以下步骤 (1)利用雷达-相机系统，对存在任意三面体的标定场景采集两帧数据，并根据三面体定义世界坐标系Ow-XwYwZw,采集的两帧数据间存在相对运动， 且每帧数据中有对应的雷达采集的三维点云和相机采集的彩色图像； (2)求解雷达系统参数在三维点云中标注三面体三个面上的点,表示为2.根据权利要求1所述的一种基于任意三面体的雷达-相机系统外部参数标定方法，其特征在于所述的步骤(2)求解雷达系统参数的具体方法为利用线性最小二乘优化目标函数F1，对第i帧数据第j个面上的点/V进行平面拟合参数{...
【专利技术属性】
技术研发人员：龚小谨，林颖，刘济林，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。