一种结合激光雷达来识别相机位姿变化和异常的方法技术

本发明专利技术公开了一种结合激光雷达来识别相机位姿变化和异常的方法，包括根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达的第一位姿关系；获取车辆行驶时激光雷达的点云数据和相机的图像数据；根据激光雷达点云数据的时间戳进行时间同步得到多组同步后的图像数据；计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，进而得到相机与激光雷达的第二位姿关系；若第一位姿关系和第二位姿关系的欧氏距离大于预设门限值，输出相机位姿异常的识别结果。本发明专利技术实施例提供的一种结合激光雷达来识别相机位姿变化和异常的方法，根据相机和激光雷达的位姿关系进行标定及比较，实现了对车辆相机安装姿态的监控，进而保证ADAS功能的可靠性和安全性。功能的可靠性和安全性。功能的可靠性和安全性。

【技术实现步骤摘要】
一种结合激光雷达来识别相机位姿变化和异常的方法


[0001]本专利技术涉及车辆控制
，尤其是涉及一种结合激光雷达来识别相机位姿变化和异常的方法。

技术介绍

[0002]高级驾驶辅助系统(Advanced Driving Assistance System)是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、摄像头以及卫星导航)，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。
[0003]ADAS摄像头的安装姿态会在车辆下线时进行标定，但在车辆使用过程中，由于震动和老化等原因会影响相机的精度，这将导致视觉感知结果的不准确，进而影响ADAS功能的可靠性和安全性。因此，如何提升相机的准确度，保证ADAS功能的可靠性和安全性，是摆在本行业技术人员面前亟需解决的问题。

技术实现思路

[0004]本专利技术提供一种结合激光雷达来识别相机位姿变化和异常的方法，根据相机和激光雷达的位姿关系进行特定计算及比较，实现了对车辆相机安装姿态的监控，进而保证ADAS功能的可靠性和安全性。
[0005]为了解决上述技术问题，本专利技术实施例提供了一种结合激光雷达来识别相机位姿变化的方法，包括：
[0006]获取车辆行驶时激光雷达的点云数据和相机的图像数据；
[0007]根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
[0008]基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的位姿关系。
[0009]作为其中一种优选方案，所述根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据，具体包括：
[0010]根据激光雷达点云数据的时间戳，将图像与其进行时间同步；
[0011]获取时间戳相邻最近的图像，将其选定为同步后的图像数据。
[0012]本专利技术另一实施例提供了一种结合激光雷达来识别相机位姿异常的方法，包括：
[0013]根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系；
[0014]获取车辆行驶时激光雷达的点云数据和相机的图像数据；
[0015]根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
[0016]基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像
的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系；
[0017]若所述第一位姿关系和所述第二位姿关系之间的欧氏距离大于预设门限值，则输出相机位姿异常的识别结果。
[0018]作为其中一种优选方案，基于相机与激光雷达的灵敏度确定所述预设门限值。
[0019]作为其中一种优选方案，所述根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系，具体包括：
[0020]分别获取初始状态下相机的标定参数和激光雷达的标定参数，其中，所述相机的标定参数包括内参矩阵和第一外参矩阵，所述激光雷达的标定参数包括第二外参矩阵；
[0021]根据所述标定参数，采用如下公式计算初始状态下相机与激光雷达之间的第一位姿关系：
[0022][0023]其中，为所述第一位姿关系，R
c
为所述第一外参矩阵，R
l
为所述第二外参矩阵。
[0024]作为其中一种优选方案，所述根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据，具体包括：
[0025]根据激光雷达点云数据的时间戳，将图像与其进行时间同步；
[0026]获取时间戳相邻最近的图像，将其选定为同步后的图像数据。
[0027]作为其中一种优选方案，基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系，具体包括：
[0028]将各组同步后的前后两帧图像之间的特征点进行匹配，得到匹配点对，并基于所述匹配点对，计算前后两帧图像之间相机的位姿变换矩阵；
[0029]根据前后两帧图像的激光雷达点云，利用ICP配准算法，计算激光雷达的位姿变换矩阵；
[0030]基于各组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵，计算相机与激光雷达之间的第二位姿关系。
[0031]作为其中一种优选方案，所述计算前后两帧图像之间相机的位姿变换矩阵，具体包括：
[0032]基于所述匹配点对，采用如下公式计算基础矩阵和本质矩阵：
[0033]x
T
Fx
′
＝0
[0034][0035]其中，x和x
′
分别为匹配点对，F为基础矩阵，M
c
为所述内参矩阵，E为所述本质矩阵；
[0036]对所述本质矩阵进行SVD分解，得到相机的位姿变换矩阵。
[0037]作为其中一种优选方案，所述根据前后两帧图像的激光雷达点云，利用ICP配准算法，计算激光雷达的位姿变换矩阵，具体包括：
[0038]对预设的目标函数进行迭代，并将所述目标函数小于收敛误差时的函数值确定为
激光雷达的位姿变换矩阵；
[0039]所述目标函数为：
[0040][0041]其中，E(R
nl
)为迭代的目标函数的函数值，R
nl
为所述激光雷达的位姿变换矩阵，p
i
为收敛误差为1e
‑
10
。
[0042]作为其中一种优选方案，所述基于各组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵，计算相机与激光雷达之间的第二位姿关系，具体包括：
[0043]构建手眼标定模型，代入多组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵，计算得到相机与激光雷达之间的第二位姿关系；
[0044]所述手眼标定模型具体包括：
[0045][0046][0047]其中，R
nc
为所述相机的位姿变换矩阵，R
nl
为所述激光雷达的位姿变换矩阵，为所述第二位姿关系。
[0048]本专利技术另一实施例提供了一种结合激光雷达来识别相机位姿变化的装置，包括整车控制器，所述整车控制器被配置为：
[0049]获取车辆行驶时激光雷达的点云数据和相机的图像数据；
[0050]根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；
[0051]基于各组同步后的前后两帧图像、由图像特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合激光雷达来识别相机位姿变化的方法，其特征在于，包括：获取车辆行驶时激光雷达的点云数据和相机的图像数据；根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的位姿关系。2.如权利要求1所述的结合激光雷达来识别相机位姿变化的方法，其特征在于，所述根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据，具体包括：根据激光雷达点云数据的时间戳，将图像与其进行时间同步；获取时间戳相邻最近的图像，将其选定为同步后的图像数据。3.一种结合激光雷达来识别相机位姿异常的方法，其特征在于，包括：根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系；获取车辆行驶时激光雷达的点云数据和相机的图像数据；根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据；基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算得到相机与激光雷达之间的第二位姿关系；若所述第一位姿关系和所述第二位姿关系之间的欧氏距离大于预设门限值，则输出相机位姿异常的识别结果。4.如权利要求3所述的结合激光雷达来识别相机位姿异常的方法，其特征在于，基于相机与激光雷达的灵敏度确定所述预设门限值。5.如权利要求3所述的结合激光雷达来识别相机位姿异常的方法，其特征在于，所述根据初始状态下相机与激光雷达的标定参数，计算得到相机与激光雷达之间的第一位姿关系，具体包括：分别获取初始状态下相机的标定参数和激光雷达的标定参数，其中，所述相机的标定参数包括内参矩阵和第一外参矩阵，所述激光雷达的标定参数包括第二外参矩阵；根据所述标定参数，采用如下公式计算初始状态下相机与激光雷达之间的第一位姿关系：其中，为所述第一位姿关系，R
c
为所述第一外参矩阵，R
l
为所述第二外参矩阵。6.如权利要求3所述的结合激光雷达来识别相机位姿异常的方法，其特征在于，所述根据激光雷达点云数据的时间戳进行时间同步，得到多组同步后的图像数据，具体包括：根据激光雷达点云数据的时间戳，将图像与其进行时间同步；获取时间戳相邻最近的图像，将其选定为同步后的图像数据。7.如权利要求5所述的结合激光雷达来识别相机位姿异常的方法，其特征在于，基于各组同步后的前后两帧图像、由图像特征点得到的匹配点对和前后两帧图像的激光雷达点云，分别计算相机的位姿变换矩阵和激光雷达的位姿变换矩阵，并根据所述变换矩阵计算
得到相机与激光雷达之间的第二位姿关系，具体包括：将各组同步后的前后两帧图像之间的特征点进行匹配，得到匹配点对，并基于所述匹配点对，计算前后两帧图像之间相机的位姿变换矩阵；根据前后两帧图像的激光雷达点云，利用ICP配准算法，计算激光雷达的位姿变换矩阵；基于各组所述相机的位姿变换矩阵和所述激光雷达的位姿变换矩阵，计算相机与激光雷达之间的第二位姿关系。8.如权利要求7所述的结合激光雷达来识别相机位姿异常的方法，其...

【专利技术属性】
技术研发人员：路晓冬，
申请(专利权)人：华人运通上海自动驾驶科技有限公司，
类型：发明
国别省市：