车载相机的外部参数的标定方法及相关装置制造方法及图纸

本申请公开了相机标定技术领域中一种车载相机的外部参数的标定方法及相关装置。本申请提供的技术方案中，根据获取的第一图像中的M条第一平行线在车载相机的实际相机坐标系中的坐标和第一图像的鸟瞰图中M条第二平行线的约束，确定车载相机的实际相机坐标系与车载相机的虚拟理想相机坐标系之间的变换关系，M为大于或等于3的整数，M条第二平行线与M条第一平行线一一对应；根据车载相机的实际相机坐标系与车载相机的虚拟理想相机坐标系之间的变换关系以及虚拟理想相机坐标系与世界坐标系之间的变换关系，确定车载相机的实际相机坐标系与世界坐标系之间的变换关系，提高了车载相机的外参标定方法的灵活性。机的外参标定方法的灵活性。机的外参标定方法的灵活性。

【技术实现步骤摘要】
【国外来华专利技术】车载相机的外部参数的标定方法及相关装置


[0001]本申请涉及相机标定
，尤其涉及一种车载相机的外部参数的标定方法及相关装置。

技术介绍

[0002]车载相机作为一种传感器在辅助驾驶和自动驾驶中所起的作用日益重要，通过将车辆周围的环境与车载相机拍摄到的数字图像相关联，可以为安全驾驶提供必要信息。在将车辆周围的环境与车载相机拍摄到的数字图像相关联的过程中，车载相机的外部参数起到了重要作用。其中，车载相机的外部参数是指车载相机相对于车辆的平移距离和旋转角度。
[0003]目前，通常借助平行线对车载相机的外部参数进行标定，用于车载相机外参标定的平行线可以是在特定场地中画出的车道线，也可以是道路上的车道线。在标定过程中，很多现有技术方案都设置有特定的约束条件，比如，要求用于车载相机外参标定的三条平行线之间的距离要相等。具体地，获取三条平行线的像素坐标系坐标，将三条平行线的像素坐标系坐标转换为相机坐标系坐标，并将三条平行线间的距离相等作为约束条件，得到车载相机的外部参数。但是，使用等距的平行线进行车载相机的标定使得车载相机的标定方法的灵活性较低。
[0004]因此，如何提高车载相机的外参标定方法的灵活性成为了亟待解决的问题。

技术实现思路

[0005]本申请提供了一种车载相机的外部参数的标定方法及相关装置，提高了车载相机的外参标定方法的灵活性。
[0006]第一方面，本申请提供一种车载相机的外部参数的标定方法，所述方法包括：获取第一图像中的M条第一平行线在所述车载相机的实际相机坐标系中的坐标，所述第一图像为所述车载相机的所属车辆在目标道路上的行驶过程中拍摄得到的图像，所述目标道路上包含平行的N条车道线，所述N条车道线中的任意两条车道线之间的距离是已知的，所述M条第一平行线与所述N条车道线中的M条第一车道线一一对应，M为大于或等于3的整数，N为大于或等于M的整数；根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述第一图像的鸟瞰图中M条第二平行线的约束，确定所述车载相机的实际相机坐标系与所述车载相机的虚拟理想相机坐标系之间的变换关系，所述M条第二平行线与所述M条第一平行线一一对应，所述M条第二平行线在所述鸟瞰图中的约束包括平行约束、竖直约束、间距比例约束和间距约束，所述平行约束包括所述M条第二平行线平行，所述竖直约束包括所述M条第二平行线中的任意一条第二平行线与所述虚拟理想相机坐标系的x轴方向垂直，所述间距比例约束包括所述M条第二平行线中的任意两个第二平行线之间的距离比例与所述任意两个第二平行线对应的M条车道线之间的距离比例相同，所述距离约束包括所述任意两个第二平行线之间的距离与所述任意两个第二平行线对应的M条车道线之间的距离的差
值最小；根据所述车载相机的实际相机坐标系与所述车载相机的虚拟理想相机坐标系之间的变换关系以及所述虚拟理想相机坐标系与世界坐标系之间的变换关系，确定所述车载相机的实际相机坐标系与所述世界坐标系之间的变换关系。
[0007]本方法中，先根据获取的第一图像中的M条第一平行线在车载相机的实际相机坐标系中的坐标和第一图像的鸟瞰图中M条第二平行线的约束，确定车载相机的实际相机坐标系与车载相机的虚拟理想相机坐标系之间的变换关系，M为大于或等于3的整数，M条第二平行线与M条第一平行线一一对应，M条第二平行线在鸟瞰图中的约束包括平行约束、竖直约束、间距比例约束和间距约束；再根据车载相机的实际相机坐标系与车载相机的虚拟理想相机坐标系之间的变换关系以及虚拟理想相机坐标系与世界坐标系之间的变换关系，确定车载相机的实际相机坐标系与世界坐标系之间的变换关系，其中，第一图像为车载相机的所属车辆在目标道路上的行驶过程中拍摄得到的图像，目标道路上包含平行的N条车道线，N为大于或等于M的整数，通过引入车载相机的虚拟理想相机坐标系作为中转坐标系，只需已知N条车道线中任意两条相邻的车道线的距离，即可根据第一图像中的M条第一平行线在车载相机的实际相机坐标系中的坐标和第一图像的鸟瞰图中M条第二平行线的平行约束、竖直约束、间距比例约束和间距约束，确定车载相机的实际相机坐标系与车载相机的虚拟理想相机坐标系之间的变换关系，不需要对目标道路中的N条车道线设置其它特定的约束条件，提高了车载相机的外参标定方法的灵活性。
[0008]在一种可能的实现方式中，所述根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述第一图像的鸟瞰图中M条第二平行线的约束，确定所述车载相机的实际相机坐标系与所述车载相机的虚拟理想相机坐标系之间的变换关系，包括：根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述平行约束，确定所述虚拟理想相机坐标系相对于所述实际相机坐标系的x轴旋转角；根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述竖直约束，确定所述虚拟理想相机坐标系相对于所述实际相机坐标系的y轴旋转角；根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述间距比例约束，确定所述虚拟理想相机坐标系相对于所述实际相机坐标系的z轴旋转角；根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述间距约束，确定所述虚拟理想相机坐标系相对于所述实际相机坐标系的z轴平移距离。
[0009]该实现方式中，依次根据M条第一平行线在车载相机的实际相机坐标系中的坐标和平行约束，确定虚拟理想相机坐标系相对于实际相机坐标系的x轴旋转角，根据M条第一平行线在车载相机的实际相机坐标系中的坐标和竖直约束，确定虚拟理想相机坐标系相对于实际相机坐标系的y轴旋转角，根据M条第一平行线在车载相机的实际相机坐标系中的坐标和间距比例约束，确定虚拟理想相机坐标系相对于实际相机坐标系的z轴旋转角，根据M条第一平行线在车载相机的实际相机坐标系中的坐标和间距约束，确定虚拟理想相机坐标系相对于实际相机坐标系的z轴平移距离，得到车载相机的实际相机坐标系与车载相机的虚拟理想相机坐标系之间的变换关系，提高了车载相机的实际相机坐标系与车载相机的虚拟理想相机坐标系之间的变换关系的准确度。
[0010]在一种可能的实现方式中，所述平行约束还包括：0.5∑(θ
i
‑
θ
i+1
)2最小，其中，θ
i
为所述M条第二平行线中第i条第二平行线与所述虚拟理想相机坐标系的x轴方向的夹角，θ
i+1
为所述M条第二平行线中的第i+1条第二平行线与所述虚拟理想相机坐标系的x轴方向的夹角，i为大于或等于1且小于M的整数，θ
i
小于或等于90度，θ
i+1
小于或等于90度。
[0011]该实现方式中，将0.5∑(θ
i
‑
θ
i+1
)2最小作为平行约束确定虚拟理想相机坐标系相对于实际相机坐标系的x轴旋转角，提高了虚拟理想相机坐标系相对于实际相机坐标系的x轴旋转角的准确度。
[0012]在一种可能的实现方式中，所述竖直约束还包括：0.5∑(θ
j
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种车载相机的外部参数的标定方法，其特征在于，所述方法包括：获取第一图像中的M条第一平行线在所述车载相机的实际相机坐标系中的坐标，所述第一图像为所述车载相机的所属车辆在目标道路上的行驶过程中拍摄得到的图像，所述目标道路上包含平行的N条车道线，所述N条车道线中的任意两条车道线之间的距离是已知的，所述M条第一平行线与所述N条车道线中的M条第一车道线一一对应，M为大于或等于3的整数，N为大于或等于M的整数；根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述第一图像的鸟瞰图中M条第二平行线的约束，确定所述车载相机的实际相机坐标系与所述车载相机的虚拟理想相机坐标系之间的变换关系，所述M条第二平行线与所述M条第一平行线一一对应，所述M条第二平行线在所述鸟瞰图中的约束包括平行约束、竖直约束、间距比例约束和间距约束，所述平行约束包括所述M条第二平行线平行，所述竖直约束包括所述M条第二平行线中的任意一条第二平行线与所述虚拟理想相机坐标系的x轴方向垂直，所述间距比例约束包括所述M条第二平行线中的任意两个第二平行线之间的距离比例与所述任意两个第二平行线对应的M条车道线之间的距离比例相同，所述距离约束包括所述任意两个第二平行线之间的距离与所述任意两个第二平行线对应的M条车道线之间的距离的差值最小；根据所述车载相机的实际相机坐标系与所述车载相机的虚拟理想相机坐标系之间的变换关系以及所述虚拟理想相机坐标系与世界坐标系之间的变换关系，确定所述车载相机的实际相机坐标系与所述世界坐标系之间的变换关系。2.根据权利要求1所述的方法，其特征在于，所述根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述第一图像的鸟瞰图中M条第二平行线的约束，确定所述车载相机的实际相机坐标系与所述车载相机的虚拟理想相机坐标系之间的变换关系，包括：根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述平行约束，确定所述虚拟理想相机坐标系相对于所述实际相机坐标系的x轴旋转角；根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述竖直约束，确定所述虚拟理想相机坐标系相对于所述实际相机坐标系的y轴旋转角；根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述间距比例约束，确定所述虚拟理想相机坐标系相对于所述实际相机坐标系的z轴旋转角；根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述间距约束，确定所述虚拟理想相机坐标系相对于所述实际相机坐标系的z轴平移距离。3.根据权利要求1或2所述的方法，其特征在于，所述平行约束还包括：0.5∑(θ
i
‑
θ
i+1
)2最小，其中，θ
i
为所述M条第二平行线中第i条第二平行线与所述虚拟理想相机坐标系的x轴方向的夹角，θ
i+1
为所述M条第二平行线中的第i+1条第二平行线与所述虚拟理想相机坐标系的x轴方向的夹角，i为大于或等于1且小于M的整数，θ
i
小于或等于90度，θ
i+1
小于或等于90度。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述竖直约束还包括：0.5∑(θ
j
‑
90)2最小，θ
j
为所述M条第二平行线中第j条第二平行线与所述虚拟理想相机坐标系的x轴方向的夹角，j为大于或等于1且小于或等于M的整数，θ
j
小于或等于90度。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述间距比例约束还包括：
最小，其中，ω
s，s+1
为所述M条第二平行线中的第s条第二平行线与第s+1条第二平行线之间的距离，ω
s+1，s+2
为所述M条第二平行线中的第s+1条第二平行线与第s+2条第二平行线之间的距离，W
s，s+1
为所述M条第二平行线中第s条第二平行线对应的车道线与第s+1条第二平行线对应的车道线之间的实际距离，W
s+1，s+2
为所述M条第二平行线中第s+1条第二平行线对应的车道线与第s+2条第二平行线对应的车道线之间的实际距离，s为大于或等于1且小于M
‑
1的整数。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述间距约束还包括0.5∑(ω
i，i+1
‑
W
i，i+1
)2最小，ω
i，i+1
为所述M条第二平行线中的第i条第二平行线与第i+1条第二平行线之间的距离，W
i，i+1
为所述M条第二平行线中第i条第二平行线对应的车道线与第i+1条第二平行线对应的车道线之间的实际距离，i为大于或等于1且小于M的整数。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：获取所述车载相机在所述世界坐标系中的y轴平移量；获取车辆的定位信息，所述车辆的定位信息包括所述车辆当前的位置信息和/或所述车辆的加速度和/或所述车辆的轮速；根据所述车辆的定位信息和所述车载相机在所述世界坐标系中的y轴平移量建立所述车辆的观测模型；根据所述车辆的观测模型获取所述车辆当前时刻的航向角；根据所述车载相机的实际相机坐标系与所述世界坐标系之间的变换关系中的航向角对所述车辆当前时刻的航向角进行补偿，得到补偿后的航向角；将所述车载相机的实际相机坐标系与所述世界坐标系之间的变换关系中的航向角更新为所述补偿后的航向角。8.一种车载相机的外部参数的标定装置，其特征在于，所述装置包括：获取模块，用于获取第一图像中的M条第一平行线在所述车载相机的实际相机坐标系中的坐标，所述第一图像为所述车载相机的所属车辆在目标道路上的行驶过程中拍摄得到的图像，所述目标...

【专利技术属性】
技术研发人员：何启盛，李涵，黄海晖，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：