一种用于全景泊车系统的摄像头外参标定方法技术方案

本发明专利技术公开了一种用于全景泊车系统的工业自动化外参标定方法，包括：布置标定场地，确定理想世界坐标系，放置参考点；计算参考点在图像坐标系中的位置；计算参考点在传感器坐标系中的位置；计算出摄像头的理想外参；计算出车辆相对于理想世界坐标系的旋转偏差和平移偏差；根据旋转偏差和平移偏差重新计算出参考点在相对于车辆实际位置所决定的世界坐标系中的位置；根据摄像头的内参、参考点在传感器坐标系中的位置和参考点在相对于车辆实际位置所决定的世界坐标系中的位置计算出摄像头的实际外参。本发明专利技术能够简化标定过程，提高计算精度，有利于在生产线上自动完成。

An external camera calibration method for panoramic parking system

The invention discloses an industrial automation calibration method for the panoramic parking system, which includes the layout of the calibration site, the ideal world coordinate system, the reference point, the location of the reference point in the image coordinate system, the location of the reference point in the sensor coordinate system, and the calculation of the ideal external reference of the camera. The rotation deviation and shift deviation of the vehicle relative to the ideal world coordinate system are calculated, and the position of the reference point in the world coordinate system determined by the actual position of the vehicle is recalculated according to the rotation deviation and the shift deviation; the position and reference point of the reference point in the sensor coordinate system and the reference point are in phase according to the camera's internal reference and reference points. The actual external parameters of the camera are calculated for the position in the world coordinate system determined by the actual position of the vehicle. The invention can simplify the calibration process, improve the calculation accuracy, and is beneficial to automatically complete the production line.

【技术实现步骤摘要】
一种用于全景泊车系统的摄像头外参标定方法
本专利技术涉及全景泊车中的图像处理以及光学
，更具体地说，涉及一种用于全景泊车系统的摄像头外参标定方法。
技术介绍
中国是世界上汽车发展速度最快的国家，随着我国城市的发展，汽车的保有量正在高速递增，随之而来的是人与车、车与车之间的矛盾日趋激烈。首先是停车难问题，在狭窄的区域内泊车成为了困扰驾驶员出行的一个突出问题，另外低速行驶时由于驾驶员视野盲区造成的安全事故也屡见不鲜，给行人的人身安全带来了巨大的隐患。常规的后视镜头或倒车雷达等设备虽然在一定程度上起到了辅助作用，但是覆盖面窄，提供给驾驶员的信息不够具体。全景泊车系统针对上述问题，通过在车身四周安装拥有宽阔视场角的鱼眼摄像头，覆盖车身四周360°的视野范围，在光学标定和图像处理理论的支撑下将车辆周遭景物投影到地平面，并将多路摄像头捕捉到的景物拼接成为一幅完整的景象，消除了驾驶员的视野盲区，为驾驶员提供了直观的参考信息。对于一般的乘用车来说，在车头、车尾和左右后视镜下安装4个视场角在160°左右的鱼眼摄像头即可覆盖车辆四周的场景，并且保证相邻两个鱼眼摄像头的可视范围有公共叠加区域，这种方法也是当前最常见的安装方案。为了最终为驾驶员提供一个完整的360°场景影像，就需要将4个摄像头捕获的信息进行投影、拼接以及融合，这些步骤的效果都要依赖于4个摄像头的光学特性和位置姿态等参数，获取这些参数的过程即标定。摄像头的标定可以分为内参标定和外参标定，其中内参标定主要是确定光学镜片的折射能力以及安装中由于镜片光轴与CMOS/CCD传感器平面不垂直而造成的畸变，由于这一环节可以在摄像头生产的时候完成，所以可以用相对复杂的仪器和较长的时间来完成。外参标定主要是对摄像头安装位置和姿态参数进行标定，这一过程需要在摄像头安装到车上之后进行，所以必须在汽车组装生产线上完成，这就对标定的时间和方式提出了更高的要求，典型的需求是整个标定过程自动完成并且耗时限制在3分钟之内。外参标定方案主要分为两种：一种是利用标定板等辅助工具提供标定参考点；另一种方法不需要人为提供参考点，而是根据车辆运动过程中获取的多幅图像中的相同点作为参考点，也称为自标定方法。由于自标定方案需要车辆运动一段距离来寻找足够的参考点，根据选点情况不同所需行驶距离和时间也不确定，并不适合在生产线上使用，同时该方法复杂、计算量大，很难在下位机上实时完成，所以一般来讲工业上采用第一种方案，用人为设置参考点的方法进行外参标定。常规的外参标定方法往往使用标定板等辅助工具分别对4个摄像头单独进行标定，然后再根据每次标定时标定板的位置计算出4个摄像头相互之间的位置关系，这种方法对参考点的位置设置指导性不强，而且过程复杂精度较差。
技术实现思路
有鉴于此，本专利技术提供一种用于全景泊车系统的摄像头外参标定方法，通过设置统一的理想世界坐标系进行标定，并且在四个摄像头视野重叠的公共区域内设置参考点，将需要设置的参考点数量降到了最低，同时在统一的理想世界坐标系中计算四个摄像头的外参，简化了标定过程，提高了计算精度，有利于在生产线上自动完成。为解决上述技术问题，本专利技术采用的技术方案为：一种用于全景泊车系统的摄像头外参标定方法，包括：根据车辆的尺寸布置标定场地，确定出理想世界坐标系，并在理想世界坐标系中的指定位置放置参考点；根据角点检测算法计算出参考点在摄像头采集的图像上形成的图像坐标系中的位置；根据参考点在图像坐标系中的位置，计算出参考点在摄像头汇聚光线投影到传感器平面，传感器将光强度转换成电信号生成的图像上形成的传感器坐标系中的位置；根据摄像头的内参、参考点在传感器坐标系中的位置和参考点在理想世界坐标系中的位置计算出摄像头的理想外参；计算出车辆相对于理想世界坐标系的旋转偏差和平移偏差；根据旋转偏差和平移偏差重新计算出参考点在相对于车辆实际位置所决定的世界坐标系中的位置；根据摄像头的内参、参考点在传感器坐标系中的位置和参考点在相对于车辆实际位置所决定的世界坐标系中的位置计算出摄像头的实际外参。优选地，所述根据车辆的尺寸布置标定场地，确定出理想世界坐标系，并在理想世界坐标系中的指定位置放置参考点具体为：根据车辆尺寸在地面上画出一个矩形区域，作为车辆所在位置的标定场地；以矩形的纵向中轴线作为理想世界坐标系的X轴，X轴的指向为车辆理想停放在矩形区域时的车辆正前方；以矩形的横向中轴线作为理想世界坐标系的Y轴，Y轴的指向为车辆理想停放在矩形区域时的车辆左侧；理想世界坐标系的Z轴垂直地平面向上；以X轴、Y轴和Z轴的交点作为世界坐标系的原点O；放置参考点，使每个摄像头都能看到四个参考点。优选地，所述根据参考点在图像坐标系中的位置计算出参考点在传感器坐标系中的位置具体为：根据关系式：计算出图像坐标系中的一参考点点u′=[u′,v′]T在传感器坐标系中对应的位置u=[u,v]T；其中：图像坐标系(u′,v′)以像素为单位，原点在图像的左上角；传感器坐标系(u,v)的原点在摄像头光轴与传感器平面的交点上；c、d、e表示由于摄像头光轴与传感器平面不垂直产生的仿射变换参数；xc和yc表示摄像头光轴与传感器平面实际交点相对于图像坐标系原点的偏移量。优选地，根据摄像头的内参、参考点在传感器坐标系中的位置和参考点在理想世界坐标系中的位置计算出摄像头的理想外参具体为：通过建立成像函数g建立传感器坐标系中的一参考点u=[u,v]T与其相应成像点P之间的关系：λg(u)=λp,λ>0；（2）其中，p为摄像头光心指向点P的向量，λ为常数；成像函数g的表达式为：g(u,v)=[u,v,f(u,v)]T；（3）其中，f(u,v)=α0+α1ρ+α2ρ2+…+αNρN，N=4，α0、α1、α2、α3、α4、xc、yc、c、d、e为摄像头的内参；假设摄像机坐标系OcXcYcZc的原点Oc在摄像头光心，xc、yc轴与传感器坐标系同向平行，Zc轴指向传感器平面，理想世界坐标系选取地平面作为OwXwYw平面，Zw轴垂直向上，则空间中摄像头拍摄的一参考点P在理想世界坐标系中的坐标为Pw=[Xw,Yw,Zw]T，在摄像机坐标系中表示成Pc=[Xc,Yc,Zc]T，且：Pc=R·Pw+T；（4）其中，为旋转矩阵，为平移矩阵；根据每一个参考点的理想世界坐标和传感器坐标之间的关系建立方程：将建立的方程（5）两端叉乘该参考点在传感器平面上的投影坐标[u,v,f(ρ)]T得到：根据方程（6）得出一个参考点的三方程：v·(r31Xw+r32Yw+t3)-f(ρ)·(r21Xw+r22Yw+t2)=0；（7）f(ρ)·(r11Xw+r12Yw+t1)-u·(r31Xw+r32Yw+t3)=0；（8）u·(r21Xw+r22Yw+t2)-v·(r11Xw+r12Yw+t1)=0；（9）采用上述方法得出摄像头拍摄到的其余三个参考点的方程，根据参考点的方程联立得出摄像头的理想外参r11、r12、r13、r21、r22、r23、r31、r32、r33、t1、t2和t3。从上述的技术方案可以看出，本专利技术公开的一种用于全景泊车系统的摄像头外参标定方法，首先根据车辆的尺寸布置标定场地，确定出理想世界坐标系，并在理想世界坐标系中的指定位置放置参考点，然后根据角点本文档来自技高网...

【技术保护点】
一种用于全景泊车系统的摄像头外参标定方法，其特征在于，包括：根据车辆的尺寸布置标定场地，确定出理想世界坐标系，并在理想世界坐标系中的指定位置放置参考点，所述指定位置在所述摄像头视野覆盖的公共区域内；根据角点检测算法计算出参考点在摄像头采集的图像上形成的图像坐标系中的位置；根据参考点在图像坐标系中的位置，计算出参考点在摄像头汇聚光线投影到传感器平面，传感器将光强度转换成电信号生成的图像上形成的传感器坐标系中的位置；根据摄像头的内参、参考点在传感器坐标系中的位置和参考点在理想世界坐标系中的位置计算出摄像头的理想外参；计算出车辆相对于理想世界坐标系的旋转偏差和平移偏差；根据旋转偏差和平移偏差重新计算出参考点在相对于车辆实际位置所决定的世界坐标系中的位置；根据摄像头的内参、参考点在传感器坐标系中的位置和参考点在相对于车辆实际位置所决定的世界坐标系中的位置计算出摄像头的实际外参。

【技术特征摘要】
1.一种用于全景泊车系统的摄像头外参标定方法，其特征在于，包括：根据车辆的尺寸布置标定场地，确定出理想世界坐标系，并在理想世界坐标系中的指定位置放置参考点，所述指定位置在所述摄像头视野覆盖的公共区域内；根据角点检测算法计算出参考点在摄像头采集的图像上形成的图像坐标系中的位置；根据参考点在图像坐标系中的位置，计算出参考点在摄像头汇聚光线投影到传感器平面，传感器将光强度转换成电信号生成的图像上形成的传感器坐标系中的位置；根据摄像头的内参、参考点在传感器坐标系中的位置和参考点在理想世界坐标系中的位置计算出摄像头的理想外参；计算出车辆相对于理想世界坐标系的旋转偏差和平移偏差；根据旋转偏差和平移偏差重新计算出参考点在相对于车辆实际位置所决定的世界坐标系中的位置；根据摄像头的内参、参考点在传感器坐标系中的位置和参考点在相对于车辆实际位置所决定的世界坐标系中的位置计算出摄像头的实际外参。2.根据权利要求1所述的方法，其特征在于，所述根据车辆的尺寸布置标定场地，确定出理想世界坐标系，并在理想世界坐标系中的指定位置放置参考点具体为：根据车辆尺寸在地面上画出一个矩形区域，作为车辆所在位置的标定场地；以矩形的纵向中轴线作为理想世界坐标系的X轴，X轴的指向为车辆理想停放在矩形区域时的车辆正前方；以矩形的横向中轴线作为理想世界坐标系的Y轴，Y轴的指向为车辆理想停放在矩形区域时的车辆左侧；理想世界坐标系的Z轴垂直地平面向上；以X轴、Y轴和Z轴的交点作为世界坐标系的原点O；放置参考点，使每个摄像头都能看到四个参考点。3.根据权利要求2所述的方法，其特征在于，所述根据参考点在图像坐标系中的位置计算出参考点在传感器坐标系中的位置具体为：根据关系式：计算出图像坐标系中的一参考点u′＝[u′,v′]T在传感器坐标系中对应的位置u＝[u,v]T；其中：图像坐标系(u′,v′)以像素为单位，原点在图像的左上角；传感器坐标系(u,v)的原点在摄...

【专利技术属性】
技术研发人员：刘巍，王勇萍，李晨，陈筱婧，
申请(专利权)人：北京经纬恒润科技有限公司，
类型：发明
国别省市：北京,11