自动标定相机外参的方法及系统技术方案

本发明专利技术提供了一种自动标定相机外参的方法及系统，包括：步骤1：将图像车道线信息和世界坐标系中车道线信息分别作为输入值和真值，设置损失函数；步骤2：对损失函数进行反向求导，迭代更新相机外参，求解得到最优相机外参。本发明专利技术操作简单、场景受限小，满足实时实地进行标定的需求；在减少人工干预的同时，方便快捷、准确性高。

【技术实现步骤摘要】
自动标定相机外参的方法及系统
本专利技术涉及相机标定
，具体地，涉及一种自动标定相机外参的方法及系统。
技术介绍
相机外参又称为相机位姿，由旋转矩阵和平移矩阵组成，相机外参标定指的是确定一个旋转矩阵和平移矩阵，用来描述相机坐标系和其他坐标系(比如车身坐标系)的转换关系。在计算机视觉的应用领域中，相机外参标定是一个关键的环节，因为标定的准确性决定计算机视觉系统能否有效地进行定位、测距、检测等涉及到二维和三维交互的功能。以求解相机坐标系与车身坐标系的外参为例，传统的相机外参标定法是借助标定板建立一个世界坐标系，并固定好车身坐标系和世界坐标系之间的变换关系(比如将车子停到固定的地方)，利用标定板在图像平面的成像信息和标定板格子尺寸信息确定世界坐标系和相机坐标系的内外参数，从而借助固定好的车身坐标系和世界坐标系变换关系，以世界坐标系为中介，可以计算出相机坐标系与车身坐标系的外参。这种方法的缺点是需要在特定场景中进行，即需提供一个专门进行外参标注的场景，场景里需准备好特定的参考系(如标定板)，并预先固定好车子的标定位置，不适合实时实地进行操作，且较为繁琐。针对上述方法的不足，本专利技术提出一种自动标定相机外参的方法，该方法借助图像车道线信息和对应地图(世界坐标系)中车道线的信息，使用梯度下降方法迭代求解最优的相机外参，使得图像车道线经过内外参转换后与世界坐标系中的车道线重合。专利文献CN109191531A(申请号：201810851930.6)公开了一种基于车道线检测的后方车载相机的自动外参标定方法，包括以下步骤：获得自车方向盘转角信息当方向盘转角φ的绝对值小于2°，φ的帧间变化小于1°，进行标定操作；拍摄至少2帧图像，记为T0帧和T1帧，其中T0和T1分别表示两帧的采集时间，则两帧之间的时间间隔为(T1-T0)，为表述方便约定T00；计算L1F和L2F的交点P，根据P点在F图中的位置计算得到Rx，Ry，设车道线的宽度为W,W∈Sw,根据当前参数计算tx,定义矩阵获取车速V参数，定义矩阵计算SSD参数，计算得到的Rx，Ry，Rz，tx，ty就是欲求的最优参数。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种自动标定相机外参的方法及系统。根据本专利技术提供的自动标定相机外参的方法，包括：步骤1：将图像车道线信息和世界坐标系中车道线信息分别作为输入值和真值，设置损失函数；步骤2：对损失函数进行反向求导，迭代更新相机外参，求解得到最优相机外参。优选的，在有世界坐标系的路段内进行自动标定，将一个初始相机外参作为初始值进行更新；相机外参包括旋转矩阵和平移矩阵，获取初始外参作为求解初值，其中旋转矩阵的表示方式包括3*3矩阵、欧拉角或四元素；对需标定的车辆进行数据采集并通过对损失函数进行反向求导实现相机外参的自动求解，求解只对初始外参中的旋转矩阵进行更新。优选的，损失函数的衡量标准是图像车道线经过相机内外参及车身与世界坐标系中外参的转换后与世界坐标系中对应的车道线的相似程度；优选的，基于相似程度，损失函数的设置包括对应曲线或直线的距离误差积分以及曲线或直线的切线方向角度误差积分。优选的，损失函数设置同时对相机外参中旋转矩阵的所有参数进行有效约束；所述参数包括三个欧拉角：偏航角、俯仰角、翻滚角。优选的，迭代更新相机外参通过梯度下降实现。优选的，在损失函数中增加对各个参数的约束，约束方法包括：在满足对应直线距离误差和斜率误差低于预设阈值的同时；--通过左右车道线之间的平行和距离关系约束相机外参；--或增加停止线约束俯仰角、增加电线杆考虑翻滚角；输入二维坐标系，即像素坐标系中车道线的点(u,v)，通过公式(1)、(2)，求解出其在世界坐标系中对应的坐标点(X,Y,Z)，其中fx、fy、u0、v0代表相机内参，Rc、Tc代表相机外参中相机坐标系与车身坐标系之间的旋转矩阵和平移矩阵，Rb、Tb代表车身坐标系与世界坐标系之间的旋转矩阵和平移矩阵，Zc代表(u,v)点在相机坐标系中的深度信息；输入(u,v)、相机内参fx、fy、u0、v0、车身位姿Rb、Tb，Zb，Tc均为已知值，车道线作为输入且车身坐标系的原点为后轮中心在地面的投影，车道线均路面上，Zb始终为0，Tc根据测量基准获取，Rc为更新参数。优选的，通过公式(1)、(2)得到(X,Y,Z)即世界坐标系下的车道线点后，损失函数loss公式(3)表示为：loss＝loss1+loss2+loss3+loss4…………(3)loss1为左边的图像车道线经过内外参变换后在世界坐标系中与世界坐标系中左车道线之间的距离；loss2为右边的图像车道线经过内外参变换后在世界坐标系中与世界坐标系中右车道线之间的距离；loss3为左边的图像车道线经过内外参变换后在世界坐标系中与世界坐标系中左车道线之间的梯度误差；loss4为右边的图像车道线经过内外参变换后在世界坐标系中与世界坐标系中右车道线之间的梯度误差。优选的，公式(4)表示为：loss1和loss2通过点到线的距离机选偏移误差，即计算输入经过公式(1)、(2)的转换后得到的世界坐标系点到对应真值的距离，其中A、B、C为对真值进行直线拟合后得到的直线方程系数，n为输入中点的个数，(xi,yi)为输入经过公式(1)、(2)后得到世界坐标系的点；公式(5)表示为：loss3和loss4通过斜率计算方向误差，即通过累计斜率公式分别计算两根直线的平均斜率，从而得到两根直线的斜率误差，其中(xi,yi)为输入经过公式(1)、(2)转换后得到的世界坐标系的平面坐标，(xi',yi')为真值中的平面坐标，n和n1分别代表输入和真值的点个数；公式(4)、(5)表示偏移和方向的共同约束描述两根直线的相似关系。优选的，基于深度学习进行求解，通过学习梯度下降使得损失函数在一定范围内收敛到最小值，使得输入经过一系列变换后预测真值，该真值在训练阶段称为标签；在自动求解方法中，输入为对图像车道线进行拟合后得到的直线，即像素坐标系下的二维点；标签为世界坐标系中对应的车道线，即世界坐标系下的三维点；设置损失函数后，采用损失反向求导的方式从损失函数出发，以迭代的方式对损失函数反向求导得到相机外参的梯度，其中反向求导的方式包括手动计算梯度或借鉴于深度学习工具pytorch对参数进行梯度求解，并以预设的学习率对初始外参中的旋转矩阵进行更新；学习率的选择方式包括固定值、自适应学习率和梯度学习率；表达式为：yaw＝yaw-lr*yawgrad…………(6)pitch＝pitch-lr*pitchgrad…………(7)roll＝roll-lr*rollgrad…………(8)以欧拉角：偏航角yaw、俯仰角pitch、翻滚角roll为旋转矩阵的表示方式，在每一次求解到对应的梯度yawgrad、pitchgrad、本文档来自技高网...

【技术保护点】
1.一种自动标定相机外参的方法，其特征在于，包括：/n步骤1：将图像车道线信息和世界坐标系中车道线信息分别作为输入值和真值，设置损失函数；/n步骤2：对损失函数进行反向求导，迭代更新相机外参，求解得到最优相机外参。/n

【技术特征摘要】
20200529 CN 20201047710511.一种自动标定相机外参的方法，其特征在于，包括：
步骤1：将图像车道线信息和世界坐标系中车道线信息分别作为输入值和真值，设置损失函数；
步骤2：对损失函数进行反向求导，迭代更新相机外参，求解得到最优相机外参。


2.根据权利要求1所述的自动标定相机外参的方法，其特征在于，在有世界坐标系的路段内进行自动标定，将一个初始相机外参作为初始值进行更新；
相机外参包括旋转矩阵和平移矩阵，获取初始外参作为求解初值，其中旋转矩阵的表示方式包括3*3矩阵、欧拉角或四元素；
对需标定的车辆进行数据采集并通过对损失函数进行反向求导实现相机外参的自动求解，求解只对初始外参中的旋转矩阵进行更新。


3.根据权利要求1所述的自动标定相机外参的方法，其特征在于，损失函数的衡量标准是图像车道线经过相机内外参及车身与世界坐标系中外参的转换后与世界坐标系中对应的车道线的相似程度。


4.根据权利要求3所述的自动标定相机外参的方法，其特征在于，基于相似程度，损失函数的设置包括对应曲线或直线的距离误差积分以及曲线或直线的切线方向角度误差积分。


5.根据权利要求2所述的自动标定相机外参的方法，其特征在于，损失函数设置同时对相机外参中旋转矩阵的所有参数进行有效约束；
所述参数包括三个欧拉角：偏航角、俯仰角、翻滚角。


6.根据权利要求1所述的自动标定相机外参的方法，其特征在于，迭代更新相机外参通过梯度下降实现。


7.根据权利要求1所述的自动标定相机外参的方法，其特征在于，在损失函数中增加对各个参数的约束，约束方法包括：在满足对应直线距离误差和斜率误差低于预设阈值的同时；
--通过左右车道线之间的平行和距离关系约束相机外参；
--或增加停止线约束俯仰角、增加电线杆考虑翻滚角；






输入二维坐标系，即像素坐标系中车道线的点(u,v)，通过公式(1)、(2)，求解出其在世界坐标系中对应的坐标点(X,Y,Z)，其中fx、fy、u0、v0代表相机内参，Rc、Tc代表相机外参中相机坐标系与车身坐标系之间的旋转矩阵和平移矩阵，Rb、Tb代表车身坐标系与世界坐标系之间的旋转矩阵和平移矩阵，Zc代表(u,v)点在相机坐标系中的深度信息；输入(u,v)、相机内参fx、fy、u0、v0、车身位姿Rb、Tb，Zb，Tc均为已知值，车道线作为输入且车身坐标系的原点为后轮中心在地面的投影，车道线均路面上，Zb始终为0，Tc根据测量基准获取，Rc为更新参数。


8.根据权利要求7所述的自动标定相机外参的方法，其特征在于，通过公式(1)、(2)得到(X,Y,Z)即世界坐标系下的车道线点后，损失函数loss公式(3)表示为：
loss＝loss1+loss2+loss3+loss4…………(3)
loss1为左边的图像车道线经过内外参变换后在世界坐标系中与世界坐标系中左车道线之间的距离；loss2...

【专利技术属性】
技术研发人员：何弢，廖文龙，赵华卿，陈雅娟，
申请(专利权)人：安徽酷哇机器人有限公司，长沙酷哇人工智能及大数据产业技术研究院有限公司，
类型：发明
国别省市：安徽;34