一种自然场景下的车载相机外参在线估计方法技术

本发明专利技术公开了一种自然场景下的车载相机外参在线估计方法。包括：首先选取两幅图像作为关键帧，基于相机当前时刻拍摄的图像与两幅关键帧图像计算三焦张量并构建辅助张量；对两个张量进行标准化并使用降阶观测器对其导数进行在线估计；利用车辆角速度、标准化辅助张量及其导数计算相机角速度；设计相机旋转外参观测器并对相机的旋转外参进行在线估计；设计相机平移外参观测器并对相机的平移外参进行在线估计；使用关键帧策略适时选择新的关键帧来替代旧的关键帧并进行切换，直至相机外参估计值收敛，获得最终的外参。本发明专利技术消除了现有方法对人造视觉特征以及平面参照物的依赖，且克服了有限相机视野对车辆工作空间的约束。克服了有限相机视野对车辆工作空间的约束。克服了有限相机视野对车辆工作空间的约束。

【技术实现步骤摘要】
一种自然场景下的车载相机外参在线估计方法


[0001]本专利技术属于计算机视觉和自动化的交叉领域的一种车载相机的外参估计方法，具体涉及了一种自然场景下的车载相机外参在线估计方法。

技术介绍

[0002]智能车通过相机获取环境的视觉信息并表示在相机自身的坐标系中，然而后续的路径规划与轨迹跟踪等模块却需要使用表示在车辆坐标系下的外部环境信息，相机坐标系相对于车辆坐标系的相对位姿即为相机相对于车辆的外参。
[0003]在基于视觉的跟踪与镇定问题中，自适应控制器可以通过抵消控制任务Lyapunov函数的时间导数中与未知外参相关联的项(J.Chen,B.Jia,and K.Zhang,“Trifocal tensor
‑
based adaptive visual trajectory tracking control of mobile robots,”IEEE Transactions on Cybernetics,vol.47,no.11,pp.3784
–
3798,Nov.2017)实现对未知相机外参影响的在线补偿，并最终实现既定的控制任务。但它并未获得相机外参的真值。当任务或场景发生变化，仍需要重新分析、处理外参的影响。
[0004]尽管已有许多离线标定方法可以获取相机外参，但大部分相关工作都依赖于特殊的人造视觉特征，如棋盘格子或Aruco Markers等；另一部分工作则要求相机仅能进行特定模式的运动，如圆周运动、直线运动或多种运动模式的组合(G.Yu,J.Chen,K.Zhang,and X.Zhang,“Camera external self
‑
calibration for intelligent vehicles,”IEEE 28th International Symposium on Industrial Electronics(ISIE),Vancouver,BC,Canada,12
–
14June 2019,pp.1688
‑
1693)等。此外，这些方法大多还要求专门的场地或专门的技术人员，这些对于一辆需要长期在室外运行且相机外参由于颠簸甚至碰撞可能频繁改变的智能车来讲显得过于复杂。虽然已有一些不依赖人造视觉特征的相机外参在线估计方法，但这些方法大多基于单应性技术(Kaixiang Zhang,Jian Chen,Guoqing Yu,Xinfang Zhang,and Zhaojian Li,“Visual Trajectory Tracking of Wheeled Mobile Robots With Uncalibrated Camera Extrinsic Parameters,”IEEE Transactions on Systems,Man,and Cybernetics:Systems,vol.51,no.11,Nov.2021)，要求场景中存在具有平面特征的静态参照物(如交通标志牌、规整的建筑物侧立面等)，而很多实际场景中并不存在这样的物体，且对其进行实时感知也须消耗大量的计算资源。
[0005]综上所述，现有针对未知相机外参的工作尚存一些不足，因此本工作将考虑一种自然场景下的车载相机外参在线估计方法。

技术实现思路

[0006]为了在自然场景下实现对车载相机外参的估计，本专利技术提出了一种自然场景下的车载相机外参在线估计方法。本专利技术使用三焦张量构造多帧图像之间的相对位姿关系，通过引入辅助张量对相机的旋转外参与平移外参进行解耦，并使用降阶观测器对标准化之后的张量导数进行在线估计。基于上述信息，实时恢复相机的角速度信息，并结合车辆的角速
度信息设计SO(3)观测器实现对相机旋转外参的在线估计。基于旋转外参的估计值以及车辆的线速度信息，进一步设计非线性观测器实现对相机平移外参的在线估计。
[0007]本专利技术的技术方案是：
[0008]方法包括以下步骤：
[0009]1)选择车载相机所拍摄的具有相同特征点的两帧图像作为两幅关键帧图像，并预设初始相机旋转和平移外参估计值；
[0010]2)利用对极几何约束求取当前两幅关键帧图像的相对旋转矩阵，车载相机拍摄一帧图像作为当前帧图像，接着利用当前帧图像与两幅关键帧图像求解初始三焦张量，再根据当前初始三焦张量和当前两幅关键帧图像的相对旋转矩阵构造初始辅助张量，然后对当前初始三焦张量和初始辅助张量分别进行标准化，获得标准化三焦张量以及标准化辅助张量；
[0011]3)根据当前标准化三焦张量和标准化辅助张量构造降阶观测器，利用降阶观测器对当前标准化三焦张量以及标准化辅助张量的导数进行在线观测，获得当前标准化三焦张量以及标准化辅助张量的导数；
[0012]4)利用车载速度传感器所测量到的车辆角速度、当前标准化辅助张量及标准化辅助张量导数之间的向量叉乘几何关系来恢复相机角速度；
[0013]5)基于已恢复的相机角速度与当前相机旋转外参估计值对车辆实际角速度进行估计并获得车辆角速度估计值；再利用历史时刻的车辆实际角速度以及车辆角速度估计值构造相机旋转外参观测器，利用相机旋转外参观测器不断地对相机旋转外参估计值进行在线校正；
[0014]6)利用历史时刻的车辆实际线速度、角速度以及步骤5)中最新的相机旋转外参估计值、步骤4)所恢复的相机角速度、当前标准化三焦张量以及标准化三焦张量的导数，构造相机平移外参观测器，利用相机平移外参观测器不断地对相机平移外参估计值进行在线校正；
[0015]7)分别提取当前帧图像和两幅关键帧图像的特征点，对三幅图像的特征点进行特征点匹配后获得公共特征点，计算公共特征点的数量与三幅图像中各自特征点数量的比值并分别记为相应的公共匹配比，将最小的公共匹配比与预设匹配阈值进行比较；
[0016]8)当最小的公共匹配比大于预设匹配阈值，则重复步骤2)
‑
7)；否则，则用当前帧图像替换两幅关键帧图像中最早的一幅关键帧图像并更新为新的两幅关键帧图像，接着重复步骤2)
‑
7)；直至相机旋转和平移外参估计值趋于稳定。
[0017]所述步骤2)中，根据当前初始三焦张量和当前两幅关键帧图像的相对旋转矩阵构造初始辅助张量，具体计算公式如下：
[0018][0019]其中，Q
λ(j)
是指初始辅助张量Q
λ
的第j个矩阵，T
λ(j)
是指初始三焦张量T
λ
的第j个矩阵，是指相对旋转矩阵的第j列；[
·
]×
表示求三维向量的斜对称矩阵操作；j＝1，2，3。
[0020]所述步骤2)中，对当前初始三焦张量和初始辅助张量分别进行标准化，具体计算公式如下：
[0021][0022][0023][0024]其中，Q
λ
表示初始辅助张量，T
λ
表示初始三焦张量，Q表示标准化辅助张量，T表示标准化三焦本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自然场景下的车载相机外参在线估计方法，其特征在于，包括以下步骤：1)选择车载相机所拍摄的具有相同特征点的两帧图像作为两幅关键帧图像，并预设初始相机旋转和平移外参估计值；2)利用对极几何约束求取当前两幅关键帧图像的相对旋转矩阵，车载相机拍摄一帧图像作为当前帧图像，接着利用当前帧图像与两幅关键帧图像求解初始三焦张量，再根据当前初始三焦张量和当前两幅关键帧图像的相对旋转矩阵构造初始辅助张量，然后对当前初始三焦张量和初始辅助张量分别进行标准化，获得标准化三焦张量以及标准化辅助张量；3)根据当前标准化三焦张量和标准化辅助张量构造降阶观测器，利用降阶观测器对当前标准化三焦张量以及标准化辅助张量的导数进行在线观测，获得当前标准化三焦张量以及标准化辅助张量的导数；4)利用车载速度传感器所测量到的车辆角速度、当前标准化辅助张量及标准化辅助张量导数之间的向量叉乘几何关系来恢复相机角速度；5)基于已恢复的相机角速度与当前相机旋转外参估计值对车辆实际角速度进行估计并获得车辆角速度估计值；再利用历史时刻的车辆实际角速度以及车辆角速度估计值构造相机旋转外参观测器，利用相机旋转外参观测器不断地对相机旋转外参估计值进行在线校正；6)利用历史时刻的车辆实际线速度、角速度以及步骤5)中最新的相机旋转外参估计值、步骤4)所恢复的相机角速度、当前标准化三焦张量以及标准化三焦张量的导数，构造相机平移外参观测器，利用相机平移外参观测器不断地对相机平移外参估计值进行在线校正；7)分别提取当前帧图像和两幅关键帧图像的特征点，对三幅图像的特征点进行特征点匹配后获得公共特征点，计算公共特征点的数量与三幅图像中各自特征点数量的比值并分别记为相应的公共匹配比，将最小的公共匹配比与预设匹配阈值进行比较；8)当最小的公共匹配比大于预设匹配阈值，则重复步骤2)
‑
7)；否则，则用当前帧图像替换两幅关键帧图像中最早的一幅关键帧图像并更新为新的两幅关键帧图像，接着重复步骤2)
‑
7)；直至相机旋转和平移外参估计值趋于稳定。2.根据权利要求1所述的一种自然场景下的车载相机外参在线估计方法，其特征在于，所述步骤2)中，根据当前初始三焦张量和当前两幅关键帧图像的相对旋转矩阵构造初始辅助张量，具体计算公式如下：其中，Q
λ(j)
是指初始辅助张量Q
λ
的第j个矩阵，T
λ(j)
是指初始三焦张量T
λ
的第j个矩阵，是指相对旋转矩阵的第j列；[
·
]
×
表示求三维向量的斜对称矩阵操作；j＝1，2，3。3.根据权利要求1所述的一种自然场景下的车载相机外参在线估计方法，其特征在于，所述步骤2)中，对当前初始三焦张量和初始辅助张量分别进行标准化，具体计算公式如下：
其中，Q
λ
表示初始辅助张量，T
λ
表示初始三焦张量，Q表示标准化辅助张量，T表示标准化三焦张量，λ表示尺度因子，Q
λ(jkl)
是指初始辅助张量Q
λ
的第j个矩阵Q
λ(j)
在第l列、第k行的元素，j＝1，2，3，k＝1，2，3，l＝1，2，3。4.根据权利要求1所述的一种自然场景下的车载相机外参在线估计方法，其特征在于，所述步骤3)中降阶观测器的公式如下：所述步骤3)中降阶观测器的公式如下：所述步骤3)中降阶观测器的公式如下：所述步骤3)中降阶观测器的公式如下：所述步骤3)中降阶观测器的公式如下：所述步骤3)中降阶观测器的公式如下：其中，表示标准化三焦张量T的导数，为标准化三焦张量导数的估计值，表示标准化辅助张量Q的导数，为标准化辅助张量导数的估计值，λ
T
与λ
Q
分别为标准化三焦张量观测增益与标准化辅助张量观测增益，ξ
T
与ξ
Q
分别是标准化三焦张量观测辅助变量与标准化辅助张量观测辅助变量...

【专利技术属性】
技术研发人员：陈剑，张心放，熊文逸，王麒，
申请(专利权)人：浙江大学，
类型：发明
国别省市：