本发明专利技术提供一种视觉传感器外参数自动标定方法及装置，该方法包括如下步骤：通过视觉传感器采集图像，提取具有车道线的图像帧数据；检测出各图像帧中的车道线，并根据车道线计算得出道路消失点；根据车道线检测并提取到的图像帧中的全部道路消失点，计算出最优道路消失点；根据得到的最优道路消失点计算出视觉传感器外参数。该装置包括图像采集模块、车道线检测模块、最优消失点计算模块和矫正视觉传感器外参数模块。该方法提出通过检测道路车道线来计算消失点的方案，通过算出的道路消失点求解外参数，实现自动标定外参数，以及在复杂场景下初始标定外参数失效时对标定外参数的矫正，标定可靠，效率高，准确度和精度更高。准确度和精度更高。准确度和精度更高。
【技术实现步骤摘要】
视觉传感器外参数自动标定方法及装置
[0001]本专利技术涉及无人驾驶
，具体涉及一种视觉传感器外参数自动标定方法及装置。
技术介绍
[0002]在无人驾驶技术中，例如自动驾驶或无人机等的系统，主要包括大模块、感知、认知和控制等方面。这个顺序其实也正是一项操作进行的顺序，首先需要对环境进讲行准确的感知，然后对信息进行理，最后向汽车的控制系统发出指令，实现具体的功能。
[0003]在感知模块当中，传感器是最重要的硬件。目前的传感器也有许多种类，除了各种各样的雷达之外，例如，激光雷达、毫米波雷达，视觉传感器如摄像机也是必不可少的。基于计算机视觉技术的车载视觉传感器能够对环境中的很多物体进行感知，甚至有一部分人认为随着计算机视觉的发展，激光雷达并非是必需品。
[0004]基于摄像机前视ADAS系统方案的前提都要基于摄像机较精确的标定，如测距，PCW(行人碰撞预警)，LDW（车道偏离警告）等功能对标定精度要求较高。目前大多都采用人工标定的方案即在摄像机安装固定时将摄像机内外参数标定出来，这种方案机人工标定外参数的方案效率低以及人工标定的带来的误差不稳定性较高；而且多数人工标定都是初始化标定设置，但在面对复杂道路场景（比如上下坡，道路颠簸，加速急刹）时初始化标定的外参数可能因为误差较大导致失效。
[0005]车道线检测是 LDW, LKA (车道居中辅助系统)的基础，也是ADAS 领域中的技术关键点，车道线检测的精度和准确性直接影响LDW, LKA 的功能，现有主流的two
‑
stage 车道线检测方法先特征提取，再后处理拟合存在效率低，无法有效提取图像全局特征，存在车道线检测的稳定性和准确性以及适应复杂场景能力不足等问题。普通的基于CNN，RNN 等深度学习神经网络的端到端车道线检测方法又存在模型普遍较大，算力要求很高，难以落地应用到车载芯片上进行实时检测等问题。
技术实现思路
[0006]鉴于此，提供一种视觉传感器外参数自动标定方法及装置，以解决视觉传感器人工标定外参数的效率低以及人工标定的带来的误差不稳定性较高的问题；有效缓解面对复杂场景初始化标定参数失效问题，能够进行实时的自动标定和面对失效场景的标定矫正。
[0007]一种视觉传感器外参数自动标定方法，包括如下步骤：通过视觉传感器采集图像，提取具有车道线的图像帧数据；检测出各图像帧中的车道线，并根据车道线计算得出道路消失点；根据车道线检测并提取到的图像帧中的全部道路消失点，计算出最优道路消失点；根据得到的最优道路消失点计算出视觉传感器外参数。
[0008]在一些具体实施方案中，所述检测出各图像帧中的车道线包括通过基于
Transfomer结构的端到端车道线检测神经网络进行参数预测，同时通过端到端车道线检测神经网络得出图像坐标系下的车道线方程参数，来检测图像帧中的车道线，所述车道线方程公式为：式中，(u,v)表示为在图像中的像素坐标，、、、、、是视觉传感器的内部和外部参数。
[0009]在一些优选实施方案中，在检测得到各图像帧中的车道线后根据所检测的车道线方程计算消失点时，预先通过先验约束条件判断车道线是否是直线，若为直线则根据车道线方程计算消失点，若不是直线则跳过计算消失点，对下一图像帧进行判断处理。
[0010]在具体实施方案中，在基于Transfomer结构的端到端车道线检测神经网络应用于检测出各图像帧中的车道线的步骤时，所述端到端车道线检测神经网络采用纯注意力机制结构和非共享曲率参数，并进行以下改进的训练：（1）将车道线采样点稀疏采样方式改成远端密近端疏不均匀采样进行训练；（2）将各条车道线的损失权重系数调成一致。
[0011]在具体实施方案中，所述最优消失点计算是通过聚类算法模型进行，具体包括如下步骤：将连续多个图像帧的道路消失点输入于聚类算法模型，通过DBSCAN聚类算法估计出最优道路消失点；其中，在进行聚类算法前预先依据先验约束条件判定根据检测车道线方程计算得到的该图像帧的道路消失点是否满足加入消失点聚类池，若满足则加入聚类池进行计算，若不满足则视为干扰噪声点，跳过加入聚类池，对下一图像帧进行判断处理。
[0012]在一些优选的具体实施方案中，所述端到端车道线检测模型是基于减量的Resnet18结构进行的，在减量的Resnet18结构中，通过减少通道数和减少特征提取层的参数以避免过拟合，通过浅层特征增加通道，深层特征减少通道，以增强网络对车道线空间结构特征提取；其中， ResNet18输出通道切割为16、32、64、128四个块，并将下采样系数设置为8，以强化神经网络主干对输入图像提取低分辨率特征能力；其中，对车道线的高级空间表示进行编码为H
×
W
×
C；在构建用于编码器输入的序列时将该特征在空间维度上展平，得到尺寸为HW
×
C的序列S，其中HW表示序列的长度，C表示频道的数量，将该序列S作为编码器的输入。
[0013]以及，一种视觉传感器外参数自动标定装置，其包括：图像采集模块，通过视觉传感器采集图像，提取具有车道线的图像帧数据；车道线检测模块，用于检测出各图像帧中的车道线以及检测出道路消失点；最优消失点计算模块，根据车道线检测并提取到的图像帧中的全部道路消失点，计算出最优道路消失点；矫正视觉传感器外参数模块，根据得到的最优道路消失点计算出视觉传感器外参数。
[0014]在一些优选的具体实施方案中，所述车道线检测模块包括基于Transfomer结构的端到端车道线检测神经网络模块，所述基于Transfomer结构的端到端车道线检测神经网络
模块通过端到端车道线检测神经网络得出图像坐标系下的车道线方程参数并根据车道线方程计算出各图像帧中的道路消失点；其中，在检测各图像帧中的车道线时进一步预先通过先验约束条件判断车道线是否是直线，若为直线则根据车道线方程计算道路消失点，若不是直线则跳过计算消失点，对下一图像帧进行判断处理，所述车道线方程公式为：式中，(u,v)表示为在图像中的像素坐标，、、、、、是视觉传感器的内部和外部参数。
[0015]在一些优选的具体实施方案中，所述最优消失点计算模块采用聚类算法模型，所述最优消失点计算模块将连续多个图像帧的道路消失点输入于聚类算法模型，通过DBSCAN聚类算法计算出最优道路消失点；其中，在进行聚类算法前预先依据先验约束条件判定图像帧的道路消失点是否满足加入消失点聚类池条件，若满足则加入聚类池进行计算，若不满足则对下一图像帧进行判断处理。
[0016]在一些优选的具体实施方案中，在基于Transfomer结构的端到端车道线检测神经网络应用于检测出各图像帧中的车道线的步骤时，所述端到端车道线检测神经网络采用纯注意力机制结构和非共享曲率参数，并进行以下改进的训练：（1）将车道线采样点稀疏采样方式改成远端密近端疏不均匀采样进行训练；（2）将各条车道线的损失权重系数调成一致；其中，所述端到端车道线检测模型是基于减量的Resnet18结构进行的，在减量的Res本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视觉传感器外参数自动标定方法，其特征在于，包括如下步骤：通过视觉传感器采集图像，提取具有车道线的图像帧数据；检测出各图像帧中的车道线，并根据车道线计算得出道路消失点；根据车道线检测并提取到的图像帧中的全部道路消失点，计算出最优道路消失点；根据得到的最优道路消失点计算出视觉传感器外参数。2.如权利要求1所述的视觉传感器外参数自动标定方法，其特征在于，所述检测出各图像帧中的车道线包括通过基于Transfomer结构的端到端车道线检测神经网络进行参数预测，同时通过端到端车道线检测神经网络得出图像坐标系下的车道线方程参数，来检测图像帧中的车道线，所述车道线方程公式为：式中，(u,v)表示为在图像中的像素坐标，、、、、、是视觉传感器的内部和外部参数。3.如权利要求2所述的视觉传感器外参数自动标定方法，其特征在于，在检测得到各图像帧中的车道线后根据所检测的车道线方程计算消失点时，预先通过先验约束条件判断车道线是否是直线，若为直线则根据车道线方程计算消失点，若不是直线则跳过计算消失点，对下一图像帧进行判断处理。4.如权利要求2所述的视觉传感器外参数自动标定方法，其特征在于，在基于Transfomer结构的端到端车道线检测神经网络应用于检测出各图像帧中的车道线的步骤时，所述端到端车道线检测神经网络采用纯注意力机制结构和非共享曲率参数，并进行以下改进的训练：（1）将车道线采样点稀疏采样方式改成远端密近端疏不均匀采样进行训练；（2）将各条车道线的损失权重系数调成一致。5.如权利要求2所述的视觉传感器外参数自动标定方法，其特征在于，所述最优消失点计算是通过聚类算法模型进行，具体包括如下步骤：将连续多个图像帧的道路消失点输入于聚类算法模型，通过DBSCAN聚类算法估计出最优道路消失点；其中，在进行聚类算法前预先依据先验约束条件判定根据检测车道线方程计算得到的该图像帧的道路消失点是否满足加入消失点聚类池，若满足则加入聚类池进行计算，若不满足则视为干扰噪声点，跳过加入聚类池，对下一图像帧进行判断处理。6.如权利要求5所述的视觉传感器外参数自动标定方法，其特征在于，所述端到端车道线检测模型是基于减量的Resnet18结构进行的，在减量的Resnet18结构中，通过减少通道数和减少特征提取层的参数以避免过拟合，通过浅层特征增加通道，深层特征减少通道，以增强网络对车道线空间结构特征提取；其中， ResNet18输出通道切割为16、32、64、128四个块，并将下采样系数设置为8，以强化神经网络主干对输入图像提取低分辨率特征能力；其中，对车道线的高级空间表示进行编码为H
×
W
×
C；在构建用于编码器输入的序列时将该特征在空间维度上展平，得到尺寸为HW
×
C的序列S，其中HW表示序列的长度，...
【专利技术属性】
技术研发人员：孙浩，聂荣佶，
申请(专利权)人：深圳安智杰科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。