一种基于轨迹溯源的雷视自动标定方法技术

本发明专利技术公开了一种基于轨迹溯源的雷视自动标定方法，该方法通过视频监控设备获取图像并输入至卷积模型进行目标识别，得到每个检测目标的状态信息；通过对目标检测区域进行图像校正，得到初始变换矩阵；取雷达多帧多个目标状态信息并进行轨迹统计；分析视频目标和雷达目标轨迹信息逆推车道信息；依据目标所在车道信息和纵向相对位置信息进行两坐标系关联，依据车道信息进行模块区域划分，依据关联信息及模块区域进行计算，得到雷视透视变换矩阵。本发明专利技术方法依据轨迹溯源检测目标的车道信息，并依据目标前后相对位置准确关联不同坐标系的两个目标，改善了手动标定选点的低效率，范围窄，点漂移等缺点，实现快速、高效的自动标定。高效的自动标定。高效的自动标定。

【技术实现步骤摘要】
一种基于轨迹溯源的雷视自动标定方法


[0001]本专利技术属于智能交通检测领域，特别是多视角区域校正领域，尤其涉及一种基于轨迹溯源的雷视自动校正方法。

技术介绍

[0002]近年来，各种交通出行工具的与日俱增，使得道路使用日渐饱和，由此“智慧城市”建设地位的日益提高，对城市道路交通的实时监控及调控尤为关键，雷达和视频相结合的道路检测器应运而生，解决了单一检测器受环境限制带来的弊端。但是，雷视检测器的关键在于两者信息的融合，而将二者坐标系的准确关联是准确融合的前提。
[0003]现有的关联方式基本为：获取一段时间内的雷达和图像采集视频，通过人眼观察和手动选点的方式，实现目标点对的选取，然后进行透视变换矩阵的计算，此方法存在以下弊端：少量目标进行选点较为准确，涉及多个目标时，由于检测视角的不同，并且雷达对静止目标检测不准，造成二者目标点数无法匹配，无法准确的进行点对对应；人工点击选点时，容易出现点对的偏移，造成坐标平面的求解出现误差；透视变换矩阵的求解凭借多组点对拟合求得，并且点对要求不共线，人工无法做到全面覆盖，使得标定效果不理想，造成重复标定，浪费时间且结果不准确。

技术实现思路

[0004]本专利技术的目的在于针对上述人工手动标定的缺点，提供一种基于轨迹溯源的雷视自动标定方法，采用基于深度学习的检测方法进行视频目标检测，采用图像区域校正为图像轨迹溯源做准备，对雷达和视频的目标轨迹信息进行图像分割逆推目标车道信息，关联雷达和视频同一车道内相对位置目标，设定车道分模块区域阈值并进行相应的透视变换矩阵计算。本专利技术既保证关联点的全覆盖性，又保证了选点位置的非漂移，还确保了点对对应的准确性，实现了雷视标定的自动化、高效率、高准确。
[0005]实现本专利技术目的的技术解决方案为：一种基于轨迹溯源的雷视自动标定方法，，所述方法包括以下步骤：
[0006]步骤1，采集雷达目标检测点状态信息，包括位置、速度和状态；
[0007]步骤2，采集雷达同时刻的视频图像，加载目标检测模型，并将视频图像输入目标检测模型进行目标检测，获取检测目标状态信息，包括位置、类别和尺寸；
[0008]步骤3，选择视频检测区域，利用透视变换对该检测区域进行校正，得到第一变换矩阵，利用透视变换矩阵将视频检测目标变换至第一校正坐标系；
[0009]步骤4，统计阈值时间t内的视频和雷达目标轨迹，分别分析雷达和视频目标的轨迹图进行车道逆推，并计算雷达坐标系的车道基准线和检测区域边界，对雷达和视频车道进行等量模块划分；
[0010]步骤5，依据车道编号和纵向排队位置进行雷视坐标系点对选取，并根据车道模块区域覆盖状况结束点对选取，之后依据点对群计算最终的变换矩阵。
[0011]进一步地，步骤1中雷达目标雷达检测点状态信息为点云聚类分析后所得的结构化数据。
[0012]进一步地，步骤2中目标的检测框架为darknet，目标检测模型为利用训练集训练后的yolov3
‑
tiny模型，训练数据集来源于不同的交通数据场景并依据检测目标类型进行标定，并在推理过程即模型验证中使用TensorRT加速推理框架加速推理。
[0013]进一步地，步骤3具体为：以车道线为前基准选择不规则检测区域，利用此区域角点计算第一变换矩阵，并且利用此矩阵实现检测区域的映射变换；
[0014]其中第一变换矩阵求解公式为：
[0015][0016]式中，x
img1
和y
img1
为校正后的坐标，带入数据为图像帧的四个顶点坐标，x
img0
和y
img0
为选择的检测区域的坐标，带入数据为检测区域的四个顶点坐标，M1为第一变换矩阵。
[0017]进一步地，步骤4中分析轨迹图进行车道逆推具体包括：
[0018]步骤5
‑
1，对雷达和视频目标轨迹图进行二值化处理；
[0019]步骤5
‑
2，对步骤5
‑
1的二值化图进行进一步close图像处理；
[0020]步骤5
‑
3，使用canny算子及粒子面积滤波实现车道区域划分，从左至右进行车道编号，并将每个车道划分为n个区域模块。
[0021]进一步地，步骤4中计算雷达坐标系的车道基准线和检测区域边界：对雷达目标轨迹进行纵向轨迹累积，获得累积曲线，使用三次B样条曲线方程对累积曲线进行平滑处理，叠加后的数据从两侧向中心开始取极值点，以此确定雷达检测区域的左右边界及下边界；
[0022]其中，纵向累积公式为：
[0023][0024]图像的尺寸为m
×
n，纵向叠加后为m
×
1的一维数据，(x
i
,y
i
)为第i列的叠加数据，(x
i
,y
i
)为原始图像第i行第j列的像素值；
[0025]其中，左右边界及下边界的确定方式为：左右极值点的x值作为左右边界及下边界两端x值，左右极值点的y值较小者作为下边界及左右边界的y值。
[0026]进一步地，步骤5中依据车道编号和纵向排队位置进行雷视坐标系点对选取以及结束点对选取，具体为：对每帧采集的数据目标进行车道归类，并分别针对视频车道和雷达车道内的检测目标进行纵向排序，并对检测区域模块与检测目标区域进行对应，当且仅当两坐标系下的检测目标车道编号和模块编号均对应上时，选取点对目标并将其插入目标对队列，当每个区域模块均有目标点对对应时，结束目标点对选取，计算最终的透视变换矩阵。
[0027]本专利技术与现有技术相比，其显著优点为：
[0028](1)本专利技术选择轨迹逆推的方法，基于目标确定相对位置的条件下进行点对选取，克服了人工选点多目标出现时，无法准确获得与既定视频目标点相对应的雷达点。
[0029](2)本专利技术选用视频检测框的中心下边缘作为检测目标点，充分考虑了视频检测
目标因尺寸原因导致的选点不在一平面，由此造成的目标漂移和变道的问题，相比于人工机选点作为视频目标检测点，增强了透视变换的准确性。
[0030](3)本专利技术对于雷达坐标系逆推车道时，以停止线为车道前边缘，充分考虑视频和雷达由于视角造成的目标不统一，确保了目标的一一对应。
[0031](4)考虑了视频检测的目标的类型，当一个雷达模块区域对应多个检测目标时，而视频检测模块区域只有一个检测目标时，可根据类型提出多余点。
[0032]相比于现有技术，该方法依据目标的相对位置进行准确点对选取，针对性强，鲁棒性高。
[0033]下面结合附图对本专利技术作进一步详细描述。
附图说明
[0034]图1为一个实施例中基于轨迹溯源的雷视自动标定方法的流程示意图。
[0035]图2为一个实施例中基于轨迹溯源的雷视自动标定方法的雷达目标轨迹示意图。
[0036]图3为一个实施例中基于轨迹溯源的雷视自动标定方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轨迹溯源的雷视自动标定方法，其特征在于，所述方法包括以下步骤：步骤1，采集雷达目标检测点状态信息，包括位置、速度和状态；步骤2，采集雷达同时刻的视频图像，加载目标检测模型，并将视频图像输入目标检测模型进行目标检测，获取检测目标状态信息，包括位置、类别和尺寸；步骤3，选择视频检测区域，利用透视变换对该检测区域进行校正，得到第一变换矩阵，利用透视变换矩阵将视频检测目标变换至第一校正坐标系；步骤4，统计阈值时间t内的视频和雷达目标轨迹，分别分析雷达和视频目标的轨迹图进行车道逆推，并计算雷达坐标系的车道基准线和检测区域边界，对雷达和视频车道进行等量模块划分；步骤5，依据车道编号和纵向排队位置进行雷视坐标系点对选取，并根据车道模块区域覆盖状况结束点对选取，之后依据点对群计算最终的变换矩阵。2.根据权利要求1所述的基于轨迹溯源的雷视自动标定方法，其特征在于，步骤1中雷达目标雷达检测点状态信息为点云聚类分析后所得的结构化数据。3.根据权利要求1所述的基于轨迹溯源的雷视自动标定方法，其特征在于，步骤2中目标的检测框架为darknet，目标检测模型为利用训练集训练后的yolov3
‑
tiny模型，训练数据集来源于不同的交通数据场景并依据检测目标类型进行标定，并在推理过程即模型验证中使用TensorRT加速推理框架加速推理。4.根据权利要求1所述的基于轨迹溯源的雷视自动标定方法，其特征在于，步骤3具体为：以车道线为前基准选择不规则检测区域，利用此区域角点计算第一变换矩阵，并且利用此矩阵实现检测区域的映射变换；其中第一变换矩阵求解公式为：式中，x
img1
和y
img1
为校正后的坐标，带入数据为图像帧的四个顶点坐标，x
img0
和y
img0
为选择的检测区域的坐标，带入数据为检测区域的四个顶点坐标，M1为第一变换矩阵。5.根据权利要求1所述的基于轨迹溯源的雷视自动标定方法，其特征在于，步骤4中分析轨迹图进行车道逆推具体包括：步骤5
‑
1，对雷达和视频目标轨迹图进行二值化处理；步骤5
‑
2，对步骤5
‑
1的二值化图进行进一步close图像处理；步骤5
‑
3，使用canny算子及粒子面积滤波实现车道区域划分，从左至右进行车道编号，并将每个车道划分为n个区域模块。6.根据权利要求1所述的基于轨迹溯源的雷视自动标定方法，其...

【专利技术属性】
技术研发人员：乜灵梅，张宇杰，章涛涛，孙浩凯，李东升，缪卓芸，
申请(专利权)人：连云港杰瑞电子有限公司，
类型：发明
国别省市：