一种基于目标跟踪的雷视自动标定方法技术

本发明专利技术公开了一种基于目标跟踪的雷视自动标定方法，包括：采集雷达目标检测点状态信息；采集视频图像，进行目标检测，获取检测目标状态信息；进行视频目标跟踪，通过跟踪状态筛选出动态跟踪目标；进行雷达目标跟踪，通过速度阈值筛选雷达动态跟踪目标；依据当前帧雷视动态跟踪目标数目、均值映射率和目标点对数，判断是否结束标定过程。本发明专利技术方法依据目标跟踪，去掉静态目标和虚假目标的干扰，利用相对位置选点实现了自动坐标点关联，并依据透视变换矩阵的不断回代来确定选点的准确性，改善了手动标定选点的耗时长、效率低、标定点对数目少等缺点，也避免了过于复杂的图像处理带来的误差，实现了快速、高效的自动标定。高效的自动标定。高效的自动标定。

【技术实现步骤摘要】
一种基于目标跟踪的雷视自动标定方法


[0001]本专利技术属于智能交通检测领域，特别是多视角区域校正领域，尤其涉及一种基于目标跟踪的雷视自动标定方法。

技术介绍

[0002]近年来，随着“智慧城市”的发展，传统的交通监控手段，例如地感线圈、地磁、断面微波等已经不能满足交通管理者的需求，现有交通需要实时大区域检测、及时报警、全天候工作以及高精度检测。视频交通检测传感器是面检测，但是受到天气影响较大，无法实现全天候检测。毫米波雷达检测器检测精度很高，但是不便检测静态目标，雷视一体检测器可以实现优势互补，实现全天候、全方位的精确检测。而雷达和视频两种传感器优势互补的前提是精准融合，因此两个坐标系需要密切关联。
[0003]现有的关联方式基本为：人工肉眼手动选取目标点，然后进行透视变换矩阵的计算，此方法存在以下弊端：少量目标进行选点较为准确，涉及多个目标时，由于检测视角的不同，并且雷达对静止目标检测不准，造成二者目标点数无法匹配，无法准确的进行点对对应；人工点击选点时，容易出现点对的偏移，造成坐标平面的求解出现误差；透视变换矩阵的求解凭借多组点对拟合求得，并且点对要求不共线，人工无法做到全面覆盖，使得标定效果不理想，造成重复标定，浪费时间且结果不准确。除此之外，还有的方法采用神经网络进行模型训练，然后实现自动标定，这种方法在场景切换后就需要重新训练模型，并且模型训练需要很大的数据量支撑，不满足实时行，也无法做到精准关联。
[0004]为此，提出一种高效的自动标定方法是十分有必要的，此过程的核心在于，如何应对选取目标点时出现的虚假点检测、不同传感器器针对性的目标检测、目标遮挡、目标拆分等情况。

技术实现思路

[0005]本专利技术的目的在于针对上述雷视标定缺陷，提供一种基于目标跟踪的雷视自动标定方法，采用基于深度学习的检测方法进行视频目标检测，对雷达目标和视频目标分别进行跟踪处理，并依据状态进行目标筛选，进而进行变换矩阵的求解，并不断的进行矩阵回代，实现矩阵迭代优化。该专利技术从目标状态出发，不局限于当前帧的目标数据，利用跟踪信息避免了虚假点的干扰，利用速度阈值剔除静态目标的影响，利用迭代映射率防止了选点错误，总之该方法为雷视目标精准融合提供了一种可靠性思路。
[0006]实现本专利技术目的的技术解决方案为：一种基于目标跟踪的雷视自动标定方法，所述方法包括以下步骤：
[0007]步骤1，采集雷达目标检测点状态信息，包括位置、速度和状态；
[0008]步骤2，采集视频图像，加载目标检测模型，将视频图像输入检测模型进行目标检测，获取检测目标状态信息，包括位置、类别、尺寸；
[0009]步骤3，进行视频目标跟踪，通过跟踪状态筛选出动态跟踪目标；
[0010]步骤4，进行雷达目标跟踪，通过速度阈值筛选雷达动态跟踪目标；
[0011]步骤5，判断当前帧雷视动态跟踪目标数目是否一致，若不一致，返回步骤1，否则，关联对应位置目标，并计算透视变换矩阵，将该矩阵进行数据回带，若均值映射率小于等于预设阈值TH1，则剔除当前帧加入的目标点对，否则判断目标点对数是否大于预设阈值N，若是则结束标定过程，否则返回步骤1。
[0012]进一步地，步骤1中所述雷达目标雷达检测点状态信息为点云聚类分析后所得的结构化数据，包括位置、速度，状态，表示目标点至雷达感测器实际的相对位置。
[0013]进一步地，步骤2中目标的检测框架为darknet，目标检测模型为利用coco训练集训练后的yolov3模型，并在推理过程中使用TensorRT加速推理框架加速推理。
[0014]进一步地，步骤3中所述视频目标跟踪具体包括：
[0015]步骤3
‑
1，建立一个视频目标跟踪器；
[0016]步骤3
‑
2，利用步骤2得到的检测目标状态信息进行不同时刻目标的前后关联，关联方法为：
[0017]步骤3
‑2‑
1，计算视频目标跟踪器中目标与当前帧目标检测框的交并比：
[0018][0019]其中，A
i
为视频目标跟踪器中第i个目标的检测框，B
j
为当前帧第j个目标的检测框，i的取值为1到m，m为视频目标跟踪器中目标总数，j的取值为1到n，n为当前帧检测的目标总数；
[0020]步骤3
‑2‑
2，通过匈牙利匹配方法和步骤3
‑2‑
1计算得到的交并比计算最佳目标匹配者，具体为：将1
‑
I
OU(i，j)
作为匈牙利匹配过程中的输入参数，得到最佳目标匹配者；
[0021]步骤3
‑2‑
3，关联前后帧视频目标，即关联视频目标跟踪器中的目标与最佳目标匹配者。
[0022]进一步地，步骤3中通过跟踪状态筛选出动态跟踪目标，具体包括：设定交并比阈值th0，当交并比大于th0时，表示检测目标近乎静止状态，雷达目标无法检测出，剔除此类目标；当交并比在0
‑
th0之间时，表示检测目标为动态，将其加入视频目标跟踪器中，更新视频跟踪目标信息，包括运动状态、匹配帧数、位置、尺寸和类型。
[0023]进一步地，步骤4中进行雷达目标跟踪具体包括：
[0024]步骤4
‑
1，建立雷达目标跟踪器；
[0025]步骤4
‑
2，利用步骤1得到的目标检测点状态信息进行不同时刻目标的前后关联，方法如下：
[0026]步骤4
‑2‑
1，计算雷达目标跟踪器中目标与当前帧目标的欧式距离：
[0027][0028]其中，(A
i
'x，A
i
'y)为雷达目标跟踪器中第i个目标的坐标，(B'
j
x，B'
j
y)为当前帧第j个目标的坐标；
[0029]步骤4
‑2‑
2，通过匈牙利匹配方法和步骤4
‑2‑
1计算得到的欧式距离计算最佳目标匹配者，具体为：将Dis
i,j
作为匈牙利匹配过程中的输入参数，得到最佳目标匹配者；
[0030]步骤4
‑2‑
3，关联前后帧雷达目标，即关联雷达目标跟踪器中的目标与最佳目标匹
配者。
[0031]进一步地，步骤4中通过速度阈值筛选雷达动态跟踪目标，具体为：设置速度阈值和匹配帧数阈值，当目标速度大于速度阈值时，表示检测目标为动态目标，否则为静态目标，将静态目标剔除；之后根据匹配帧数，剔除假点目标，具体地：当匹配帧数小于匹配帧数阈值，表明为假点目标。
[0032]进一步地，步骤5中关联对应位置目标具体为：在雷视两坐标系当前帧筛选目标数相等的情况下，依据相对位置，先对目标进行纵向排序，然后再进行横向排序，由此求解出相对位置排序，之后将相应位置上的点对进行关联，并加入坐标点对队列，基于所有的点对数据计算透视变化矩阵。
[0033]进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标跟踪的雷视自动标定方法，其特征在于，所述方法包括以下步骤：步骤1，采集雷达目标检测点状态信息，包括位置、速度和状态；步骤2，采集视频图像，加载目标检测模型，将视频图像输入检测模型进行目标检测，获取检测目标状态信息，包括位置、类别、尺寸；步骤3，进行视频目标跟踪，通过跟踪状态筛选出动态跟踪目标；步骤4，进行雷达目标跟踪，通过速度阈值筛选雷达动态跟踪目标；步骤5，判断当前帧雷视动态跟踪目标数目是否一致，若不一致，返回步骤1，否则，关联对应位置目标，并计算透视变换矩阵，将该矩阵进行数据回带，若均值映射率小于等于预设阈值TH1，则剔除当前帧加入的目标点对，否则判断目标点对数是否大于预设阈值N，若是则结束标定过程，否则返回步骤1。2.根据权利要求1所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤1中所述雷达目标雷达检测点状态信息为点云聚类分析后所得的结构化数据，包括位置、速度，状态，表示目标点至雷达感测器实际的相对位置。3.根据权利要求1所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤2中目标的检测框架为darknet，目标检测模型为利用coco训练集训练后的yolov3模型，并在推理过程中使用TensorRT加速推理框架加速推理。4.根据权利要求1所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤3中所述视频目标跟踪具体包括：步骤3
‑
1，建立一个视频目标跟踪器；步骤3
‑
2，利用步骤2得到的检测目标状态信息进行不同时刻目标的前后关联，关联方法为：步骤3
‑2‑
1，计算视频目标跟踪器中目标与当前帧目标检测框的交并比：其中，A
i
为视频目标跟踪器中第i个目标的检测框，B
j
为当前帧第j个目标的检测框，i的取值为1到m，m为视频目标跟踪器中目标总数，j的取值为1到n，n为当前帧检测的目标总数；步骤3
‑2‑
2，通过匈牙利匹配方法和步骤3
‑2‑
1计算得到的交并比计算最佳目标匹配者，具体为：将1
‑
I
OU(i，j)
作为匈牙利匹配过程中的输入参数，得到最佳目标匹配者；步骤3
‑2‑
3，关联前后帧视频目标，即关联视频目标跟踪器中的目标与最佳目标匹配者。5.根据权利要求4所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤3中通过跟踪状态筛选出动态跟踪目标，具体包括：设定交并比阈值th0，当交并比大于th0时，表示检测目标近乎静止状态，雷达目标无法检测出，剔除此类目标；当交并比在0
‑
th0之间时，表示检测目标为动态，将其加入视频目标跟踪器中，更新视频跟踪目标信息，包括运动状态、匹配帧数、位置、尺寸和类型。6.根据权利要求1所述的基于目标跟踪的雷视自动标定方法，其特征在于，步骤4中进行雷达目标跟踪具体包括：步骤4
‑
1，建立雷达目标跟踪器；
步骤4<...

【专利技术属性】
技术研发人员：关夏，乜灵梅，张宇杰，章涛涛，孙浩凯，李东升，缪卓芸，
申请(专利权)人：连云港杰瑞电子有限公司，
类型：发明
国别省市：