基于多元非线性回归的多路摄像头视频目标经纬度计算方法技术

本发明专利技术公开了基于多元非线性回归的多路摄像头视频目标经纬度计算方法：包括如下步骤：针对路口的多个摄像头分别标定若干个像素点值和其经纬度数据；通过多元非线性回归算法对标定的数据训练生成多项式特征模型；通过目标检测算法模型和目标追踪算法模型得到视频目标检测的像素位置坐标框和目标的唯一ID；计算目标在视频图像中前后两帧质心的运动方向，确定目标像素值坐标；利用训练好的多项式特征模型计算视频目标像素值坐标的经纬度。本发明专利技术通过多项式回归算法训练来学习多路摄像头图像像素点和经纬度坐标点的映射关系并保存成模型，可兼容多源的摄像头感知设备，也能得到精确且平滑的运动目标经纬度。精确且平滑的运动目标经纬度。精确且平滑的运动目标经纬度。

【技术实现步骤摘要】
基于多元非线性回归的多路摄像头视频目标经纬度计算方法


[0001]本专利技术涉及智慧交通感知
，具体而言，涉及基于多元非线性回归的多路摄像头视频目标经纬度计算方法。

技术介绍

[0002]随着“智慧城市”的兴起和人工智能技术的高速发展，传统的靠人工监控交通路口参与者(人、机动车以及非机动车等)的感知技术和方法，已经完全被摄像头、雷达这类具有智能化、高精度、全天候工作的感知传感器所取代。在实际应用场景中为了实现雷达和摄像头的优势互补，需要将多源的雷达和摄像头视频数据进行充分匹配、融合，实现路口参与者的精准感知。雷视融合技术中一个重要且通用的方法就是基于视频目标的经纬度和雷达目标经纬度进行匹配、融合。针对多路摄像头视频目标检测数据来计算其经纬度就显得尤为重要，很大程度上决定了最终雷视融合的精度。
[0003]对于交通路口的运动目标，在相机保持位置不变的情况下，运动目标的实际经纬度和对应覆盖摄像头的视频图像上像素坐标之间存在映射关系。解决坐标映射转换问题的常用方法有求解单应矩阵和网格近距离匹配插值计算。
[0004]单应矩阵最少只需要四组视频像素点和实际经纬度对应点就可以求解，但是针对多路摄像头覆盖的路口，无法用单个矩阵来映射表示。另外在摄像头内外参标定过程中的各种几何畸变(径向畸变、切向畸变等)在实际中往往很难完全校正，这也会导致单应矩阵的失效。而网格近距离匹配插值需要按照网格化的方式在各个摄像头覆盖区域的标定多组视频像素点和实际经纬度对应点，像素距离相近目标在匹配到同一个网格点进行插值计算出的经纬度轨迹不平滑，存在目标聚集成堆的现象。
[0005]有鉴于此，特提出本申请。

技术实现思路

[0006]本专利技术要解决的技术问题是单应矩阵无法用单个矩阵来映射表示多路摄像头，另外各种几何畸变在实际中难完全校正，导致单应矩阵的失效，而网格近距离匹配插值计算存在像素距离相近目标在匹配到同一个网格点进行插值计算出的经纬度轨迹不平滑，存在目标聚集成堆的现象，目的在于提供基于多元非线性回归的多路摄像头视频目标经纬度计算方法，采用多项式回归模型训练时，综合考虑了多路摄像头ID和像素值坐标作为影响因素，在训练过程中学习每个摄像头对应的像素值和经纬度坐标的映射关系，能够在兼容多路摄像头情况下，同时能保证经纬度的计算精度和移动轨迹的平滑度。
[0007]本专利技术通过下述技术方案实现：
[0008]基于多元非线性回归的多路摄像头视频目标经纬度计算方法，包括如下步骤：
[0009]步骤一，针对路口的多个摄像头分别标定若干个像素点值和其对应经纬度数据；
[0010]步骤二，通过多元非线性回归算法将标定的数据训练生成具有多项式特征的模型；
[0011]步骤三，通过目标检测算法模型和目标追踪算法模型得到视频目标检测的像素位置坐标框和目标的唯一ID；
[0012]步骤四，通过计算目标在视频图像中前后两帧质心的运动方向，确定目标的像素值坐标；
[0013]步骤五，利用训练好的多项式特征模型计算视频目标像素值坐标的经纬度并输出。
[0014]本专利技术基于多元非线性回归算法，将自变量X与因变量Y之间的关系建模为N次多项式的一种线性回归形式，多项式回归拟合了X值与Y值之间的非线性关系，记为F(X|Y)，此方法在各个摄像头覆盖区域的标定多组视频像素点和实际经纬度对应点，将不同源摄像头ID、像素点坐标值等作为自变量X，经纬度坐标作为因变量Y，通过多项式回归算法训练来学习多路摄像头图像像素点和经纬度坐标点的映射关系并保存成模型，通过输入目标所在摄像头ID和图像像素点坐标，模型即可计算得到该目标的经纬度。与现有方法相比，本专利技术可兼容多源的摄像头感知设备，也能得到精确且平滑的运动目标经纬度。
[0015]在某一实施方式中，步骤二中，通过多元非线性回归算法将标定的数据训练生成多项式特征模型的具体步骤如下：
[0016]1)构建多元非线性回归算法：
[0017]在线性回归模型中添加新的特征值，即需要计算的像素值的经纬度，包括x1，x2，x3三个特征值，x1表示放置的摄像头ID，x2表示图像像素点x轴坐标，x3表示图像像素点y轴坐标，w1、w2、w3分别为对应权重值，b为偏差值，则图像像素点经度或纬度表示为以下线性模型：
[0018]y＝w1×
x1+w2×
x2+w3×
x3+b；
[0019]2)数据预处理：
[0020]将步骤一中采集的数据进行格式处理；
[0021]3)加载数据进行训练并保存模型。
[0022]在某一实施方式中，步骤1)中的多元非线性回归算法，采用非线性回归(Non
‑
linear Regression)、多项式回归(Polynomial Regression)、岭回归(Ridge Regression)或弹性网络回归(ElasticNet Regression)。
[0023]在某一实施方式中，所述图像目标检测算法模型采用R
‑
CNN，Fast R
‑
CNN，Faster R
‑
CNN，CenterNet，YOLO系列、SSD系列或EfficientDet系列。
[0024]在某一实施方式中，所述目标追踪算法模型采用IOU，NvDCF，SORT，Deep SORT，BoT
‑
SORT或ByteTrack。
[0025]在某一实施方式中，目标检测算法模型和目标追踪算法模型输出的结果包括目标唯一ID和视频目标检测的像素位置坐标框；
[0026]所述视频目标检测的像素位置坐标框包括目标在图像中左上角的x轴和y轴坐标、目标在图像中右下角的x轴和y轴坐标。
[0027]在某一实施方式中，步骤四中，通过计算目标在视频图像中前后两帧质心的运动方向确定目标像素值坐标的具体步骤如下：
[0028]如果目标在当前视频中首次出现时，直接选取目标像素位置坐标框的质心位置计算目标像素值坐标。
[0029]在某一实施方式中，
[0030]如果目标在当前视频中不是首次出现，则执行以下步骤：
[0031]通过目标的唯一ID，计算目标在视频图像中前后两帧质心的运动方向，设定目标在相邻前、后两帧图像中的质心像素坐标分别为P1(x1，y1)和P2(x2，y2)，计算得到当前目标质心的运动方向向量：
[0032][0033]根据目标质心运动方向向量与x轴的正方向夹角进行关联计算，向量与x轴正向的反
[0034]余弦函数值V为：
[0035][0036]由于余弦函数的取值范围为[
‑
1,1]，将反余弦函数值转换为弧度时需要进行如下判断：
[0037]当向量的y
‘
≥0时，向量与x轴正向的夹角弧度θ为：
[0038][0039]当向量的y
‘
<0时，向量与x轴正向的夹角弧度θ为：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多元非线性回归的多路摄像头视频目标经纬度计算方法，其特征在于，包括如下步骤：步骤一，针对路口的多个摄像头分别标定若干个像素点值和其对应经纬度数据；步骤二，通过多元非线性回归算法将标定的数据训练生成具有多项式特征的模型；步骤三，通过目标检测算法模型和目标追踪算法模型得到视频目标检测的像素位置坐标框和目标的唯一ID；步骤四，通过计算目标在视频图像中前后两帧质心的运动方向，确定目标的像素值坐标；步骤五，利用训练好的多项式特征模型计算视频目标像素值坐标的经纬度并输出。2.根据权利要求1所述的基于多元非线性回归的多路摄像头视频目标经纬度计算方法，其特征在于，步骤二中，通过多元非线性回归算法将标定的数据训练生成多项式特征模型的具体步骤如下：1)构建多元非线性回归算法：在线性回归模型中添加新的特征值，即需要计算的像素值的经纬度，包括x1，x2，x3三个特征值，x1表示放置的摄像头ID，x2表示图像像素点x轴坐标，x3表示图像像素点y轴坐标，w1、w2、w3分别为对应权重值，b为偏差值，则图像像素点经度或纬度表示为以下线性模型：y＝w1×
x1+w2×
x2+w3×
x3+b；2)数据预处理：将步骤一中采集的数据进行格式处理；3)加载数据进行训练并保存模型。3.根据权利要求2所述的基于多元非线性回归的多路摄像头视频目标经纬度计算方法，其特征在于，步骤1)中的多元非线性回归算法，采用非线性回归(Non
‑
linear Regression)、多项式回归(Polynomial Regression)、岭回归(Ridge Regression)或弹性网络回归(ElasticNet Regression)。4.根据权利要求1所述的基于多元非线性回归的多路摄像头视频目标经纬度计算方法，其特征在于，所述图像目标检测算法模型采用R
‑
CNN，Fast R
‑
CNN，Faster R
‑
CNN，CenterNet，YOLO。5.根据权利要求1所述的基于多元非线性回归的多路摄像头视频目标经纬度计算方法，其特征在于，所述目标追踪算法模型采用IOU，NvDCF，SORT，Deep SORT，BoT
‑
SORT或ByteTrack。6.根据权利要求5所述的基于多元非线性回归的多路摄像头视频目标经纬度计算方法，其特征在于，目标检测算法模型和目标追踪算法模型输出的结果包括目标唯一ID和视频目标检测的像素位置坐标框；所述视频目标检测的像素位置坐标框包括目标在图像中左上角的x轴和y轴坐标、目标在图像中右下角的x轴和y轴坐标...

【专利技术属性】
技术研发人员：张亮，张楠，
申请(专利权)人：车路通科技成都有限公司，
类型：发明
国别省市：