一种运动目标视频定位测速系统及方法技术方案

本发明专利技术涉及一种运动目标视频定位测速系统及方法，该系统包括M个相机、运动目标检测跟踪模块、运动目标速度识别模块；M个相机的总视场覆盖运动目标的整个运动场景；其中，运动目标检测跟踪模块在YOLO模型目标识别之后增加了基于边缘检测方法将粗略边界框进一步识别，得到目标的精准位置和精准边界框的步骤，再采用DeepSORT方法对精准边界框进行跟踪，提高目标检测定位精度，适用于高精度定位场合。本发明专利技术还提出了“扩展的九点标定法”，实现了大范围较高精度的标定。较高精度的标定。较高精度的标定。

【技术实现步骤摘要】
一种运动目标视频定位测速系统及方法


[0001]本专利技术涉及一种运动目标视频定位测速系统及方法，属于电子行业智能测量领域，提供了运动参数，改进训练方法。

技术介绍

[0002]目前，目标视频定位技术多用于工业场景，测量幅面较小，而针对大幅面的运动场景进行定位测速的应用较少。目标跟踪包含目标检测和跟踪两部分，其中检测是跟踪的基础。一种常用的方式为采取YOLO+DeepSORT的方法，其中YOLO实现目标检测，而DeepSORT实现目标跟踪。其中由于YOLO本身存在定位精度不高的问题，从而不适用于需要高精度定位的场合。

技术实现思路

[0003]本专利技术所解决的技术问题是：克服现有技术的不足，提供一种运动目标视频定位测速系统及方法，提高目标检测定位精度。
[0004]本专利技术的技术方案是：一种运动目标视频定位测速系统，该系统包括M个相机、运动目标检测跟踪模块、运动目标速度识别模块；M个相机的总视场覆盖运动目标的整个运动场景，M大于1；
[0005]相机，在同步采集指令的驱动下，拍摄视场内的图像，形成图像数据帧发送给运动目标检测跟踪模块；
[0006]运动目标检测跟踪模块，采集各相机拍摄的图像，并记录图像采集时间，对各相机拍摄的图像进行畸变校正，采用YOLO模型对同一时刻拍摄的每一张校正后的图像进行目标检测，得到图像中所有运动目标在像素坐标系下的粗略边界框，再基于边缘检测方法，得到各运动目标在像素坐标系下的精确位置和精准边界框，之后，采用DeepSORT算法对同一运动目标不同时刻的精准边界框进行匹配，实现不同时刻各运动目标的精准边界框的跟踪；通过透视投影矩阵将每个运动目标在像素坐标系下的坐标转换为对应相机视场覆盖区域世界坐标系下的坐标，根据各相机视场覆盖区域间的位置关系，计算出各运动目标不同时刻在运动场景全局世界坐标系下的坐标，并发送给运动目标速度识别模块；
[0007]运动目标速度识别模块，将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景世界坐标系下的速度。
[0008]所述运动目标检测跟踪模块采用计算机视觉库opencv中的undistort函数对各相机拍摄的图像进行畸变校正，所述undistort函数如下：
[0009]voidundistort(InputArraysrc，OutputArraydst，InputArraycameraMatrix，InputArraydistCoeffs，InputArraynewCameraMatrix)
[0010]src为原始图像的像素矩阵，dst为校正后的图像的像素矩阵；
[0011]cameraMatrix为相机内参：
[0012][0013]其中，f
x
＝f/dx称为相机x轴方向上的归一化焦距，f
y
＝f/dy称为相机y 轴方向上的归一化焦距，单位为像素；f为相机的焦距，dx、dy分别为像素在相机x、y轴方向上的物理尺寸；(u0，v0)为图像中心在像素坐标系坐标，单位为像素。
[0014]distCoeffs为畸变参数：
[0015]distCoeffs＝[k1，k2，p1，p2，k3][0016]其中，k1为径向畸变二次项系数、k2为径向畸变四次项系数、k3为径向畸变六次项系数；p1、p2分别为第一切向畸变参数、第二切向畸变参数，InputArraynewCameraMatrix为全0矩阵。
[0017]所述相机内参cameraMatrix和畸变参数distCoeffs的标定过程如下：
[0018]S1.1、准备一个张正友标定法棋盘格作为标定板，用相机对标定板进行不同角度的拍摄，得到一组N张棋盘格图像，15≤N≤30；
[0019]S1.2、采用matlab工具箱中的相机标定工具Camera Calibration，加载步骤S1.1拍摄得到的N张棋盘格图像，对棋盘格中的角点进行自动检测，获得角点在像素坐标系下的坐标；
[0020]S1.3、将棋盘格的单元格实际尺寸输入至标定工具Camera Calibration，由标定工具Camera Calibration计算得到角点的世界坐标；
[0021]S1.4、标定工具Camera Calibration根据N张图像中的角点在像素坐标系下的坐标与在世界坐标系下的坐标，进行参数解算，得到相机内参 IntrinsicMatrix、畸变参数distCoeffs。
[0022]优选地，运动目标检测跟踪模块调用计算机视觉库opencv中的perspectiveTransform函数将运动目标在像素坐标系下的坐标转换为相机视场覆盖区域世界坐标系下的坐标。
[0023]优选地，所述透视投影矩阵的获取过程如下：
[0024]S2.1、在运动目标的运动场景布置好相机并固定，使得M个相机的总视场覆盖运动目标的整个运动场景，且相邻相机画面有重叠区域；
[0025]S2.2、定义运动场景的场地平面为全局世界坐标系的XOY平面，在场地平面布置R行C列标志点，标志点的行与全局世界坐标系的X轴平行，标志点的列与全局世界坐标系的Y轴平行，每个标志点上设有菱形图案，菱形图案相对的顶点连线与全局世界坐标系的X轴、Y轴平行，菱形中心点位置作为标志的位置；每个相机视场内包含a2个标志点，标志点以a*a矩阵形式均匀分布，位于周边的各标志点靠近相机视场边缘，相邻相机视场重叠区域包含a个公共标志点；
[0026]S2.3、对于每个相机，选定相机视场内左上角的标志点作为原点，即坐标为(0,0)，建立相机视场区域世界坐标系，测量各个标志点相对于原点的位置，得到a2个标志点在相机视场区域世界坐标系下的坐标；
[0027]S2.4、通过相机拍摄，每个相机得到包含a2个标志点的一张图像；
[0028]S2.5、将相机拍摄的图像进行畸变校正；
[0029]S2.6、确定每个相机拍摄的畸变校正后图像中的a2个标志点在像素坐标系下的坐标；
[0030]S2.7、对于每个相机，将每个标志点在像素坐标系下的坐标和对应相机视场区域世界坐标系下的坐标，记为一组坐标，a2组坐标传入计算机视觉库 opencv中的findHomography函数，计算出相机的透视投影矩阵。
[0031]优选地，确定畸变校正后图像中a2个标志点在像素坐标系下的坐标的具体方法为：
[0032]通过matlab显示畸变校正后图像，使用impixelinfo命令显示鼠标指向的点在图像中的位置，将鼠标指向到菱形标志的中心，得到a2个标志在图像中的位置，将图像中左上角的菱形标志的中心定义为像素坐标系原点，坐标记为(0,0)，将其余a2‑
1个非原点标志点与原点的相对位置，记为其像素坐标系下的坐标。
[0033]优选地，运动目标检测跟踪模块通过如下方法得到各运动目标在像素坐标系下的精确位置和精准边界框：
[0034]S3.1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动目标视频定位测速系统，其特征在于包括M个相机、运动目标检测跟踪模块、运动目标速度识别模块；M个相机的总视场覆盖运动目标的整个运动场景，M大于1；相机，在同步采集指令的驱动下，拍摄视场内的图像，形成图像数据帧发送给运动目标检测跟踪模块；运动目标检测跟踪模块，采集各相机拍摄的图像，并记录图像采集时间，对各相机拍摄的图像进行畸变校正，采用YOLO模型对同一时刻拍摄的每一张校正后的图像进行目标检测，得到图像中所有运动目标在像素坐标系下的粗略边界框，再基于边缘检测方法，得到各运动目标在像素坐标系下的精确位置和精准边界框，之后，采用DeepSORT算法对同一运动目标不同时刻的精准边界框进行匹配，实现不同时刻各运动目标的精准边界框的跟踪；通过透视投影矩阵将每个运动目标在像素坐标系下的坐标转换为对应相机视场覆盖区域世界坐标系下的坐标，根据各相机视场覆盖区域间的位置关系，计算出各运动目标不同时刻在运动场景全局世界坐标系下的坐标，并发送给运动目标速度识别模块；运动目标速度识别模块，将各运动目标不同时刻在运动场景全局世界坐标系下的坐标序列滤波去噪后进行差分处理，得到运动目标在运动场景世界坐标系下的速度。2.根据权利要求1所述的一种运动目标视频定位测速系统，其特征在于运动目标检测跟踪模块采用计算机视觉库opencv中的undistort函数对各相机拍摄的图像进行畸变校正，所述undistort函数形式如下：void undistort(InputArray src,OutputArray dst,InputArray cameraMatrix,InputArray distCoeffs,InputArray newCameraMatrix)src为原始图像的像素矩阵，dst为校正后的图像的像素矩阵；cameraMatrix为相机内参：其中，f
x
＝f/dx称为相机x轴方向上的归一化焦距，f
y
＝f/dy称为相机y轴方向上的归一化焦距，单位为像素；f为相机的焦距，dx、dy分别为像素在相机x、y轴方向上的物理尺寸；(u0,v0)为图像中心在像素坐标系坐标，单位为像素。distCoeffs为畸变参数：distCoeffs＝[k1,k2,p1,p2,k3其中，k1为径向畸变二次项系数、k2为径向畸变四次项系数、k3为径向畸变六次项系数；p1、p2分别为第一切向畸变参数、第二切向畸变参数，InputArray newCameraMatrix为全0矩阵。3.根据权利要求2所述的一种运动目标视频定位测速系统，其特征在于所述相机内参cameraMatrix和畸变参数distCoeffs的标定过程如下：S1.1、准备一个张正友标定法棋盘格作为标定板，用相机对标定板进行不同角度的拍摄，得到一组N张棋盘格图像，15≤N≤30；S1.2、采用matlab工具箱中的相机标定工具Camera Calibration，加载步骤S1.1拍摄得到的N张棋盘格图像，对棋盘格中的角点进行自动检测，获得角点在像素坐标系下的坐标；
S1.3、将棋盘格的单元格实际尺寸输入至标定工具Camera Calibration，由标定工具Camera Calibration计算得到角点的世界坐标；S1.4、标定工具Camera Calibration根据N张图像中的角点在像素坐标系下的坐标与在世界坐标系下的坐标，进行参数解算，得到相机内参IntrinsicMatrix、畸变参数distCoeffs。4.根据权利要求1所述的一种运动目标视频定位测速系统，其特征在于运动目标检测跟踪模块调用计算机视觉库opencv中的perspectiveTransform函数将运动目标在像素坐标系下的坐标转换为相机视场覆盖区域世界坐标系下的坐标。5.根据权利要求4所述的一种运动目标视频定位测速系统，其特征在于所述透视投影矩阵的获取过程如下：S2.1、在运动目标的运动场景布置好相机并固定，使得M个相机的总视...

【专利技术属性】
技术研发人员：赵合，孟祥涛，于向怀，向政，葛宏升，谢星志，
申请(专利权)人：北京航天时代光电科技有限公司，
类型：发明
国别省市：