基于多目标跟踪的卡丁车比赛行为分析方法技术

本发明专利技术公开了基于多目标跟踪的卡丁车比赛行为分析方法，首先，检测图像中卡丁车的位置，绘制卡丁车外接矩形检测框，提取图像特征；通过卡尔曼滤波预测卡丁车的运动状态；利用图像特征和检测框进行相似度计算，输出相似度矩阵并进行匹配，完成对卡丁车的多目标跟踪；之后对卡丁车赛道进行场景标定，实现像素坐标与其在真实世界中点的坐标之间的互相转换，输出卡丁车在真实世界中的坐标变化，形成完整的运动轨迹和速度时序变化，再将运动轨迹输入到网络中训练，得到卡丁车行为分析结果。本发明专利技术的方法，可以识别卡丁车的比赛行为，并记录有车辆碰撞、超车、缠斗等精彩行为的画面，还可记录同一画面多辆车的运动轨迹，分析多辆卡丁车之间的比赛行为。间的比赛行为。间的比赛行为。

Analysis method of Kart Race behavior based on multi-target tracking

【技术实现步骤摘要】
基于多目标跟踪的卡丁车比赛行为分析方法


[0001]本专利技术属于视觉目标跟踪
，具体涉及一种基于多目标跟踪的卡丁车比赛行为分析方法。

技术介绍

[0002]在各种汽车类运动中，卡丁车具有速度快、体积小、轨迹多变等特点，人们无法准确判断卡丁车的运动行为、测量卡丁车的运动速度，运动轨迹无法保留，经常错过比赛过程中的精彩画面。因此，需要对卡丁车进行检测、跟踪、分析，从而获得卡丁车比赛过程中的一些精彩运动信息。
[0003]常用的线圈检测器方法，只能定点检测经过的卡丁车，功能比较单一，并且安装维护时需要破坏卡丁车赛道。雷达、红外探测等方法相关设备昂贵，只能识别是否有卡丁车经过，测得其速度。利用GPS的方法需要配合其他相关设备，且在室内GPS信号会受到影响。以上方法的使用范围受到很多限制。
[0004]通过计算机视觉技术对卡丁车比赛的监控视频进行分析可以采集多种信息，而且开发和维护成本较低，可以广泛应用。由于监控系统汇集了大量的视频，视频中存在一些无可利用信息的片段，利用深度学习目标检测技术，可以排除监控视频中存在的冗余视频片段，相较于传统的运动目标检测技术，可以排除其它非目标的运动物体的影响。

技术实现思路

[0005]本专利技术的目的是提供基于多目标跟踪的卡丁车比赛行为分析方法，解决现有技术中存在的卡丁车比赛中无法准确识别运动行为的问题。
[0006]本专利技术所采用的技术方案是，基于多目标跟踪的卡丁车比赛行为分析方法，具体按照以下步骤实施：
[0007]步骤1，制作卡丁车目标检测数据集，并训练卡丁车目标检测所需的YOLOv3网络权重；
[0008]步骤2，选取待处理的卡丁车监控视频，读取视频的第一帧图像，利用YOLOv3目标检测网络和步骤1训练得到的网络权重，检测视频帧图像中的卡丁车的位置，并绘制每辆卡丁车的外接矩形检测框，提取卡丁车的图像特征；
[0009]步骤3，读取视频的第二帧图像，利用YOLOv3目标检测网络和网络权重，检测视频帧图像中的卡丁车的位置，绘制卡丁车的外接矩形检测框，提取卡丁车的图像特征；然后通过卡尔曼滤波预测卡丁车的运动状态；
[0010]步骤4，将步骤2和步骤3得到的图像特征和检测框进行相似度计算，输出相似度矩阵；
[0011]步骤5，采用匈牙利算法以及步骤4得出的相似度矩阵对历史帧检测框ID和当前预测框进行匹配，完成对卡丁车的多目标跟踪；
[0012]步骤6，采用直接线性变换法对卡丁车赛道进行场景标定，实现视频中的像素坐标
与其在真实世界中点的坐标之间进行互相转换，输出卡丁车在真实世界中的坐标变化；
[0013]步骤7，重复步骤3至步骤6，直到读取完视频中的图像，输出每辆卡丁车在视频中完整的运动轨迹和速度时序变化，并保存到csv格式的文件中；
[0014]步骤8，将步骤7中有车辆碰撞、超车、缠斗行为的卡丁车运动轨迹csv文件输入到LSTM网络中训练，直到网络的损失函数趋于收敛，保存训练得到的权重；
[0015]步骤9，通过训练好的LSTM网络，读取步骤7中卡丁车跟踪得到的csv格式轨迹和速度数据，输出包括碰撞、超车、缠斗或无特殊行为分类标签，即可得到该视频中卡丁车行为分析结果。
[0016]本专利技术的特点还在于，
[0017]步骤1中，具体过程如下：
[0018]步骤1.1，将卡丁车监控视频拆分成帧图像，通过labelimg目标检测标注工具将每一帧图像中的卡丁车进行数据标注，形成卡丁车检测数据集；
[0019]其中，标注的信息有filename：图片的文件名；name：标注物体名称；xmin、ymin：卡丁车位置的左上角坐标；xmax、ymax：卡丁车位置的右下角坐标；
[0020]步骤1.2，使用YOLOv3网络对步骤1.1制作的卡丁车检测数据集进行训练，直到损失函数趋于收敛，保存训练好的网络权重文件。
[0021]步骤4中，具体为：将步骤2和步骤3的检测框提取到的两帧图像特征进行余弦距离计算；将步骤3卡尔曼滤波算法预测的检测框和步骤2中的检测框进行马氏距离计算，把这两个距离进行融合输入到相似度计算的矩阵里面，输出相似度矩阵。
[0022]步骤8中，具体为：
[0023]步骤8.1，将目标跟踪得到的卡丁车比赛行为轨迹和速度数据，按照时序排列存放到.csv文件中；
[0024]步骤8.2，使用python编程读入.csv文件，并存放到数据结构list中；以one
‑
hot的方式对数据标签进行编码，[1,0,0]表示碰撞，[0,0,1]表示超车，[0,1,0]表示缠斗；
[0025]步骤8.3，将数据和标签转成tensorflow框架所支持的张量形式，传输给LSTM网络并且加入注意力机制训练，将训练好的网络权重保存为.h5文件。
[0026]本专利技术的有益效果是，本专利技术的方法，可以识别卡丁车的比赛行为和记录有车辆碰撞、超车、缠斗等精彩行为的画面，提供车手和观众回顾、观赏和留念；还可以识别记录同一画面多辆车的运动轨迹，分析多辆卡丁车之间的行为；较传统方法来说能够使卡丁车检测的精度更高、效率更高、智能化程度更高，排除其他非目标运动物体的干扰。
附图说明
[0027]图1是本专利技术基于多目标跟踪的卡丁车比赛行为分析方法的流程图；
[0028]图2是本专利技术方法中卡丁车跟踪结果图；
[0029]图3是本专利技术方法中卡丁车行为分析结果图。
具体实施方式
[0030]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0031]本专利技术基于多目标跟踪的卡丁车比赛行为分析方法，如图1所示，具体按照以下步
骤实施：
[0032]步骤1，制作卡丁车目标检测数据集，并训练卡丁车目标检测所需的YOLOv3网络权重，具体过程如下：
[0033]步骤1.1，将卡丁车监控视频拆分成帧图像，通过labelimg目标检测标注工具将每一帧图像中的卡丁车进行数据标注，形成卡丁车检测数据集；
[0034]其中，标注的信息有filename：图片的文件名；name：标注物体名称(卡丁车)；xmin、ymin：卡丁车位置的左上角坐标；xmax、ymax：卡丁车位置的右下角坐标；
[0035]步骤1.2，使用YOLOv3网络对步骤1.1制作的卡丁车检测数据集进行训练，直到损失函数趋于收敛，保存训练好的网络权重文件；
[0036]步骤2，选取待处理的卡丁车监控视频，读取视频的第一帧图像，利用YOLOv3目标检测网络和步骤1训练得到的网络权重，检测视频帧图像中的卡丁车的位置，并绘制每辆卡丁车的外接矩形检测框(ROI)，提取卡丁车的图像特征；
[0037]步骤3，读取视频的第二帧图像，利用YOLOv3目标检测网络和步骤1训练得到的网络权重，检测视频帧图像中的卡丁车的位置，并绘制每辆卡丁车的外接矩形检测框(ROI)，提取卡丁车的图像特征；然后通过卡尔曼滤波预测卡丁本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多目标跟踪的卡丁车比赛行为分析方法，其特征在于，具体按照以下步骤实施：步骤1，制作卡丁车目标检测数据集，并训练卡丁车目标检测所需的YOLOv3网络权重；步骤2，选取待处理的卡丁车监控视频，读取视频的第一帧图像，利用YOLOv3目标检测网络和步骤1训练得到的网络权重，检测视频帧图像中的卡丁车的位置，并绘制每辆卡丁车的外接矩形检测框，提取卡丁车的图像特征；步骤3，读取视频的第二帧图像，利用YOLOv3目标检测网络和网络权重，检测视频帧图像中的卡丁车的位置，绘制卡丁车的外接矩形检测框，提取卡丁车的图像特征；然后通过卡尔曼滤波预测卡丁车的运动状态；步骤4，将步骤2和步骤3得到的图像特征和检测框进行相似度计算，输出相似度矩阵；步骤5，采用匈牙利算法以及步骤4得出的相似度矩阵对历史帧检测框ID和当前预测框进行匹配，完成对卡丁车的多目标跟踪；步骤6，采用直接线性变换法对卡丁车赛道进行场景标定，实现视频中的像素坐标与其在真实世界中点的坐标之间进行互相转换，输出卡丁车在真实世界中的坐标变化；步骤7，重复步骤3至步骤6，直到读取完视频中的图像，输出每辆卡丁车在视频中完整的运动轨迹和速度时序变化，并保存到csv格式的文件中；步骤8，将步骤7中有车辆碰撞、超车、缠斗行为的卡丁车运动轨迹csv文件输入到LSTM网络中训练，直到网络的损失函数趋于收敛，保存训练得到的权重；步骤9，通过训练好的LSTM网络，读取步骤7中卡丁车跟踪得到的csv格式轨迹和速度数据，输出包括碰撞、超车、缠斗或无特殊行为的分类标签，即可得到卡丁车行为分析结果。2.根据权利要求1所述的基于...

【专利技术属性】
技术研发人员：吴学毅，刘伟，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：