一种基于高空无人机视频的车辆轨迹和航向角提取方法技术

一种基于高空无人机视频的车辆轨迹和航向角提取方法，1)使用无人机在高空拍摄交通流视频数据，对视频进行视频增稳预处理；2)实施基于数据集的深度学习模型训练，获取旋转目标检测模型YOLOv5

【技术实现步骤摘要】
一种基于高空无人机视频的车辆轨迹和航向角提取方法


[0001]本专利技术涉及车辆图像识别相关
，具体来讲涉及的是一种基于高空无人机视频的车辆轨迹和航向角提取方法。

技术介绍

[0002]无人机航拍作为一种新型的交通流数据获取手段，相比于如地磁感应线圈、视频监控、浮动车、毫米波雷达等其它数据采集方式，具有部署机动灵活、不受地面交通干扰、视角广阔等优势，可以高效率、低风险、低成本地获取从局部到广域的大范围地面交通图像信息。
[0003]随着无人机航拍技术和图像处理算法的进一步发展与融合，无人机航拍正逐渐成为道路交通数据采集的热门工具，基于无人机航拍视频提取的车辆轨迹、车辆航向角等数据可用于交通流特性分析、驾驶行为建模、交通仿真、自动驾驶、设施安全评估等，为道路交通规划、设计、管理领域的相关研究和应用提供了有效的实验手段。
[0004]使用无人机采集交通流视频时，由于受到气流、电机震动、人为操纵等内外多种因素影响，相机会发生随机性扰动，具体表现为视频图像帧与帧之间不同程度的旋转、缩放与抖动，为高精度车辆轨迹数据的提取造成较大影响：一是视频图像随时间发生不规律的平移与旋转，导致无法准确获取由车辆自身运动发生的真实位移，若不将图像旋转与偏移导致的误差剔除，则可能导致无法依靠车辆坐标判断车辆的运动状态，也无法基于车辆轨迹数据计算准确的微观交通参数。二是由于无人机采集的视频图像中车辆目标往往较小，因相机镜头抖动产生的误差很容易影响车辆轨迹数据的精度。
[0005]常用的传统车辆检测方法有背景提取法、光流法等。其中，背景提取法易受光照强度和背景变化干扰，而光流法抗噪性差且计算量较大。相较于传统的目标检测方法，基于深度学习的方法在特征提取和分类回归上有着明显的优势，但是基于深度学习算法的车辆检测往往采用矩形无旋转检测框，若矩形检测框不是车辆的最小外接矩形，在跟踪转弯车辆的轨迹时会造成跟踪中心的偏移，使得轨迹数据产生较大误差，而且检测框大小会随着车辆航向角发生变化，难以获取准确的车辆尺寸信息和车辆航向角信息。

技术实现思路

[0006]为了解决上述现有技术中存在的问题，本专利技术提供了一种高精度车辆轨迹和车辆航向角数据的提取方法，该方法通过采用OpenCV库中既有的图像处理函数完成视频增稳消抖后，基于YOLOv5
‑
R的旋转目标检测算法与基于DeepSort
‑
R的旋转目标跟踪算法获取车辆图像坐标和车辆航向角数据，通过单应性变换模型获取视频图像坐标系与地面坐标系之间的转换矩阵，再将车辆图像坐标转换为地面坐标，并采用EKF平滑算法完成车辆轨迹地面坐标数据和航向角数据的平滑处理，最终获得高精度的车辆轨迹数据和车辆航向角数据。
[0007]本专利技术解决其技术问题所采用的技术方案是：
[0008]一种基于高空无人机视频的车辆轨迹和航向角提取方法，包括有以下步骤：
[0009]步骤1：对无人机在高空拍摄交通流视频进行视频稳像预处理，去除因无人机飞行和高空环境影响导致的抖动；
[0010]步骤2：
[0011](1)车辆目标类别划分：获取无人机交通流视频数据，根据交通流视频中的典型车辆型式并结合自身研究需要，将车辆目标划分成不同类别；
[0012](2)数据集制作：用于训练的数据集可自己制作或者下载符合要求的现有数据集；
[0013](3)模型训练：使用基于pytorch的深度学习框架进行旋转目标检测模型YOLOv5
‑
R的训练，训练完成后获得YOLOv5.pt模型文件；训练次数可以自行设定，当训练结果进入收敛区间时，平均准确率mAP达到90％以上，平均损失average loss在1.6以下且不再下降；
[0014]步骤3：
[0015]对步骤1中经过视频稳像处理后的无人机交通流视频数据中的每一帧图像进行目标检测与跟踪，采用的图像处理算法为基于YOLOv5
‑
R的旋转目标检测算法与基于DeepSort
‑
R的旋转目标跟踪算法；获取的数据包括车辆的平面xy坐标、车辆类别信息、车身尺寸信息、车辆航向角信息和车辆编号ID信息，获取的各类信息分别按车辆ID的先后顺序保存至不同的.csv文件；
[0016]步骤4：
[0017]对步骤3中获取的车辆轨迹和航向角的数据进行数据清洗、平滑降噪预处理；
[0018](1)数据清洗；
[0019]通过计算数据之间的欧氏距离是否小于合理阈值，对目标检测结果进行剔除坏值，去除错误检测数据，修正错误追踪数据；
[0020](2)平滑降噪；
[0021]通过车辆跟踪算法获取的车辆轨迹和航向角数据是离散时间数据，由于目标检测框的偏移、旋转、形变造成车辆检测中心点的偏移和车辆检测框的偏转，使得车辆轨迹和航向角数据产生误差，需要采用离散时间平滑算法对轨迹数据进行平滑降噪；
[0022]步骤5：
[0023]将步骤1中增稳处理后无人机交通流视频数据中的第一帧单独提取为图片，选择建筑物的角点、地面交通标志线段的端点、路灯灯柱清晰可辨的固定参照物的特征点作为锚点，锚点的数量至少为4个，且均匀分布于画面中；将锚点作为坐标转换的控制点，将视频拍摄范围内的道路路面视为一个平面，使用鼠标人工标记出锚点，调用OpenCV获取锚点的屏幕坐标(x
i
,y
i
)，通过谷歌地图获取锚点的地理坐标(x
i
′
,y
i
′
)；图像坐标系与地面坐标系的转换实为两个处于不同平面的二维坐标系之间的转换，调用OpenCV的findHomography算法求解图像坐标系与地理坐标系之间的坐标转换矩阵H；
[0024]将获取的车辆轨迹的图像坐标通过等式(1)计算得到对应的地理坐标，将计算结果按车辆ID序号存入新的csv文件中。
[0025]本专利技术和现有技术相比，其优点在于：
[0026]优点1：本专利技术方法成功克服了无人机高空悬停拍摄过程中因相机抖动对车辆位置检测带来的误差影响，可显著提升车辆轨迹数据的精度。
[0027]优点2：本专利技术方法采用的算法精度高、实时性好、可操作性强、人工工作量小，易于推广使用。
[0028]优点3：与现有其它方法相比，本专利技术采用旋转目标检测与跟踪算法，既提升了车辆轨迹检测的精度，又可以获取传统目标检测算法无法获得的车辆长度、宽度和航向角信息，有利于推动基于无人机视频的车辆轨迹数据的进一步研究与应用，为驾驶行为特征研究、交通流特性分析、微观交通仿真、自动驾驶等研究领域提供宝贵的数据支撑，具有良好的工程应用前景。
[0029]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0030]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高空无人机视频的车辆轨迹和航向角提取方法，其特征在于，包括有以下步骤：步骤1：对无人机在高空拍摄交通流视频进行视频稳像预处理，去除因无人机飞行和高空环境影响导致的抖动；步骤2：(1)车辆目标类别划分：获取无人机交通流视频数据，根据交通流视频中的典型车辆型式并结合自身研究需要，将车辆目标划分成不同类别；(2)数据集制作：用于训练的数据集可自己制作或者下载符合要求的现有数据集；(3)模型训练：使用基于pytorch的深度学习框架进行旋转目标检测模型YOLOv5
‑
R的训练，训练完成后获得YOLOv5.pt模型文件；训练次数可以自行设定，当训练结果进入收敛区间时，平均准确率mAP达到90％以上，平均损失average loss在1.6以下且不再下降；步骤3：对步骤1中经过视频稳像处理后的无人机交通流视频数据中的每一帧图像进行目标检测与跟踪，采用的图像处理算法为基于YOLOv5
‑
R的旋转目标检测算法与基于DeepSort
‑
R的旋转目标跟踪算法；获取的数据包括车辆的平面xy坐标、车辆类别信息、车身尺寸信息、车辆航向角信息和车辆编号ID信息，获取的各类信息分别按车辆ID的先后顺序保存至不同的.csv文件；步骤4：对步骤3中获取的车辆轨迹和航向角的数据进行数据清洗、平滑降噪预处理；(1)数据清洗；通过计算数据之间的欧氏距离是否小于合理阈值，对目标检测结果进行剔除坏值，去除错误检测数据，修正错误追踪数据；(2)平滑降噪；通过车辆跟踪算法获取的车辆轨迹和航向角数据是离散时间数据，由于目标检测框的偏移、旋转、形变造成车辆检测中心点的偏移和车辆检测框的偏转，使得车辆轨迹和航向角数据产生误差，需要采用离散时间平滑算法对轨迹数据进行平滑降噪；步骤5：将步骤1中增稳处理后无人机交通流视频数据中的第一帧单独提取为图片，选择建筑物的角点、地面交通标志线段的端点、路灯灯柱清晰可辨的固定参照物的特征点作为锚点，锚点的数量至少为4个，且均匀分布于画面中；将锚点作为坐标转换的控制点，将视频拍摄范围内的道路路面视为一个平面，使用鼠标人工标记出锚点，调用OpenCV获取锚点的屏幕坐标(x
i
,y
i
)，通过谷歌地图获取锚点的地理坐标(x
′
i
,y
′
i
)；图像坐标系与地面坐标系的转换实为两个处于不同平面的二维坐标系之间的转换，调用OpenCV的findHomography算法求解图像坐标系与地理坐标系之间的坐标转换矩阵H；将获取的车辆轨迹的图像坐标通过等式(1)计算得到对应的地理坐标，将计算结果按车辆ID序号存入新的csv文件中。2.根据权利要求1所述的一种基于高空无人机视频的车辆轨迹和航向角提取方法，其特征在于：步骤1中视频稳像的实现逻辑：
(1)首先抽取视频的第一帧与最后一帧，在第一帧里使用掩膜把路旁建筑物、树木区域覆盖；再分别提取第一帧与最后一帧的特征点，进行特征点匹配，留下交集部分，得到帧中静态物的关键点，即特征模板；然后将特征模板应用到每一帧上，快速地将视频的所有帧对齐到第一帧，实现视频消抖；(2)特征点提取使用的是ORB特征点提取算法，调用OpenCV的ORB模块可以实时提取帧中的特征点；两帧之间的特征点匹配，使用Flann算法，调用OpenCV的FLANN模块来快速获得匹配成功的特征点；对这些静态特征点进行使用Lower
’
s算法进一步筛选优化，获取至少4对优秀的静态特征匹配点；使用特征模板从中筛选出与第一帧画面匹配的静态特征点，调用OpenCV的findHomography算法来计算单应性矩阵H；使用单应性矩阵H，进行两帧之间的透视变换；调用OpenCV的wrapPerspective函数进行帧间图像的透视变换，与前一帧对齐；由于帧在透视变换前后的尺寸不同，造成帧对齐后出现黑边，采用边缘点重复来弥补黑边；将经过处理后的每一帧合并，输出为新的视频。3.根据权利要求1所述的一种基于高空无人机视频的车辆轨迹和航向角提取方法，其特征在于：步骤2中：自己制作的数据集，可以从无人机采集的交通流视频中随机抽取一定数量以上的帧作为原始图片数据，裁剪为统一大小后使用标签工具按照划分的目标类别进行图像标注，即在图片中使用多边形框框选出目标所在位置，并指定其所属类别名称，生成自己的数据集用于模型训练；下载符合要求的现有数据集，需要将图片数据和标签数据按比例划分为训练集、校验集及测试集，将划分好的数据集的voc格式XML标签文件转换为YOLOv5
‑
R模型训练txt标签文件；模型训练txt标签文件格式为：(x1,y1,x2,y2,x3,y3,x4,y4,label,cls)，分别表示旋转检测框的四个角点的图像坐标(x1,y1),(x2,y2),(x3,y3),(x4,y4)，标签label和种类cls。4.根据权利要求1所述的一种基于高空无人机视频的车辆轨迹和航向角提取方法，其特征在于：步骤3中：YOLOv5
‑
R旋转目标检测算法：1、数据的表示方式：YOLOv5正矩形框表示格式为[x,y,w,h]，将YOLOv5模型...

【专利技术属性】
技术研发人员：李晓赫，吴建平，
申请(专利权)人：李晓赫，
类型：发明
国别省市：