本发明专利技术公开了一种基于无人机单目视觉的车辆全自动测速方法、系统及装置，所述方法包括以下步骤：首先将无人机在空中悬停，拍摄行车区域的视频并提取ROI区域，并对获得的视频进行晃动补偿，去除视频帧的非正常偏移；然后通过Yolo_v3算法对各视频帧进行车辆检测，获得车辆的边界框，并通过Deep_SORT算法对提取到的车辆进行跟踪，得到视频视野内每辆被检测车辆的轨迹线；最后通过车辆边界框的平均长度和现实中车辆的平均长度得到距离参考，并基于距离参考和像素速度计算车辆的速度。本发明专利技术可以仅凭借无人机单目视觉全自动获取车辆行驶速度，不需要额外的人工操作。不需要额外的人工操作。不需要额外的人工操作。
【技术实现步骤摘要】
一种基于无人机单目视觉的车辆全自动测速方法、系统及装置
[0001]本专利技术涉及检测、跟踪及全自动测速领域，尤其涉及一种基于无人机单目视觉的车辆检测、跟踪及全自动测速方法。
技术介绍
[0002]车辆检测、跟踪及全自动测速的工作分成三块：(1)对视频中车辆的进行逐帧检测，并用边界框来标记；(2)从第二帧开始对检测到的车辆进行特征匹配，前后匹配成功可认为被算法跟踪，画出被跟踪车辆的轨迹线；(3)对每一辆被跟踪的车辆计算其速度。目前通用的做法为：利用Faster RCNN、Yolo、SSD等检测算法和等跟踪算法实现对车辆的检测及跟踪，并使用外部的雷达等设备进行测速，或者使用视觉方法进行测速。
[0003]现有技术存在的缺点在于：(1)Faster RCNN等两阶段模型较为复杂，运行速度较慢；(2)部分跟踪算法在跟踪的过程中由于遮挡会出现ID switch问题；(3)使用外部雷达进行测速存在速度与车辆之间的匹配问题，往往需要人工处理，而使用视觉的方法往往需要相机保持特定的角度或者需要人工标定特定物体的长度作为距离参考。
技术实现思路
[0004]本专利技术的目的在于，克服现有技术存在的技术缺陷，解决检测速度问题、跟踪精度问题和全自动测速问题，提出一种基于无人机单目视觉的车辆检测、跟踪及全自动测速方法。
[0005]本专利技术的目的是通过以下技术方案来实现的：第一方面，本专利技术提供了一种基于无人机单目视觉的车辆全自动测速方法，包括如下步骤：
[0006](1)无人机在空中悬停，拍摄行车区域的视频并提取感兴趣ROI区域；
[0007](2)对获得的视频帧进行晃动补偿，去除视频帧的非正常偏移；
[0008](3)通过Yolo_v3模型对各晃动补偿后的视频帧进行车辆检测，获得车辆的边界框(Bounding Box)。
[0009](4)通过Deep_SORT算法对提取到的车辆进行跟踪，得到视频视野内每辆被检测车辆的轨迹线；
[0010](5)基于车辆的边界框以及车辆的轨迹线，对车辆进行全自动速度估计，包括以下步骤：
[0011](5.1)对视频的第一帧进行标定，得到两个灭点(Vanishing Point)，并计算校正单应性矩阵(Rectification Homography)；
[0012](5.2)将步骤(3)中获取的边界框和步骤(4)中获取的轨迹线变换到校正域下，并统计车辆边界框的平均长度和像素速度；
[0013](5.3)通过车辆边界框的平均长度和现实中车辆的平均长度得到距离参考；
[0014](5.4)基于距离参考和像素速度计算车辆的速度。
[0015]进一步地，步骤(3)中，采用Yolo_v3模型对视频帧进行检测，用NMS(非极大值抑制)剔除低于置信度阈值的检测框，保留高于置信度阈值的检测框，且只保留车辆相关的标签，包括car、bus、truck，屏蔽其他标签。
[0016]进一步地，步骤(4)的具体过程如下：首先，通过Yolo_v3检测算法得到车辆的位置，之后通过卡尔曼滤波器预测车辆在下一帧的位置，然后将预测的位置与下一帧实际检测到的位置通过匹配特征算子计算特征，得到相邻两帧车辆的特征相似度，最后利用匈牙利匹配得到相邻帧的对应ID，从而得到轨迹线。
[0017]进一步地，步骤(5.1)中，通过对视频的第一帧进行边缘提取和霍夫直线变换，并采用随机抽样一致性RANSAC算法挑选局内点inlier，获得最优直线，得到沿着车道线方向和垂直于车道线方向上的两个灭点，并计算校正单应性矩阵(Rectification Homography)。
[0018]进一步地，步骤(5.3)中，先统计前20辆普通小车(不包含公交车、卡车等)的边界框平均长度，单位为像素点，再统计市面上主流车企生产的小车的平均长度，单位为米，从而计算得到距离参考，单位为米/像素点。
[0019]第二方面，本专利技术还提供了一种基于无人机单目视觉的车辆全自动测速系统，包含基于Yolo_v3的车辆检测模块、基于Deep_SORT的车辆跟踪模块和全自动速度估计模块；
[0020]所述基于Yolo_v3的车辆检测模块用于基于无人机获取的行车区域的视频采用单阶段模型Yolo_v3进行车辆的检测，获得车辆的边界框(Bounding Box)；
[0021]所述基于Deep_SORT的车辆跟踪模块用于采用Deep_SORT算法进行车辆的跟踪，得到视频视野内每辆被检测车辆的轨迹线；
[0022]所述全自动速度估计模块用于对视频的第一帧进行标定，得到两个灭点(Vanishing Point)，并计算校正单应性矩阵(Rectification Homography)，将车辆边界框和轨迹线变换到校正域下，并统计车辆边界框的平均长度和像素速度，通过车辆边界框的平均长度和现实中车辆的平均长度得到距离参考，基于距离参考和像素速度计算车辆的速度。
[0023]第三方面，本专利技术还提供了一种基于无人机单目视觉的车辆全自动测速装置，该装置包括视频采集系统、数据处理中心、显示器；所述视频采集系统与所述数据处理中心的通讯连接、所述数据处理中心与所述显示器的通讯连接；
[0024]所述视频采集系统包括无人机及其相机镜头，用于拍摄行车区域的视频并提取感兴趣ROI区域；
[0025]所述数据处理中心包括高性能GPU服务器、存储器，所述高性能GPU服务器用于对获得的视频帧进行晃动补偿，去除视频帧的非正常偏移，对各晃动补偿后的视频帧进行车辆检测，获得车辆的边界框(Bounding Box)，通过Deep_SORT算法对提取到的车辆进行跟踪，得到视频视野内每辆被检测车辆的轨迹线，基于车辆的边界框的车辆的轨迹线，对车辆进行全自动速度估计；所述GPU服务器计算得到结果后传输给所述存储器；
[0026]所述存储器将计算结果进行存储并向所述显示器提供显示的内容。
[0027]本专利技术的有益效果：
[0028]1)采用Deep_SORT算法进行车辆的跟踪，引入特征匹配降低ID switch出现的几率，原版的匹配特征算子是针对人脸训练得到，为了更好的应用于车辆，通过车辆分类数据
集重新训练了匹配特征算子。
[0029]2)提出了基于无人机单目视觉的全自动车辆测速方法，其中的关键是全自动计算距离参考，先统计前20辆普通小车(不包含公交车、卡车等)的边界框平均长度，单位为像素点，再统计市面上主流车企生产的小车的平均长度，单位为米，从而计算得到距离参考，单位为米/像素点。
附图说明
[0030]图1是根据本专利技术实施例的基于无人机单目视觉的车辆全自动测速方法的总体流程图。
[0031]图2是根据本专利技术实施例的匹配特征算子示意图。
[0032]图3是本专利技术实施例的基于无人机单目视觉的车辆全自动测速系统的整体原理框图。
[0033]图4是根据本专利技术实施例的装置示意图。
具体实施方式
[0034]下面详本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于无人机单目视觉的车辆全自动测速方法，其特征在于，包括如下步骤：(1)无人机在空中悬停，拍摄行车区域的视频并提取感兴趣ROI区域；(2)对获得的视频帧进行晃动补偿，去除视频帧的非正常偏移；(3)通过Yolo_v3模型对各晃动补偿后的视频帧进行车辆检测，获得车辆的边界框(Bounding Box)。(4)通过Deep_SORT算法对提取到的车辆进行跟踪，得到视频视野内每辆被检测车辆的轨迹线；(5)基于车辆的边界框以及车辆的轨迹线，对车辆进行全自动速度估计，包括以下步骤：(5.1)对视频的第一帧进行标定，得到两个灭点(Vanishing Point)，并计算校正单应性矩阵(Rectification Homography)；(5.2)将步骤(3)中获取的边界框和步骤(4)中获取的轨迹线变换到校正域下，并统计车辆边界框的平均长度和像素速度；(5.3)通过车辆边界框的平均长度和现实中车辆的平均长度得到距离参考；(5.4)基于距离参考和像素速度计算车辆的速度。2.根据权利要求1所述的一种基于无人机单目视觉的车辆全自动测速方法，其特征在于，步骤(3)中，采用Yolo_v3模型对视频帧进行检测，用NMS(非极大值抑制)剔除低于置信度阈值的检测框，保留高于置信度阈值的检测框，且只保留车辆相关的标签，包括car、bus、truck，屏蔽其他标签。3.根据权利要求1所述的一种基于无人机单目视觉的车辆全自动测速方法，其特征在于，步骤(4)的具体过程如下：首先，通过Yolo_v3检测算法得到车辆的位置，之后通过卡尔曼滤波器预测车辆在下一帧的位置，然后将预测的位置与下一帧实际检测到的位置通过匹配特征算子计算特征，得到相邻两帧车辆的特征相似度，最后利用匈牙利匹配得到相邻帧的对应ID，从而得到轨迹线。4.根据权利要求1所述的一种基于无人机单目视觉的车辆全自动测速方法，其特征在于，步骤(5.1)中，通过对视频的第一帧进行边缘提取和霍夫直线变换，并采用随机抽样一致性RANSAC算法挑选局内点inlier，获得最优直线，得到沿着车道线方向和垂直于车道线方向上的两个灭点，并计算校正单应性矩阵(Rectification Homography)。5.根据权利要求1所述的一种基于无人机单目视觉的...
【专利技术属性】
技术研发人员：何泽威，陆哲明，崔家林，马龙华，路精保，练斌，田冠中，
申请(专利权)人：浙江大学宁波五位一体校区教育发展中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。