一种融合追踪与检索算法的路面病害识别方法技术

本发明专利技术公开了一种融合追踪与检索算法的路面病害识别方法，包括：根据汽车在包含目标物体的路面上移动的视频填充多边形，获取撞线；对视频的每帧图像进行预处理，得到预处理图像；基于YOLOv5网络和DeepSort构建MOT模型，基于预处理图像、视频、包含视频中路面位置信息的GPS文件和MOT模型，获取预测框和预测框经过撞线时的相撞地理位置；获取最佳撞线和预测框经过最佳撞线时对应视频中的相撞帧图像和相撞帧图像中的预测框图像，继而获取道路病害类型标签，道路病害类型标签用于识别路面病害。本发明专利技术提供了一种路面病害识别方法，避免了重复标注或目标丢失问题，提高了运算速度、模型自动化效率和确定路面病害的精准度。模型自动化效率和确定路面病害的精准度。模型自动化效率和确定路面病害的精准度。

【技术实现步骤摘要】
一种融合追踪与检索算法的路面病害识别方法


[0001]本专利技术属于道路检测
，具体涉及一种融合追踪与检索算法的路面病害识别方法。

技术介绍

[0002]高频图像或视频数据采集逐渐应用于道路检测领域，基于多源及众包数据的应用场景为管理部门的数据分析带了精度、泛用性和效率的挑战。
[0003]已有目标检测模型尤其是模型的主干网络(backbone)并没有重大突破，所以推测算法的提升更多的来自机器学习技巧的应用，尤其是模型融合技巧，通过多种模型的融合推理，可以显著提升模型的识别精度，但这种技巧只能用于特定数据集并且模型
‑
推理速度很慢，难以用于实际生产工作。
[0004]目前对路面病害识别效果显著并且成熟的人工智能算法模型有Cascade
‑
RCNN为首的RCNN系列目标检测模型和YOLOv3等YOLO系列目标检测模型。在公开的数据分析比赛中，获得第一名的队伍算法用的是YOLOv5模型以及集成预测、模型融合等技巧，而参赛前十名的大多数队伍使用的是YOLO系列模型以及一些比较通用的数据增强技巧如随机剪裁、图像转换等。

技术实现思路

[0005]本专利技术提出了一种融合追踪与检索算法的路面病害识别方法，旨在通过YOLOv5网络与DeepSort构建MOT模型，采用YOLOv5网络对目标物体进行检测，采用DeepSort对预测框进行跟踪，减少模型运算量，提高模型运算速度，避免目标重复标注或者目标丢失；通过直接引入GPS文件，省去人工上传的步骤，提高模型自动化效率；通过不断调整撞线位置获取最佳撞线，提高确定路面病害的精准度。
[0006]为实现上述目的，本专利技术提供了如下方案：本专利技术提供一种融合追踪与检索算法的路面病害识别方法，具体如下：
[0007]S1、根据汽车在包含目标物体的路面上移动时的视频填充多边形，获取撞线；
[0008]S2、对所述视频中的每帧图像进行预处理操作，得到预处理图像；
[0009]S3、基于YOLOv5网络和DeepSort，构建MOT模型；
[0010]S4、基于所述预处理图像和所述MOT模型，获取所述目标物体的预测框；
[0011]S5、基于所述视频、包含所述视频中所述路面位置信息的GPS文件和所述MOT模型，获取所述预测框经过所述撞线时的相撞地理位置；
[0012]S6、基于所述相撞地理位置，获取最佳撞线；
[0013]S7、基于所述预测框和所述最佳撞线，获取所述预测框经过所述最佳撞线时对应所述视频中的相撞帧图像和所述相撞帧图像中的预测框图像；
[0014]S8、基于所述相撞帧图像和所述预测框图像，获取道路病害类型标签，所述道路病害类型标签用于识别所述路面的路面病害。
[0015]优选的，所述S1中获取所述撞线，包括以下步骤：
[0016]S1.1、根据所述视频的尺寸，填充多边形；
[0017]S1.2、将所述多边形缩放到预定尺寸，得到所述撞线。
[0018]优选的，所述S2中得到所述预处理图像的方法包括：
[0019]S2.1、在所述每帧图像的周围生成灰条，得到初步预处理图像；
[0020]S2.2、对所述初步预处理图像进行格式转换、归一化处理和添加维度操作，得到所述预处理图像。
[0021]优选的，所述S4中获取所述预测框，包括以下步骤：
[0022]S4.1、基于所述MOT模型中所述的YOLOv5网络的主干特征提取网络对所述预处理图像进行特征提取，获取初步有效特征层；
[0023]S4.2、基于所述MOT模型中所述的YOLOv5网络的特征金字塔对所述初步有效特征层进行加强特征提取，获取加强有效特征层；
[0024]S4.3、基于所述MOT模型中所述的YOLOv5网络的预测网络对所述加强有效特征层进行预测，获取所述预测框。
[0025]优选的，所述S4.2中所述加强特征提取的方法包括：上采样特征融合和下采样特征融合。
[0026]优选的，所述S5中获取所述相撞地理位置，包括以下步骤：
[0027]S5.1、根据所述视频，获取所述视频的每帧帧数、帧率FPS和创建时间，计算得到所述视频的每帧实际时间：
[0028]所述每帧实际时间＝所述创建时间+所述每帧帧数/所述帧率FPS；
[0029]S5.2、对所述GPS文件进行解析，获取所述GPS文件中的有效信息；
[0030]S5.3、基于所述MOT模型中的所述DeepSort对所述预测框进行追踪，获取追踪结果；
[0031]S5.4、基于所述有效信息、所述每帧实际时间和所述追踪结果，得到所述预测框经过所述撞线时的所述相撞地理位置。
[0032]优选的，所述S6中获取最佳撞线的方法是基于所述相撞地理位置，调整所述撞线的位置，获取最佳撞线。
[0033]优选的，一种融合追踪与检索算法的路面病害识别系统，其特征在于，包括撞线模块、图像预处理模块、模块模型、预测框模块、相撞地理位置模块、最佳撞线模块、相撞帧图像模块和识别模块：
[0034]所述撞线模块，用于根据汽车在包含目标物体的路面上移动时的视频填充多边形，获取撞线；
[0035]所述图像预处理模块，用于对所述视频中的每帧图像进行预处理，得到预处理图像；
[0036]所述模块模型，用于基于YOLOv5网络和DeepSort，构建MOT模型；
[0037]所述预测框模块，用于基于所述预处理图像和所述MOT模型，获取所述目标物体的预测框；
[0038]所述相撞地理位置模块，用于基于所述视频、包含所述视频中所述路面位置信息的GPS文件和所述MOT模型，获取所述预测框经过所述撞线时的相撞地理位置；
[0039]所述最佳撞线模块，用于基于所述相撞地理位置，获取最佳撞线；
[0040]所述相撞帧图像模块，基于所述预测框和所述最佳撞线，获取所述预测框经过所述最佳撞线时对应所述视频中的相撞帧图像和所述相撞帧图像中的预测框图像；
[0041]所述识别模块，用于基于所述相撞帧图像和所述预测框图像，获取道路病害类型标签，所述道路病害类型标签用于识别所述路面的路面病害。
[0042]本专利技术的有益效果为：基于YOLOv5网络和DeepSort构建了MOT模型，通过YOLOv5网络进行目标物体检测，大幅度减少了模型运算量，提高了模型运算速度，通过DeepSort进行预测框跟踪，极大程度上避免了重复标注或者追踪目标丢失的问题，直接引入GPS文件，省去人工上传的步骤，提高了模型自动化效率，通过不断调整撞线位置获取最佳撞线，提高了确定路面病害的精准度。
[0043]本方法具有广阔的推广空间和使用价值。
附图说明
[0044]为了更清楚地说明本专利技术的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合追踪与检索算法的路面病害识别方法，其特征在于，包括以下步骤：S1、根据汽车在包含目标物体的路面上移动时的视频填充多边形，获取撞线；S2、对所述视频中的每帧图像进行预处理操作，得到预处理图像；S3、基于YOLOv5网络和DeepSort，构建MOT模型；S4、基于所述预处理图像和所述MOT模型，获取所述目标物体的预测框；S5、基于所述视频、包含所述视频中所述路面位置信息的GPS文件和所述MOT模型，获取所述预测框经过所述撞线时的相撞地理位置；S6、基于所述相撞地理位置，获取最佳撞线；S7、基于所述预测框和所述最佳撞线，获取所述预测框经过所述最佳撞线时对应所述视频中的相撞帧图像和所述相撞帧图像中的预测框图像；S8、基于所述相撞帧图像和所述预测框图像，获取道路病害类型标签，所述道路病害类型标签用于识别所述路面的路面病害。2.根据权利要求1所述的融合追踪与检索算法的路面病害识别方法，其特征在于：所述S1中获取所述撞线，包括以下步骤：S1.1、根据所述视频的尺寸，填充多边形；S1.2、将所述多边形缩放到预定尺寸，得到所述撞线。3.根据权利要求1所述的融合追踪与检索算法的路面病害识别方法，其特征在于：所述S2中得到所述预处理图像的方法包括：S2.1、在所述每帧图像的周围生成灰条，得到初步预处理图像；S2.2、对所述初步预处理图像进行格式转换、归一化处理和添加维度操作，得到所述预处理图像。4.根据权利要求1所述的融合追踪与检索算法的路面病害识别方法，其特征在于：所述S4中获取所述预测框，包括以下步骤：S4.1、基于所述MOT模型中的所述YOLOv5网络的主干特征提取网络对所述预处理图像进行特征提取，获取初步有效特征层；S4.2、基于所述MOT模型中的所述YOLOv5网络的特征金字塔对所述初步有效特征层进行加强特征提取，获取加强有效特征层；S4.3、基于所述MOT模型中的所述YOLOv5网络的预测网络对所述加强有效特征层进行预测，获取所述预测框。5.根据权利要求4所述的融合追踪与检索算法的路面病害识别方法，其特征在于：所述S...

【专利技术属性】
技术研发人员：张子睿，程了然，王慧，林子杰，李天畅，韩冬，王震，
申请(专利权)人：重庆大学，
类型：发明
国别省市：