一种路面裂缝识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种路面裂缝识别方法、装置、设备及存储介质，所述方法包括：获取待识别的路面视频，并对所述路面视频进行预处理；采用预设的关键帧提取算法对预处理后的路面视频进行关键帧提取，得到路面视频关键帧；其中，所述预设的关键帧提取算法包括帧差法和镜头间隔采样法；将所述路面视频关键帧以及预设的模型参数输入预设的密集分支金字塔网络模型，得到所述密集分支金字塔网络模型输出的路面裂缝识别结果。本发明专利技术充分利用视频关键图像帧，以隐式深监督方法嵌合多分支特征，聚焦裂缝可区分细节特征和远距离关联性语义信息，有效提高网络对裂缝细节特征和全局信息感知能力。力。力。

【技术实现步骤摘要】
一种路面裂缝识别方法、装置、设备及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种路面裂缝识别方法、装置、设备及存储介质。

技术介绍

[0002]道路裂缝是公路最早期的病害之一，也是公路养护项目的重要内容。目前我国的路面裂缝类型自动检测技术有待提高，相关部门在裂缝检测方式上还比较传统，有些仍采用人工实地检测的方式，不仅存在耗费大量人力、速度慢、检测误差大的问题，而且还会使实地测量人员安全受到威胁。并且，当前技术大多为单调背景下的裂缝研究，极少考虑例如阴影等复杂动态环境的影响。近年来，卷积神经网络基于合理的网络结构，通过大数据、大样本学习，就能在计算机视觉的分类、分割任务中取得不错的性能，被广泛应用于各种道路的表面裂缝检测。视频智能分析术融合了图像处理、模式识别、人工智能、自动控制以及计算机视觉等众多领域中的先进技术和核心思想，可用于复杂背景环境下，目标识别、检测、跟踪等场景。
[0003]尽管基于深度卷积神经网络语义分割的方法促进了裂缝检测的发展，但道路裂缝特征具有对比度低、病害局部变化不均匀等独特性，导致现有的裂缝识别方法在裂缝细节特征区分和全局上下文信息感知能力弱。

技术实现思路

[0004]本专利技术所要解决的技术问题在于，提供一种路面裂缝识别方法、装置、设备及存储介质，充分利用视频关键图像帧，以隐式深监督方法嵌合多分支特征，聚焦裂缝可区分细节特征和远距离关联性语义信息，有效提高网络对裂缝细节特征和全局信息感知能力。
[0005]为了实现上述目的，本专利技术实施例提供了一种路面裂缝识别方法，包括：
[0006]获取待识别的路面视频，并对所述路面视频进行预处理；
[0007]采用预设的关键帧提取算法对预处理后的路面视频进行关键帧提取，得到路面视频关键帧；其中，所述预设的关键帧提取算法包括帧差法和镜头间隔采样法；
[0008]将所述路面视频关键帧以及预设的模型参数输入预设的密集分支金字塔网络模型，得到所述密集分支金字塔网络模型输出的路面裂缝识别结果。
[0009]作为上述方案的改进，所述对所述路面视频进行预处理，具体包括：
[0010]对所述路面视频进行数据增强以及灰度转化处理，得到预处理后的路面视频。
[0011]作为上述方案的改进，所述采用预设的关键帧提取算法对预处理后的路面视频进行关键帧提取，得到路面视频关键帧，具体包括：
[0012]计算所述预处理后的路面视频中相邻两帧之间的相异度，并以所述相异度作为帧差法的差分阈值；
[0013]对所述预处理后的路面视频中相邻两帧进行差分计算，根据差分计算结果判断路面裂缝的变化程度，并分析运动区域的连通性；
[0014]对所述预处理后的路面视频进行镜头边界检测，将视频的连续帧划分为间隔的图像帧，并根据图像间隔采样视频关键帧，得到路面视频关键帧。
[0015]作为上述方案的改进，所述相异度的计算公式为：
[0016][0017]式中，α表示相异度，i表示图像对应像素，j表示视频帧，m表示像素数，n表示视频帧数，Q(i，j)、Q
h
(i，j+1)分别表示第j和j+1张图像对应每个相同i的数据点乘积，其结果在[0，1]之间。
[0018]作为上述方案的改进，所述差分计算的公式为：
[0019][0020]式中，f
m
(x，y，t)表示当前第i帧图像，f
n
(x，y，t
‑
1)表示前一帧图像，d
i
(x，y)表示第i帧与前一帧灰度差分图像，d
i+1
(x，y)表示第i帧与后一帧灰度差分图像，α表示相异度，即差分阈值，D
l
(x，y)表示两帧差分图的变化，取值范围为[0，1]。
[0021]作为上述方案的改进，所述对所述预处理后的路面视频进行镜头边界检测，具体包括：
[0022]将每一视频帧划分为大小相等的非重叠网格，通过卡方距离计算两个连续帧对应的网格之间的直方图差：
[0023]根据直方图差大于预设阈值的视频帧识别出镜头边界。
[0024]作为上述方案的改进，所述密集分支金字塔网络模型的训练方法具体包括：
[0025]根据密集多分支模块、多分支金字塔模块以及无参注意力增强模块构建密集分支金字塔网络模型；
[0026]将训练集中的路面视频关键帧输入所述密集分支金字塔网络模型进行训练，直至所述密集分支金字塔网络模型的损失函数满足预设条件，输出训练好的密集分支金字塔网络模型以及对应的模型参数。
[0027]本专利技术实施例还提供了一种路面裂缝识别装置，包括：
[0028]获取模块，用于获取待识别的路面视频，并对所述路面视频进行预处理；
[0029]提取模块，用于采用预设的关键帧提取算法对预处理后的路面视频进行关键帧提取，得到路面视频关键帧；其中，所述预设的关键帧提取算法包括帧差法和镜头间隔采样法；
[0030]识别模块，用于将所述路面视频关键帧以及预设的模型参数输入预设的密集分支金字塔网络模型，得到所述密集分支金字塔网络模型输出的路面裂缝识别结果。
[0031]本专利技术实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的路面裂缝识别方法。
[0032]本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设
备执行上述任一项所述的路面裂缝识别方法。
[0033]相对于现有技术，本专利技术实施例提供的一种路面裂缝识别方法、装置、设备及存储介质的有益效果在于：通过获取待识别的路面视频，并对所述路面视频进行预处理；采用预设的关键帧提取算法对预处理后的路面视频进行关键帧提取，得到路面视频关键帧；其中，所述预设的关键帧提取算法包括帧差法和镜头间隔采样法；将所述路面视频关键帧以及预设的模型参数输入预设的密集分支金字塔网络模型，得到所述密集分支金字塔网络模型输出的路面裂缝识别结果。本专利技术实施例充分利用视频关键图像帧，以隐式深监督方法嵌合多分支特征，聚焦裂缝可区分细节特征和远距离关联性语义信息，有效提高网络对裂缝细节特征和全局信息感知能力。
附图说明
[0034]图1是本专利技术提供的一种路面裂缝识别方法的一个优选实施例的流程示意图；
[0035]图2是本专利技术提供的一种路面裂缝识别方法中密集分支金字塔网络模型的部分结构示意图；
[0036]图3是本专利技术提供的一种路面裂缝识别方法中多分支金字塔模块的结构示意图；
[0037]图4是本专利技术提供的一种路面裂缝识别装置的一个优选实施例的结构示意图；
[0038]图5是本专利技术提供的一种终端设备的一个优选实施例的结构示意图。
具体实施方式
[0039]下面将结合本专利技术实施例中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种路面裂缝识别方法，其特征在于，包括：获取待识别的路面视频，并对所述路面视频进行预处理；采用预设的关键帧提取算法对预处理后的路面视频进行关键帧提取，得到路面视频关键帧；其中，所述预设的关键帧提取算法包括帧差法和镜头间隔采样法；将所述路面视频关键帧以及预设的模型参数输入预设的密集分支金字塔网络模型，得到所述密集分支金字塔网络模型输出的路面裂缝识别结果。2.如权利要求1所述的路面裂缝识别方法，其特征在于，所述对所述路面视频进行预处理，具体包括：对所述路面视频进行数据增强以及灰度转化处理，得到预处理后的路面视频。3.如权利要求2所述的路面裂缝识别方法，其特征在于，所述采用预设的关键帧提取算法对预处理后的路面视频进行关键帧提取，得到路面视频关键帧，具体包括：计算所述预处理后的路面视频中相邻两帧之间的相异度，并以所述相异度作为帧差法的差分阈值；对所述预处理后的路面视频中相邻两帧进行差分计算，根据差分计算结果判断路面裂缝的变化程度，并分析运动区域的连通性；对所述预处理后的路面视频进行镜头边界检测，将视频的连续帧划分为间隔的图像帧，并根据图像间隔采样视频关键帧，得到路面视频关键帧。4.如权利要求3所述的路面裂缝识别方法，其特征在于，所述相异度的计算公式为：式中，α表示相异度，i表示图像对应像素，j表示视频帧，m表示像素数，n表示视频帧数，Q(i,j)、Q
h
(i,j+1)分别表示第j和j+1张图像对应每个相同i的数据点乘积，其结果在[0,1]之间。5.如权利要求4所述的路面裂缝识别方法，其特征在于，所述差分计算的公式为：式中，f
m
(x,y,t)表示当前第i帧图像，f
n
(x,y,t
‑
1)表示前一帧图像，d
i
(x,y)表示第i帧与前一帧灰度差分图像，d
...

【专利技术属性】
技术研发人员：刘洋，郭亮，朱军，张明，王会，王萍，刘国超，
申请(专利权)人：广州市城市规划勘测设计研究院，
类型：发明
国别省市：