【技术实现步骤摘要】
基于物联网和深度学习的盲道方向识别及瑕疵检测方法
[0001]本专利技术涉及智能交通
，具体涉及一种基于物联网和深度学习的盲道方向识别及瑕疵检测方法。
技术介绍
[0002]在盲道方向识别方面，一些传统的方法有拐杖，导盲犬等。拐杖主要分为两类，一类是普通拐杖，另一类是基于物联网的带有超声波测距以及红外传感器等的拐杖，其方向识别的原理都在于盲人主动去探索周围的障碍物，从而决定盲人是否前行或者转弯。而对于导盲犬，其培养周期长，训练价格昂贵，社会容纳度不高等因素，并且导盲犬的方向识别的正确率也无法保证，因此，导盲犬的使用并没有普及开来。
[0003]在现代方法中，人们首先通过提取颜色空间模型中的变量，进行盲道分割，将盲道与普通道路分割开来，然后通过计算边界点曲率等方式识别出提示信息为转弯的盲道上的圆点以及盲道损坏信息，从而识别出盲道的提示方向以及瑕疵。但该方法采用“两步走”的方式，识别效率低下，实时性低，无法满足盲人出行以及盲道维修的需求。
[0004]随着近几年深度学习的发展，人们也将一些神经网络模型应用到盲道方向识别的场景中，但普通卷积层堆叠等操作，导致盲道方向识别的准确率有待提高。
技术实现思路
[0005]本专利技术为了克服以上技术的不足，提供了一种提高识别盲道方向以及瑕疵的类别的效率的方法。
[0006]本专利技术克服其技术问题所采用的技术方案是：
[0007]一种基于物联网和深度学习的盲道方向识别及瑕疵检测方法，包括如下步骤：
[0008]a)获取盲...
【技术保护点】
【技术特征摘要】
1.一种基于物联网和深度学习的盲道方向识别及瑕疵检测方法，其特征在于，包括如下步骤：a)获取盲道图像集X，X＝{x1,x2,...,x
j
,...,x
n
}，x
j
为第j张盲道图像，j∈(1,2...,n)，n为盲道图像总数；b)对第j张盲道图像x
j
进行加雾处理，得到雾化后的盲道图像m
j
，n张雾化后的盲道图像构成雾化后的盲道图像集M，M＝{m1,m2,...,m
j
,...,m
n
}；c)将雾化后的盲道图像集M导入到Make Sense标注工具中，标注雾化后的盲道图像的特征信息框，得到每个雾化后的盲道图像对应的标签文件，n张雾化后的盲道图像及每个雾化后的盲道图像对应的标签文件组成盲道数据集A；d)将盲道数据集A划分为训练集A1和测试集A2；e)建立深度学习模型，将训练集A1中的第j张盲道图像m
j
输入到深度学习模型中，输出得到最终输出图像m
j
′
，最终输出图像m
j
′
中包含有盲道图像的特征信息的预测框。2.根据权利要求1所述的基于物联网和深度学习的盲道方向识别及瑕疵检测方法，其特征在于：步骤a)中使用相机采集n张盲道图像，形成盲道图像集X。3.根据权利要求1所述的基于物联网和深度学习的盲道方向识别及瑕疵检测方法，其特征在于，步骤b)包括如下步骤：b
‑
1)创建一个与第j张盲道图像x
j
大小相同的图像y
j
，图像y
j
中的每个像素点的像素值随机设置为1或设置为255；b
‑
2)通过公式计算得到图像k
j
的第i个像素点的像素值式中为图像y
j
中第i个像素点的像素值，α为雾化因子，0＜α＜1；b
‑
3)将图像k
j
中像素点的像素值大于150且小于200的像素点定义为雾化严重的像素点，如果图像k
j
中雾化严重的像素点的个数β大于等于γ为图像k
j
的像素点总个数，则遍历图像k
j
中的所有像素点，将雾化严重的像素点的像素值赋值为1，得到图像k
j
′
，遍历图像k
j
′
中所有像素点，如果图像k
j
′
中第i个像素点的像素值等于1，则第j张盲道图像x
j
对应的第i个像素点的像素值保持不变，i∈{1,2,...,γ}，如果图像k
j
′
中第i个像素点的像素值不等于1，则将第i个像素点的像素值赋值给第j张盲道图像x
j
对应的第i个像素点的像素值得到修改后的盲道图像x
j
，修改后的盲道图像x
j
定义为雾化后的盲道图像m
j
，如果图像k
j
中雾化严重的像素点的个数β小于则遍历图像k
j
中的所有像素点，如果图像k
j
中第i个像素点的像素值等于1，则第j张盲道图像x
j
对应的第i个像素点的像素值保持不变，如果图像k
j
中第i个像素点的像素值不等于1，则将第i个像素点的像素值赋值给第j张盲道图像x
j
对应的第i个像素点的像素值得到修改后的盲道图像x
j
，修改后的盲道图像x
j
定义为雾化后
的盲道图像m
j
。4.根据权利要求1所述的基于物联网和深度学习的盲道方向识别及瑕疵检测方法，其特征在于：步骤b
‑
2)中通过公式计算得到变量值H，式中ε为随机值，0＜ε＜1，e为自然常数，x为随机值，x取值范围为
‑
∞到+∞，当变量值H大于0.783时，α＝0.783，当变量值H小于等于0.783时，α＝H。5.根据权利要求1所述的基于物联网和深度学习的盲道方向识别及瑕疵检测方法，其特征在于，步骤c)包括如下步骤：c
‑
1)将雾化后的盲道图像集M导入到Make Sense标注工具中，对雾化后的盲道图像m
j
中的盲道、盲道中的裂缝、坑洞、井盖人工标注矩形框，各个矩形框为雾化后的盲道图像m
j
的特征信息框；c
‑
2)特征信息框的类别为5类，包括：直行、转弯、裂缝、坑洞、井盖，定义直行为0类，转弯为1类，裂缝为2类，坑洞为3类，井盖为4类，将各个特征信息框的类别、各个特征信息框的左上角的坐标、各个特征信息框的右下角的坐标、雾化后的盲道图像m
j
的文件名写入并生成VOC格式的XML标签文件l
j
；c
‑
3)将XML标签文件转换成YoloV5格式的TXT格式标签l
j
′
，n张雾化后的盲道图像及每个雾化后的盲道图像对应的TXT格式标签组成盲道数据集A，A＝{a1,a2,...,a
j
,,...,a
n
}，a
j
为第j个盲道数据，a
j
＝(m
j
,l
j
′
)，j∈{1,2,...,n}。6.根据权利要求1所述的基于物联网和深度学习的盲道方向识别及瑕疵检测方法，其特征在于：步骤d)中按照8:2的比例将盲道数据集A划分为训练集A1和测试集A2。7.根据权利要求5所述的基于物联网和深度学习的盲道方向识别及瑕疵检测方法，其特征在于，步骤e)包括如下步骤：e
‑
1)深度学习模型由特征提取网络、特征融合网络、物体检测网络构成；e
‑
2)深度学习模型的特征提取网络由第一卷积层、第二卷积层、第一多头卷积注意力模块、第三卷积层、第二多头卷积注意力模块、第四卷积层、第三多头卷积注意力模块、第五卷积层、第四多头卷积注意力模块、通道空间注意力模块、空间金字塔池化模块构成；e
‑
3)将训练集A1中的第j张盲道图像m
j
输入到特征提取网络的第一卷积层中，输出得到特征图p；e
‑
4)将特征图p输入到特征提取网络的第二卷积层中，输出得到特征图p1，第一多头卷积注意力模块由普通卷积主干、通道注意力分支、空间注意力分支构成，普通卷积主干由第一分支、第二分支、卷积层构成，第一分支由第一卷积层、第二卷积层、第三卷积层构成，第二分支由第四卷积层构成，将特征图p1输入到第一多头卷积注意力模块的普通卷积主干的第一分支的第一卷积层中，输出得到特征图将特征图p1输入到第一多头卷积注意力模块的普通卷积主干的第二分支的第四卷积层中，输出得到特征图将特征图依次输入到第一多头卷积注意力模块的普通卷积主干的第一分支的第二卷积层、第三卷积层中，输出得到特征图将特征图与特征图进行拼接操作，得到特征图将特征图
输入到第一多头卷积注意力模块的普通卷积主干的卷积层中，输出得到特征图第一多头卷积注意力模块的通道注意力分支由全局平均池化层、卷积层、sigmoid函数构成，将特征图p1输入到第一多头卷积注意力模块的通道注意力分支的全局平均池化层中，输出得到特征图将特征图输入到第一多头卷积注意力模块的通道注意力分支的卷积层中，输出得到特征图将特征图输入到第一多头卷积注意力模块的通道注意力分支的sigmoid函数中，输出得到各个通道的权重ω1，第一多头卷积注意力模块的空间注意力分支由第一卷积层、第二卷积层、上采样层构成，将特征图p1输入到第一多头卷积注意力模块的空间注意力分支的第一卷积层中，输出得到特征图将特征图输入到第一多头卷积注意力模块的空间注意力分支的第二卷积层中，输出得到特征图将特征图输入到第一多头卷积注意力模块的空间注意力分支的上采样层中，输出得到特征图将特征图与权重ω1相乘后得到特征图将特征图与特征图相乘后得到特征图e
‑
5)将特征图输入到特征提取网络的第三卷积层中，输出得到特征图p2，第二多头卷积注意力模块由普通卷积主干、通道注意力分支、空间注意力分支构成，普通卷积主干由第一分支、第二分支、卷积层构成，第一分支由第一卷积层、第二卷积层、第三卷积层构成，第二分支由第四卷积层构成，将特征图p2输入到第二多头卷积注意力模块的普通卷积主干的第一分支的第一卷积层中，输出得到特征图将特征图p2输入到第二多头卷积注意力模块的普通卷积主干的第二分支的第四卷积层中，输出得到特征图将特征图依次输入到第二多头卷积注意力模块的普通卷积主干的第一分支的第二卷积层、第三卷积层中，输出得到特征图将特征图与特征图进行拼接操作，得到特征图将特征图输入到第二多头卷积注意力模块的普通卷积主干的卷积层中，输出得到特征图第二多头卷积注意力模块的通道注意力分支由全局平均池化层、卷积层、sigmoid函数构成，将特征图p2输入到第二多头卷积注意力模块的通道注意力分支的全局平均池化层中，输出得到特征图将特征图输入到第二多头卷积注意力模块的通道注意力分支的卷积层中，输出得到特征图将特征图输入到第二多头卷积注意力模块的通道注意力分支的sigmoid函数中，输出得到各个通道的权重ω2，第二多头卷积注意力模块的空间注意力分支由第一卷积层、第二卷积层、上采样层构成，将特征图p2输入到第二多头卷积注意力模块的空间注意力分支的第一卷积层中，输出得到特征图将特征图输入到第二多头卷积注意力模块的空间注意力分支的第二卷积层中，输出得到特征图将特征
图输入到第二多头卷积注意力模块的空间注意力分支的上采样层中，输出得到特征图将特征图与权重ω2相乘后得到特征图将特征图与特征图相乘后得到特征图e
‑
6)将特征图输入到特征提取网络的第四卷积层中，输出得到特征图p3，第三多头卷积注意力模块由普通卷积主干、通道注意力分支、空间注意力分支构成，普通卷积主干由第一分支、第二分支、卷积层构成，第一分支由第一卷积层、第二卷积层、第三卷积层构成，第二分支由第四卷积层构成，将特征图p3输入到第三多头卷积注意力模块的普通卷积主干的第一分支的第一卷积层中，输出得到特征图将特征图p3输入到第二多头卷积注意力模块的普通卷积主干的第二分支的第四卷积层中，输出得到特征图将特征图依次输入到第三多头卷积注意力模块的普通卷积主干的第一分支的第二卷积层、第三卷积层中，输出得到特征图将特征图与特征图进行拼接操作，得到特征图将特征图输入到第三多头卷积注意力模块的普通卷积主干的卷积层中，输出得到特征图第三多头卷积注意力模块的通道注意力分支由全局平均池化层、卷积层、sigmoid函数构成，将特征图p3输入到第三多头卷积注意力模块的通道注意力分支的全局平均池化层中，输出得到特征图将特征图输入到第三多头卷积注意力模块的通道注意力分支的卷积层中，输出得到特征图将特征图输入到第三多头卷积注意力模块的通道注意力分支...
【专利技术属性】
技术研发人员：李刚，张成，周鸣乐，李敏，韩德隆，邢瑞，苏占智，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。