一种交通标志识别方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种交通标志识别方法及系统，其中方法，包括：获取待识别的视频；对待识别视频的所有帧图像，输入到训练后的交通标志识别模型中，输出交通标志识别结果；其中，训练后的交通标志识别模型，用于：对待识别视频的所有帧图像进行特征提取，得到所有帧图像的特征图；对所有帧图像的特征图，提取出交通标志候选区域；将关键帧图像的交通标志候选区域和相邻帧图像的交通标志候选区域，进行特征融合，得到融合后的交通标志候选区域；对融合后的交通标志候选区域进行特征图提取，生成融合后的候选区域特征图；对融合后的候选区域特征图进行分类和回归，得到交通标志识别结果。得到交通标志识别结果。得到交通标志识别结果。

【技术实现步骤摘要】
一种交通标志识别方法、系统、设备及存储介质


[0001]本专利技术涉及图像处理
，特别是涉及一种交通标志识别方法、系统、设备及存储介质。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]随着人工智能和计算机技术的迅速发展，机器视觉是实现无人驾驶的一个重要前提，意味着如何让汽车“看到”眼前的世界，无人驾驶的交通标志识别是当中的一个重要领域。无人驾驶车辆的交通标志识别是指利用车载摄像头获取道路场景图像，并识别出图像上的路标和语义，属于无人驾驶判断当前道路指示的重要内容，如何让汽车自动、准确的识别出路标具有重要的研究意义。在图像处理中，图像数据质量是关键的影响因素之一。然而在获取过程中，车载摄像头难免会遇到极端天气或者不可抗拒因素的干扰下会出现不同程度的遮挡，采集图像的质量往往达不到要求，这对后续的数据分析造成诸多不便。
[0004]视频目标检测相对于静态图像目标检测具有一定的优势。由于视频中的图像是连续的，视频中的相邻帧之间存在明显的上下文关系，所以在无法通过视频中的某一帧图像准确追踪目标时，能够根据与当前帧具有时间、空间等上下文关系的其他帧，辅助对当前帧的目标检测。
[0005]中国专利文献CN116259032A公开了一种基于改进YOLOv5的道路交通标志检测与识别算法,实现了自上而下与自下而上的深层与浅层特征的双向融合，显著提升了网络模型的检测性能。但无法应对复杂场景下的交通标志识别。
[0006]中国专利文献CN116152777A公开了一种基于YOLOv5的常用交通标志识别方法、系统及存储介质，本专利技术不仅检测速度快，检测精度高，还占用显存空间小，识别目标种类多。但针对于无人驾驶车载摄像头小部分遮挡下的交通标志识别率较低，还无法充分应对这个复杂场景。
[0007]中国专利文献CN113076842B本专利技术公开了一种提升极端天气与环境下交通标志识别精度的方法，以YOLOv5目标检测模型为基础，融入聚焦模块、跨阶段局部融合模块和空间金字塔池化结构，对于光线不好的交通标志图像，能够更好地从局部特征来提取特征图信息，特征图更精准地表达了图像。该专利没有解决在遮挡情况下的交通标志的识别问题。
[0008]车载摄像头经过极端天气(雨滴、泥渍、霜雪等)小部分遮挡下会影响目标检测中对交通标志识别精度，特别是小目标交通标志的识别精度，导致无人驾驶车辆误判等错误情况经常发生。因此，无人驾驶车载摄像头小部分遮挡(雨滴、泥渍、霜雪等)对目标检测模型提取特征信息时造成干扰，使得模型难以获取正向有效的语义信息，造成识别准确率低。

技术实现思路

[0009]为了解决现有技术的不足，本专利技术提供了一种交通标志识别方法、系统、设备及存储介质；解决了现有技术中针对车载摄像头小部分遮挡下交通标志的目标识别，无法准确
的识别到目标的技术问题。
[0010]一方面，提供了一种交通标志识别方法；
[0011]一种交通标志识别方法，包括：
[0012]获取待识别的视频；
[0013]将待识别的视频的所有帧图像，划分为关键帧图像和相邻帧图像；所述关键帧图像是指与前一帧图像的场景不同，但是与后一帧图像的场景相同的帧；所述相邻帧图像，是指当前关键帧图像与前一个关键帧图像之间的图像，和当前关键帧图像与后一个关键帧图像之间的图像；
[0014]对待识别视频的所有帧图像，输入到训练后的交通标志识别模型中，输出交通标志识别结果；其中，训练后的交通标志识别模型，用于：对待识别视频的所有帧图像进行特征提取，得到所有帧图像的特征图；对所有帧图像的特征图，提取出交通标志候选区域；将关键帧图像的交通标志候选区域和相邻帧图像的交通标志候选区域，进行特征融合，得到融合后的交通标志候选区域；对融合后的交通标志候选区域进行特征图提取，生成融合后的候选区域特征图；对融合后的候选区域特征图进行分类和回归，得到交通标志识别结果。
[0015]另一方面，提供了一种交通标志识别系统；
[0016]一种交通标志识别系统，包括：
[0017]获取模块，其被配置为：获取待识别的视频；
[0018]关键帧划分模块，其被配置为：将待识别的视频的所有帧图像，划分为关键帧图像和相邻帧图像；所述关键帧图像是指与前一帧图像的场景不同，但是与后一帧图像的场景相同的帧；所述相邻帧图像，是指当前关键帧图像与前一个关键帧图像之间的图像，和当前关键帧图像与后一个关键帧图像之间的图像；
[0019]交通标志识别模块，其被配置为：对待识别视频的所有帧图像，输入到训练后的交通标志识别模型中，输出交通标志识别结果；其中，训练后的交通标志识别模型，用于：对待识别视频的所有帧图像进行特征提取，得到所有帧图像的特征图；对所有帧图像的特征图，提取出交通标志候选区域；将关键帧图像的交通标志候选区域和相邻帧图像的交通标志候选区域，进行特征融合，得到融合后的交通标志候选区域；对融合后的交通标志候选区域进行特征图提取，生成融合后的候选区域特征图；对融合后的候选区域特征图进行分类和回归，得到交通标志识别结果。
[0020]再一方面，还提供了一种电子设备，包括：
[0021]存储器，用于非暂时性存储计算机可读指令；以及
[0022]处理器，用于运行所述计算机可读指令，
[0023]其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
[0024]再一方面，还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
[0025]再一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
[0026]上述技术方案中的一个技术方案具有如下优点或有益效果：
[0027]从预先采集的视频中确定出视频流中的关键帧；然后从相邻关键帧的时间跨度中，发现上下文信息关联性，引入RS损失函数代替原分类损失函数，解决交通标志类别不均
衡的问题。为了更好的补偿被遮挡的目标图像的语义信息，引入图卷积神经网络基于相关系数矩阵，提高模型识别率。
[0028]本专利技术在网络结构中引入基于相似性的注意力机制，构建上下文特征记忆，补充缺失语义信息，以提高被遮挡下的识别效果。本专利技术引入RS Loss损失函数代替原分类损失函数，解决交通标志类别不均衡的问题。本专利技术网络结构中引入图卷积神经网络，基于相关系数矩阵，补偿了被遮挡目标图像的语义信息，提高模型识别率。
附图说明
[0029]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0030]图1为本申请实施例一的整体流程图；
[0031]图2为本申请实施例一的基于相似性的注意力模块；
[0032]图3为本申请实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交通标志识别方法，其特征是，包括：获取待识别的视频；将待识别的视频的所有帧图像，划分为关键帧图像和相邻帧图像；所述关键帧图像是指与前一帧图像的场景不同，但是与后一帧图像的场景相同的帧；所述相邻帧图像，是指当前关键帧图像与前一个关键帧图像之间的图像，和当前关键帧图像与后一个关键帧图像之间的图像；对待识别视频的所有帧图像，输入到训练后的交通标志识别模型中，输出交通标志识别结果；其中，训练后的交通标志识别模型，用于：对待识别视频的所有帧图像进行特征提取，得到所有帧图像的特征图；对所有帧图像的特征图，提取出交通标志候选区域；将关键帧图像的交通标志候选区域和相邻帧图像的交通标志候选区域，进行特征融合，得到融合后的交通标志候选区域；对融合后的交通标志候选区域进行特征图提取，生成融合后的候选区域特征图；对融合后的候选区域特征图进行分类和回归，得到交通标志识别结果。2.如权利要求1所述的一种交通标志识别方法，其特征是，对待识别视频的所有帧图像，输入到训练后的交通标志识别模型中，输出交通标志识别结果；其中，训练后的交通标志识别模型，网络结构包括：依次连接的骨干网络和候选区域生成网络；所述候选区域生成网络的输出端通过第一分支与相似注意力模块的输入端连接，所述第一分支上设有感兴趣区域池化层；感兴趣区域池化层RoI Pooling的输入端与候选区域生成网络的输出端连接，感兴趣区域池化层RoI Pooling的输出端与相似注意力模块的输入端连接；所述候选区域生成网络的输出端通过第二分支与相似注意力模块的输入端连接；所述相似注意力模块的输出端与图卷积神经网络的输入端连接；图卷积神经网络的输出端与第一全连接层的输入端连接；所述第一全连接层的输出端分别与回归器和分类器连接。3.如权利要求2所述的一种交通标志识别方法，其特征是，所述骨干网络，包括：依次连接的第一3*3卷积层、SE层、第一1*1卷积层、加法器、激活函数层和池化层；所述3*3卷积层的输入端还与加法器的输入端连接；所述第一3*3卷积层，采用可变形卷积来实现。4.如权利要求2所述的一种交通标志识别方法，其特征是，所述候选区域生成网络，包括：依次连接的第二3*3卷积层、第二1*1卷积层、第一Reshape层、激活函数层、第二Reshape层和Proposal层；所述第二3*3卷积层的输出端还通过第三1*1卷积层与第二Reshape层的输入端连接。5.如权利要求2所述的一种交通标志识别方法，其特征是，所述相似注意力模块，包括：并列的三个子分支：第一子分支、第二子分支和第三子分支；所述第一子分支，包括：依次连接的池化层P1、第二全连接层和归一化层G1；所述第二子分支，包括：依次连接的第三全连接层和归一化层G2；所述第三子分支，包括：第四全连接层；池化层P1的输入端与感兴趣区域池化层的输出端连接；第三全连接层的输入端和第四全连接层的输入端均与候选区域生成网络的输出端连接；
归一化层G1的输出端和归一化层G2的输出端，均与激活函数层S1的输入端连接；激活函数层S1的输出端与第五全连接层的输入端连接；第四全连接层的输出端与第五全连接层的输入端连接；第五全连接层的输出端是相似注意力...

【专利技术属性】
技术研发人员：吴晓明，尹训嘉，刘祥志，裴加彬，邱文科，
申请(专利权)人：齐鲁工业大学山东省科学院山东山科智能科技有限公司，
类型：发明
国别省市：