一种基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法及系统技术方案

本发明专利技术公开一种基于通道‑空间注意力胶囊网络模型的道路交通标志线检测方法及系统，该方法包括：S1、收缩路径是一个编码器，利用下采样操作逐层捕捉影像中道路交通标志线上下文信息，耦合通道注意力模块，在不损失特征细节和分辨率情况下，增强道路交通标志线的上下文信息；S2、扩展路径是一个解码器，结构与编码器相对称，利用上采样操作还原影像的道路交通标志线位置信息，逐步恢复道路交通标志线细节和图像分辨率，通过空间注意力模块捕捉道路标志线空间信息，增强道路交通标志线语义信息；以道路交通标线影像数据为基础，基于通道‑空间注意力机制胶囊网络模型的道路交通标志线检测方法，更快、更鲁棒、更全面地检测与提取道路交通标志线。

【技术实现步骤摘要】
一种基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法及系统
本专利技术涉及智能交通和测绘科学领域，尤其涉及一种基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法及系统。
技术介绍
近年来，随着经济的发展和社会的进步，道路的通行能力、可达性、交通安全性等问题越来越突出。道路以及道路细节要素如道路边界、交通标志线等是我国重要的基础交通设施。道路交通标志线(TrafficIndexLine)是由施划或安装于道路路面上的各种线条、箭头、文字、图案及立面标记、实体标记、突起路标和轮廓标等所构成的交通设施，并向交通参与者传递引导、限制、警告等。其作用是管制和引导交通，可以与标志配合使用，也可单独使用。对道路标志线进行有效维护不仅可以减少交通压力，能使车辆井然有序地行驶，还能减少交通事故，增强交通安全。其高精度的几何与语义信息如形状、位置、拓扑和结构关系信息的快速获取与更新对保障交通安全具有重要作用，是智能交通、智能高精地图、导航与定位服务等领域的基础和核心元素。一般在城市环境中，对于道路标线，主要从色度、感光度和残损程度等方面来判断是否损坏。目前都是通过人工目测进行检测，其优点是准确，但是，道路形状多样，场景复杂，人工测量存在效率低、自动化程度低、需较多的人力和物力、影响道路交通等缺陷，达不到高精度道路信息快速提取与更新的要求。道路交通标志线的可用性和清晰度是交通管理系统和交通事故的关键因素。根据道路交通标志线语义知识(如形状)和反射强度特征，目前方法主要分为三维点云驱动和二维图像驱动的道路交通标志线提取两大类。三维点云驱动的道路交通标志线提取方法直接分割车载/无人机三维点云获得道路表面信息，然后利用强度信息完成道路交通标志线提取。然而，从海量三维点云中提取道路交通标志线仍然是一项非常困难的任务，尤其是处理具有强凹凸特征和分布不均匀的点云数据。因此，基于神经网络的深度学习方法被用于道路交通标志线自动分类研究中。但这些方法在处理城市道路网络的海量三维点云数据量方面存在局限性。二维图像驱动的道路交通标志线提取方法是根据交通标志线的语义信息(如大小、方向、形状等)，利用成熟的图像处理方法，如霍夫变换、阈值分割、数学形态学等完成道路交通标志线提取。然而这些方法很难适应在复杂的道路环境下，不同尺寸、不同反射强度的道路交通标志线。其次，由于复杂场景图像或特征图像包含有大量噪声，很难从稀疏的、噪声掩盖下的二维图像数据中推断出交通标志线显著性结构，其鲁棒性受到一定限制。另外，这类研究多聚焦于道路边界、标线的结构信息单独提取，忽视了不同类型对象间的语义信息，缺乏对道路场景结构化的描述。随着深度学习算法的发展，提取交通标志线的高层次抽象特征，提高道路标志线提取的精度与自动化程度已经成为目前的发展趋势。一些优化分类算法或卷积神经网络进行端到端的道路交通标志线检测。深度学习方法在训练过程中虽然需要消耗较多时间和人力，但在实际检测过程中速度很快，且对道路交通标志线特征的识别效果明显好于传统方法。然而当前针对道路交通标志线提出的模型架构数量很少，且大部分模型仅沿用卷积神经网络(CNN)模型的常用架构，并未提出针对于道路交通标志线图像特点、适用于道路交通标志线识别领域的模型架构。此外，这些模型结构简单，存在高层深度特征与拓扑语义信息融合、道路细节要素提取以及相似目标、残缺目标的精细识别问题。胶囊网络(capsulenetwork)提供了一个有效的建模实体间局部到全局关系的方法，并可以学习视角不变表示。通过这种提升的表示学习，胶囊网络可以用更少的参数取得较好的检测与分类性能。胶囊网络也是一种神经网络，与普通神经网络的区别是胶囊网络的神经元是一个向量(一组值)而不是一个标量(单个值)，其神经元叫做向量神经元(vectorneuron)。向量神经元中的每个值表示某一个属性，如姿态(位置、大小、方向)，形变，速度，颜色，纹理结构等。胶囊是用它的输出矢量的长度来代表某一个种类的模式是否存在的概率，然后再用这个矢量内部细节，比如说它的方向，来决定这个模式有什么样的特征。因此，胶囊网络在人类行为定位、医学图像目标分割、文本分类等任务上都取得了不错的效果。另外，最新提出的注意力机制(attentionmechanism)通过神经网络算出梯度并且前向传播和后向反馈来学习获得特征通道或者空间注意力权重，从而在运算过程中能够忽略无关信息而关注重点信息。将注意力机制引入目标识别任务中学习待处理目标的上下文信息。因此，本专利技术利用针对目前胶囊网络结构中由于卷积、池化等操作，图像特征分辨率逐渐降低，道路标志线信息的定位精度会有所下降问题，采用一种编码-解码结构的胶囊网络模型，耦合通道-空间注意力机制的上下文信息增强模块，充分获得道路标志线内在的、显著的、高阶性的特征描述，达到快速、方便、准确、及时的道路标志线状况采集和评估系统，为智能交通、智能高精地图、导航与定位服务等扫平数据障碍。
技术实现思路
专利技术目的：基于此，有必要针对上述技术问题，提供一种能够提高裂缝识别正确率的基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法。技术方案：本专利技术提出一种基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法，所述方法包括：将输入的待检测道路交通标志线图像通过基于编码器-解码器网络模型的收缩路径进行特征提取，获得道路交通标志线胶囊特征，耦合通道注意力模块，增强道路交通标志线的上下文信息，各所述道路交通标志线的分辨率和尺度都不同；通过所述编码器-解码器网络模型的扩展路径对个所述道路交通标志线胶囊特征进行反卷积上采样，通过空间注意力模块捕捉道路交通标志线空间信息，获得道路交通标志线信息。在其中一个实施例中，所述输入的待检测道路交通标志线图像通过基于编码-解码结构网络模型的收缩路径进行特征提取，获得道路交通标志线胶囊特征，耦合通道注意力模块，增强道路交通标志线的上下文信息，各所述道路交通标志线的分辨率和尺度都不同，包括：将所述待检测道路交通标志线图像输入第一卷积层进行特征提取，获得低阶道路交通标志线特征信息；将所述低阶道路交通标志线特征信息输入胶囊初始层进行特征转换，获得道路交通标志线胶囊矢量；通过N个不同尺度的胶囊卷积组，对所述道路交通标志线胶囊矢量进行胶囊卷积，获得各所述胶囊卷积组输出的道路交通标志线胶囊特征；在其中一个实施例中，所述N个不同尺度的所述胶囊卷积组的缩放步长为2，通过卷积核为2×2最大值池化层连接于各胶囊卷积组之间，使得特征图空间分辨率从下而上逐渐降低；各胶囊卷积组包含5个相同特征尺寸的卷积核为3×3胶囊卷积层和一个注意力通道模块；将道路交通标志线胶囊特征输入到注意力通道模块，获取交通标志线上下文信息，对道路交通标志线特征进行信息增强。在其中一个实施例中，所述通过一个注意力通道对所述道路交通标志线胶囊特征进行信息增强，获得增强道路交通标志线胶囊特征，包括：将道路交通标志线胶囊特征图输入到卷积核为1×1胶囊卷积层转换成一维的胶囊特征图，通过全局平均值池化操作构建出一个通道描述符；本文档来自技高网...

【技术保护点】
1.一种基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法，其特征在于，所述方法包括：/n将输入的待检测道路交通标志线图像通过基于编码-解码结构网络模型的收缩路径进行特征提取，获得道路交通标志线胶囊特征，编码-解码结构网络耦合通道注意力模块，增强道路交通标志线的上下文信息，各所述道路交通标志线的分辨率和尺度都不同；/n通过所述编码-解码结构网络模型的扩展路径对各所述道路交通标志线胶囊特征进行反卷积上采样，通过空间注意力模块捕捉道路交通标志线空间信息，获得道路交通标志线信息。/n

【技术特征摘要】
1.一种基于通道-空间注意力胶囊网络模型的道路交通标志线检测方法，其特征在于，所述方法包括：
将输入的待检测道路交通标志线图像通过基于编码-解码结构网络模型的收缩路径进行特征提取，获得道路交通标志线胶囊特征，编码-解码结构网络耦合通道注意力模块，增强道路交通标志线的上下文信息，各所述道路交通标志线的分辨率和尺度都不同；
通过所述编码-解码结构网络模型的扩展路径对各所述道路交通标志线胶囊特征进行反卷积上采样，通过空间注意力模块捕捉道路交通标志线空间信息，获得道路交通标志线信息。


2.根据权利要求1所述的方法，其特征在于，将输入的待检测道路交通标志线图像通过基于编码-解码结构网络模型的收缩路径进行特征提取，获得道路交通标志线胶囊特征，耦合通道注意力模块，增强道路交通标志线的上下文信息，各所述道路交通标志线的分辨率和尺度都不同，具体包括如下步骤：
将所述待检测道路交通标志线图像输入第一卷积层进行特征提取，获得低阶道路交通标志线特征信息；
将所述低阶道路交通标志线特征信息输入胶囊初始层进行特征转换，获得道路交通标志线胶囊矢量；
通过N个不同尺度的胶囊卷积组，对所述道路交通标志线胶囊矢量进行胶囊卷积，获得各所述胶囊卷积组输出的道路交通标志线胶囊特征。


3.根据权利要求2所述的方法，其特征在于，所述N个不同尺度的胶囊卷积组，对所述道路交通标志线胶囊矢量进行胶囊卷积，获得各所述胶囊卷积组输出的道路交通标志线胶囊特征，包括：
N个不同尺度的所述胶囊卷积组的缩放步长为2，通过卷积核为2×2最大值池化层连接于各胶囊卷积组之间，使得道路交通标志线特征图空间分辨率从下而上逐渐降低；
各胶囊卷积组包含5个相同特征尺寸的卷积核为3×3胶囊卷积层和一个注意力通道模块；
将道路交通标志线胶囊特征输入到注意力通道模块，获取交通标志线上下文信息，对道路交通标志线特征进行信息增强。


4.根据权利要求3所述的方法，其特征在于，通过一个注意力通道对所述道路交通标志线胶囊特征进行信息增强，获得增强道路交通标志线胶囊特征，包括：
将道路交通标志线胶囊特征图输入到卷积核为1×1胶囊卷积层转换成一维的胶囊特征图，通过全局平均值池化操作构建出一个通道描述符；
将通道描述符转换成通道注意力描述符，描述符中每个元素所编码的信息与输入道路交通标志线胶囊特征图中的通道相对应；
将通道注意力描述符作为通道权值函数与输入道路交通标志线胶囊特征图进行通道级乘积处理，调整道路交通标志线胶囊特征。


5.根据权利要求1所述的方法，其特征在于，通过所述编码-解码结构网络模型的扩展...

【专利技术属性】
技术研发人员：管海燕，于永涛，柯福阳，曹爽，
申请(专利权)人：江苏思玛特科技有限公司，
类型：发明
国别省市：江苏;32