一种基于结构表征和全局注意力机制的轨道线检测方法和系统技术方案

本发明专利技术提出了一种基于结构表征和全局注意力机制的轨道线检测方法和系统，该方法包括以下步骤：从轨道线数据库中选取多种场景的轨道线RGB图像和轨道线标注，并转化为标签图像，将标签图像与RGB图像进行配对后按照相应的比例划分为训练集和测试集；构建基于结构表征和全局注意力机制的端到端可训练的深度神经网络模型；将划分好的训练集输入到深度神经网络中进行训练；将配对的RGB图像和标签图像输入到深度神经网络模型中，获得对应于每个配对图像在若干行方向的轨道线预测网格位置。本发明专利技术通过结构表征和全局注意力机制的结合，有效提取轨道线关键特征，提高网络模型检测的准确率和运行速率，保证应用的实时性。保证应用的实时性。保证应用的实时性。

【技术实现步骤摘要】
一种基于结构表征和全局注意力机制的轨道线检测方法和系统


[0001]本专利技术属于图像处理
，尤其涉及一种基于结构表征和全局注意力机制的轨道线检测方法和系统。

技术介绍

[0002]当前，轨道线检测技术已经成为计算机视觉领域研究的重要分支，主要应用于轨道形变分析、轨道缺陷检测和异物侵限检测等轨道自动驾驶相关任务。随着深度神经网络理论的发展和完善，轨道线检测的效果得到显著的提升，但在实际应用落地过程仍受到一些因素的制约：复杂的光照条件，相邻轨道交叉相接和外部物体遮挡等干扰条件，并且目前轨道线相关的数据集规模较小，简单深度神经网络提取特征能力受限；传统基于深度神经网络的轨道线检测方法通过逐像素分割的方式进行检测，推理检测结果时间较长，无法满足实际应用实时性要求。
[0003]近年来，全局注意力机制逐渐被应用在图像处理领域的检测任务。相比于传统卷积神经网络，其优化了网络模型的复杂度和并行处理速度，可以捕捉特征图上任意两个位置的空间依赖信息，通过特征加权和更新来突出位置特征，使得网络模型专注于关键并具有判别性的部分。
[0004]在小样本图像检测任务中，结合检测目标的几何结构特征，优化深度神经网络的性能是一条有效的技术路径。通过结构表征和全局注意力机制的结合，既可以有效利用检测目标的几何结构信息，又补充了深度神经网络对小样本数据集的关键特征提取能力。

技术实现思路

[0005]本专利技术的主要目的是，设计一种基于结构表征和全局注意力机制的轨道线检测方法和系统，通过结构表征和全局注意力机制的结合，有效提取轨道线关键特征，提高网络模型检测的准确率和运行速率，保证应用的实时性。
[0006]为实现以上目的，本专利技术提供了一种基于结构表征和全局注意力机制的轨道线检测方法，包括以下步骤：
[0007]步骤1：、从轨道线数据库中选取多种场景的轨道线RGB图像和轨道线标注，使用图像处理函数将轨道线标注转化为标签图像，将标签图像与RGB图像进行配对，再将配对后的图像按照相应的比例划分为训练集和测试集；
[0008]步骤2、构建基于结构表征和全局注意力机制的端到端可训练的深度神经网络模型；
[0009]步骤3、将步骤1中划分好的训练集输入到深度神经网络中进行训练；以及
[0010]步骤4、将经过步骤1得到的配对的RGB图像和标签图像输入到步骤2所述的深度神经网络模型中，获得对应于每个配对图像在若干行方向的轨道线预测网格位置。
[0011]本专利技术的进一步改进在于，步骤2中所述的端到端可训练的深度神经网络模型包
括：特征提取网络、全局注意力编码网络、轨道线分类预测网络和结构表征网络。
[0012]本专利技术的进一步改进在于，所述端到端可训练的深度神经网络模型的构建过程为：
[0013]步骤2
‑
1、将步骤1配对好的RGB图像和标签图像输入到特征提取网络，得到包含轨道线纹理和位置信息的初级特征向量；
[0014]步骤2
‑
2、将步骤2
‑
1中得到的初级特征向量输入到全局注意力编码网络，得到包含轨道位置全局相关性的高级特征向量；
[0015]步骤2
‑
3、将步骤2
‑
2中得到的高级特征向量依次输入到轨道线分类预测网络和结构表征网络，得到轨道线分类预测网络损失函数和结构特征损失函数；
[0016]步骤2
‑
4、将轨道线分类预测网络损失函数和结构特征损失函数结合，得到综合的损失函数，训练轨道线检测网络模型。
[0017]本专利技术的进一步改进在于，所述步骤2
‑
1中的特征提取网络由四个残差块构成，每个残差块由两个卷积层、两个层归一化和一个激活层构成。
[0018]本专利技术的进一步改进在于，所述步骤2
‑
2中从特征提取网络提取轨道线的初级特征，紧接着全局注意力编码网络提取轨道线的高级位置特征。全局注意力编码网络由两个串联的残差块组成，第一个残差块由一个层归一化、三个全连接层、一个自注意力机制层和一个全连接层构成，第二个残差块由一个层归一化、两个全连接层、两个特征丢失层构成。
[0019]本专利技术的进一步改进在于，所述步骤2
‑
3中将配对的轨道图像划分为h
×
w个网格，h表示行方向，每个行方向上划分为w个网格，特征提取网络预测结果为轨道线在每个行方向中网格的位置Pos
j
，轨道线标签图真值位置为Tru
j
，则轨道线分类网络模型的损失函数L1为：
[0020][0021]本专利技术的进一步改进在于，所述步骤2
‑
3中结构表征网络中，对于轨道图像轨道成对出现的结构特点，以预测的左右相邻两轨道线行间距相等表征，则结构表征网络的损失函数L2为：
[0022][0023]其中，n为预测轨道线的数量，Pos
j
为预测在行方向上第j条轨道线的网格位置，||
·
||1为L1范数。
[0024]本专利技术的进一步改进在于，所述训练网络模型综合损失函数L为：L＝L1+γL2，其中λ为权重因子。
[0025]为了实现以上专利技术目的，本专利技术还提供了一种基于结构表征和全局注意力机制的轨道线检测系统，可执行前述任一项所述的方法。
[0026]本专利技术的有益效果：本专利技术有效利用卷积神经网络和全局注意力机制提取特征能力的互补性，使用特征提取网络提取初级特征，再结合全局注意力编码网络提取高级位置特征，捕捉全局位置信息的相关性。并且考虑轨道线的几何结构，以损失函数表征轨道线成对出现的结构特性，优化网络模型的训练效果。本专利技术将轨道线检测问题转化为在行方向上的分类预测任务，简化了网络模型的复杂度和计算量，相比于传统基于逐像素分割的轨
道线检测方法，较好地提升了推理检测的运行速度。
附图说明
[0027]图1为本专利技术的流程结构图。
具体实施方式
[0028]为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本专利技术进行详细描述。
[0029]需要强调的是，在描述本专利技术过程中，各种公式和约束条件分别使用前后一致的标号进行区分，但也不排除使用不同的标号标志相同的公式和/或约束条件，这样设置的目的是为了更清楚的说明本专利技术特征所在。
[0030]本专利技术是一种基于结构表征和全局注意力机制的轨道线检测方法，所述轨道线检测方法包括以下步骤：
[0031]步骤1：从轨道线数据库中选取多种场景的轨道线RGB图像和轨道线标注，使用图像处理函数将轨道线标注转化为标签图像，将标签图像与RGB图像进行配对，再将配对后的图像按照相应的比例划分为训练集和测试集；
[0032]步骤2：构建基于结构表征和全局注意力机制的端到端可训练的深度神经网络模型；
[0033]步骤3：将步骤1中划分好的训练集输入到深度神经网络中进行训练；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构表征和全局注意力机制的轨道线检测方法，其特征在于，包括以下步骤：步骤1：、从轨道线数据库中选取多种场景的轨道线RGB图像和轨道线标注，使用图像处理函数将轨道线标注转化为标签图像，将标签图像与RGB图像进行配对，再将配对后的图像按照相应的比例划分为训练集和测试集；步骤2、构建基于结构表征和全局注意力机制的端到端可训练的深度神经网络模型；步骤3、将步骤1中划分好的训练集输入到深度神经网络中进行训练；以及步骤4、将经过步骤1得到的配对的RGB图像和标签图像输入到步骤2所述的深度神经网络模型中，获得对应于每个配对图像在若干行方向的轨道线预测网格位置。2.根据权利要求1所述的基于结构表征和全局注意力机制的轨道线检测方法，其特征在于：步骤2中所述的端到端可训练的深度神经网络模型包括：特征提取网络、全局注意力编码网络、轨道线分类预测网络和结构表征网络。3.根据权利要求1所述的基于结构表征和全局注意力机制的轨道线检测方法，其特征在于：所述端到端可训练的深度神经网络模型的构建过程为：步骤2
‑
1、将步骤1配对好的RGB图像和标签图像输入到特征提取网络，得到包含轨道线纹理和位置信息的初级特征向量；步骤2
‑
2、将步骤2
‑
1中得到的初级特征向量输入到全局注意力编码网络，得到包含轨道位置全局相关性的高级特征向量；步骤2
‑
3、将步骤2
‑
2中得到的高级特征向量依次输入到轨道线分类预测网络和结构表征网络，得到轨道线分类预测网络损失函数和结构特征损失函数；步骤2
‑
4、将轨道线分类预测网络损失函数和结构特征损失函数结合，得到综合的损失函数，训练轨道线检测网络模型。4.根据权利要求3所述的基于结构表征和全局注意力机制的轨道线检测方法，其特征在于：所述步骤2
...

【专利技术属性】
技术研发人员：孙宁，郑修文，韩永朋，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：