【技术实现步骤摘要】
本专利技术涉及一种基于混合注意力机制和关联像素的轨道线检测方法及系统，属于图像处理。
技术介绍
1、目前轨道线检测技术已经成为计算机视觉和人工智能领域研究的重要分支，主要应用于轨道缺陷检测、轨道形变分析和异物侵限检测等轨道自动驾驶相关任务。
2、近年来，深度神经网络由于其较高的推理速度、鲁棒性以及学习低级和高级语义信息的能力，在图像分割和目标检测方面取得了显著的成果，但在实际应用落地过程仍受到一些因素的制约：强光、黑夜、外部物体遮挡等干扰条件，并且目前轨道线相关的数据集规模较小，简单深度神经网络提取特征能力受限；更重要的是，目前轨道线检测的分割方法对于具有复杂纹理和背景混乱的图像，轨道线的检测效果仍然不好，同时目前基于深度学习的轨道线检测方法没有考虑到轨道线在图像中的整体特性，导致对轨道线的检测效果较差。
3、近年来，混合注意力机制逐渐被应用在图像处理领域的检测任务。相比于传统卷积神经网络，在空间和通道层面上分别进行自适应的特征加权处理，更好的捕捉不同尺度上的特征信息。
4、在小样本图像检测任务中，结合检测目标的几何结构特征，优化深度神经网络的性能是一条有效的技术路径。通过混合注意力机制和关联像素的结合，既可以有效利用检测目标的结构位置特征，又增强了深度神经网络对轨道线类小型数据集的特征提取能力。
5、有鉴于此，确有必要提出一种基于混合注意力机制和关联像素的轨道线检测方法和系统，以解决上述问题。
技术实现思路
1、本专利技术目的在于提
2、为实现上述目的，本专利技术提供了一种基于混合注意力机制和关联像素的轨道线检测方法，包括如下步骤：
3、步骤1、从轨道线数据库中选取多种场景的彩色轨道图像和轨道线标注，轨道线标注经过图像处理函数转化为二进制掩码，将所述二进制掩码与所述彩色轨道图像进行配对，再将配对后的图像按照相应的比例划分为训练集和测试集；
4、步骤2、构建基于混合注意力机制和关联像素的端到端可训练的轨道线检测网络模型；
5、步骤3、将所述步骤1中划分好的所述训练集输入到所述轨道线检测网络模型进行训练；
6、步骤4、将经过所述步骤1得到的配对的彩色轨道图像和二进制掩码输入到所述步骤2的轨道线检测网络模型中，获得每个像素点的周围像素点特征信息，实现对水平关联像素域和垂直关联像素域的预测。
7、作为本专利技术进一步的改进，所述步骤2中的端到端可训练的轨道线检测网络模型包括基础特征提取网络、混合注意力机制编码网络、后处理聚类网络。
8、作为本专利技术进一步的改进，所述步骤2具体包括以下步骤：
9、步骤21、将步骤1配对好的彩色图像和二进制掩码输入到特征提取网络，得到包含轨道线特征和位置信息的基础特征信息；
10、步骤22、将所述步骤21中得到的基础特征信息输入到混合注意力机制编码网络，得到包含轨道空间和通道层面的水平和垂直关联像素；
11、步骤23、将所述步骤22中得到的水平和垂直关联像素与二进制掩码依次输入后处理聚类网络中，将车道像素聚类，得到相应的车道实例；
12、步骤24、根据轨道图片中轨道和背景不平衡的条件，使用交叉熵损失函数，训练轨道线检测网络模型。
13、作为本专利技术进一步的改进，所述步骤21中的特征提取网络由编码器和译码器结合，所述编码器用来进行高层次语义特征提取，所述高层次语义特征包括对象的形状、纹理和结构；所述译码器用于对图像分割和像素级别的语义进行分析并捕获图像中的细节和边缘信息。
14、作为本专利技术进一步的改进，所述步骤22中从特征提取网络提取轨道线的基础特征信息，后续混合注意力网络模块来实现更深度层次的特征提取，包括空间和通道；所述混合注意力网络模块包括通道注意力模块和空间注意力模块，所述通道注意力模块用以突出重要的特征，所述空间混合注意力模块用以关注像素点周围的特征信息。
15、作为本专利技术进一步的改进，所述步骤23中，为所述轨道图片中的所有像素点分配一个水平关联向量和一个垂直关联向量，所述水平关联向量指向每一行中每一条轨道线实例的中心，通过所述步骤1中获取的二进制掩码在水平方向上将轨道线像素点聚合成不同的轨道线部分，所述垂直关联向量指向上一行轨道线的中心，进而将不同行的轨道线部分连成一条轨道线实例，然后将所述车道线实例保存在一个矩阵中，并将所述矩阵作为输出返回。作为本专利技术进一步的改进，所述步骤24的损失函数，交叉熵损失用于解决轨道线和背景类别不平衡问题，通过调整损失函数的权重，偏重关注难以分类的样本，减少对容易分类的样本的关注。
16、本专利技术的另一目的在于提供一种应用上述方法的基于混合注意力机制和关联像素的轨道线检测系统。
17、为实现上述目的，本专利技术提供了一种基于混合注意力机制和关联像素的轨道线检测系统，应用上述的方法进行轨道线检测。
18、本专利技术的有益效果是包括：本专利技术有效利用卷积神经网络和混合注意力机制提取特征能力的互补性，使用基础特征提取网络提取初级特征，再结合混合注意力编码网络得到包含轨道空间和通道层面的水平和垂直关联像素。最后与二进制编码实现轨道线实例的聚类。其中采用交叉熵损失函数来应对轨道线数据集中轨道线和背景不均匀的问题。总而言之，本专利技术提供的混合注意力机制和关联像素网络提高了轨道线检测的准确率，有效的改善了真实环境下面目前对复杂轨道线检测的准确度，更有利于今后自动驾驶领域的发展。
本文档来自技高网...【技术保护点】
1.一种基于混合注意力机制和关联像素的轨道线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于混合注意力机制和关联像素的轨道线检测方法，其特征在于：所述步骤2中的端到端可训练的轨道线检测网络模型包括基础特征提取网络、混合注意力机制编码网络、后处理聚类网络。
3.根据权利要求1所述的基于混合注意力机制和关联像素的轨道线检测方法，其特征在于，所述步骤2包括以下步骤：
4.根据权利要求3所述的基于混合注意力机制和关联像素的轨道线检测方法，其特征在于：所述步骤21中的特征提取网络由编码器和译码器结合，所述编码器用来进行高层次语义特征提取，所述高层次语义特征包括对象的形状、纹理和结构；所述译码器用于对图像分割和像素级别的语义进行分析并捕获图像中的细节和边缘信息。
5.根据权利要求3所述的基于混合注意力机制和关联像素的轨道线检测方法，其特征在于：所述步骤22中从特征提取网络提取轨道线的基础特征信息，后续混合注意力网络模块来实现更深度层次的特征提取，包括空间和通道；所述混合注意力网络模块包括通道注意力模块和空间注意力模块，所述通道
6.根据权利要求4所述的基于混合注意力机制和关联像素的轨道线检测方法，其特征在于：所述步骤23中，为所述轨道图片中的所有像素点分配一个水平关联向量和一个垂直关联向量，所述水平关联向量指向每一行中每一条轨道线实例的中心，通过所述步骤1中获取的二进制掩码在水平方向上将轨道线像素点聚合成不同的轨道线部分，所述垂直关联向量指向上一行轨道线的中心，进而将不同行的轨道线部分连成一条轨道线实例，然后将所述车道线实例保存在一个矩阵中，并将所述矩阵作为输出返回。
7.根据权利要求5所述的基于混合注意力机制和关联像素的轨道线检测方法，其特征在于：所述步骤24的损失函数，交叉熵损失用于解决轨道线和背景类别不平衡问题，通过调整损失函数的权重，偏重关注难以分类的样本，减少对容易分类的样本的关注。
8.一种基于混合注意力机制和关联像素的轨道线检测系统，其特征在于，应用权利要求1～7中任意一项所述的方法进行轨道线检测。
...【技术特征摘要】
1.一种基于混合注意力机制和关联像素的轨道线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于混合注意力机制和关联像素的轨道线检测方法，其特征在于：所述步骤2中的端到端可训练的轨道线检测网络模型包括基础特征提取网络、混合注意力机制编码网络、后处理聚类网络。
3.根据权利要求1所述的基于混合注意力机制和关联像素的轨道线检测方法，其特征在于，所述步骤2包括以下步骤：
4.根据权利要求3所述的基于混合注意力机制和关联像素的轨道线检测方法，其特征在于：所述步骤21中的特征提取网络由编码器和译码器结合，所述编码器用来进行高层次语义特征提取，所述高层次语义特征包括对象的形状、纹理和结构；所述译码器用于对图像分割和像素级别的语义进行分析并捕获图像中的细节和边缘信息。
5.根据权利要求3所述的基于混合注意力机制和关联像素的轨道线检测方法，其特征在于：所述步骤22中从特征提取网络提取轨道线的基础特征信息，后续混合注意力网络模块来实现更深度层次的特征提取，包括空间和通道；所述混合注意力网络模块包括通道...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。