非结构化道路的语义分割方法、装置、芯片、终端和设备制造方法及图纸

本申请提供了一种非结构化道路的语义分割方法、装置、芯片、终端和设备，涉及数据处理技术领域。该方法包括：获取非结构化道路图像；将非结构化道路图像输入至非结构化道路语义分割模型，输出语义分割结果；非结构化道路语义分割模型中残差结构对图像进行特征提取，输出提取特征；第一捷径连接结构将提取特征传递至金字塔卷积结构和合并预测结构；金字塔卷积结构对提取特征进行卷积处理，输出多个不同尺度的初级特征，再将多个初级特征与提取特征分别进行加法融合，生成多个融合特征；注意力结构对多个融合特征进行特征强化处理，输出多个强化特征；合并预测结构将多个强化特征以及提取特征进行合并及预测，输出语义分割结果。输出语义分割结果。输出语义分割结果。

【技术实现步骤摘要】
非结构化道路的语义分割方法、装置、芯片、终端和设备


[0001]本申请涉及数据处理
，尤其是涉及到一种非结构化道路的语义分割方法、装置、芯片、终端、设备和介质。

技术介绍

[0002]矿区无人驾驶技术的关键在于对周围环境的准确感知，根据感知结果制定相应的决策规划，环境感知系统主要利用视觉传感器来获取路面信息，并通过图像识别算法识别可行驶区域，为决策和路径规划模块提供必要信息，其中，可行驶区域包括结构化道路和非结构化道路。
[0003]相关技术中，基于深度学习的语义分割方法，凭借像素级分割的能力成为实现可行驶区域识别的重要方法。但是，矿区道路边缘大多不规则、不清晰，道路环境较为复杂，直接使用传统的语义分割模型对非结构化道路进行识别的效果不佳。

技术实现思路

[0004]有鉴于此，本申请提供了一种非结构化道路的语义分割方法、装置、芯片、终端、设备和介质，提升了对非结构化道路的语义分割性能。
[0005]第一方面，本申请实施例提供了一种非结构化道路的语义分割方法，包括：
[0006]获取非结构化道路图像；
[0007]将非结构化道路图像输入至非结构化道路语义分割模型，输出对非结构化道路图像的语义分割结果；
[0008]其中，非结构化道路语义分割模型包括残差结构、第一捷径连接结构、金字塔卷积结构、注意力结构以及合并预测结构；残差结构用于对非结构化道路图像进行特征提取，输出提取特征，提取特征分别输出至第一捷径连接结构和金字塔卷积结构；第一捷径连接结构用于将提取特征分别传递至金字塔卷积结构和合并预测结构；金字塔卷积结构用于对由残差结构传递的提取特征进行卷积处理，输出多个不同尺度的初级特征，再将多个初级特征与由第一捷径连接结构传递的提取特征分别进行加法融合，生成多个融合特征；注意力结构用于对多个融合特征进行特征强化处理，输出多个强化特征；合并预测结构用于将多个强化特征以及由第一捷径连接结构传递的提取特征进行合并及预测，输出语义分割结果。
[0009]根据本申请实施例的上述方法，还可以具有以下附加技术特征：
[0010]在上述技术方案中，可选地，非结构化道路语义分割模型还包括：采样处理结构，连接于注意力结构和合并预测结构之间，用于对多个强化特征进行采样处理，以调整多个强化特征的尺寸和通道数。
[0011]在上述任一技术方案中，可选地，金字塔卷积结构包括串联的卷积网络和上级特征融合网络；其中，卷积网络用于对由残差结构传递的提取特征进行卷积处理，输出多个不同尺度的初级特征；上级特征融合网络用于将多个初级特征与由第一捷径连接结构传递的
提取特征分别进行加法融合，生成多个融合特征。
[0012]在上述任一技术方案中，可选地，卷积网络包括第一卷积支路、第二卷积支路、第三卷积支路和第四卷积支路，第一卷积支路、第二卷积支路、第三卷积支路和第四卷积支路的输入为由残差结构传递的提取特征，输出分别为第一初级特征、第二初级特征、第三初级特征和第四初级特征；上级特征融合网络包括串联的第一融合模块、第二融合模块、第三融合模块和第四融合模块；其中，第一融合模块分别与第一卷积支路、第一捷径连接结构连接，用于对第一初级特征和由第一捷径连接结构传递的提取特征进行加法融合，输出第一融合特征，第二融合模块与第二卷积支路连接，用于对第二初级特征和第一融合特征进行加法融合，输出第二融合特征，第三融合模块与第三卷积支路连接，用于对第三初级特征和第二融合特征进行加法融合，输出第三融合特征，第四融合模块与第四卷积支路连接，用于对第四初级特征和第三融合特征进行加法融合，输出第四融合特征。
[0013]在上述任一技术方案中，可选地，上级特征融合网络还包括第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；其中，第一卷积模块连接于第一捷径连接结构和第一融合模块之间，第二卷积模块连接于第一融合模块和第二融合模块之间，第三卷积模块连接于第二融合模块和第三融合模块之间，第四卷积模块连接于第三融合模块和第四融合模块之间。
[0014]在上述任一技术方案中，可选地，第一卷积支路、第二卷积支路、第三卷积支路和第四卷积支路的卷积核大小分别为1
×
1、3
×
3、5
×
5和7
×
7。
[0015]在上述任一技术方案中，可选地，注意力结构包括多个子结构，任一子结构包括第一合并模块以及相互并联的权重结构、第二捷径连接结构，权重结构用于根据金字塔卷积结构输出的融合特征确定权重向量，第一合并模块用于将权重向量与第二捷径连接结构传递的融合特征进行合并，生成强化特征。
[0016]在上述任一技术方案中，可选地，权重结构包括依次连接的全局池化层、第五卷积模块、第一激活函数模块和第二激活函数模块，池化层和第五卷积模块用于获取金字塔卷积结构输出的融合特征的语义信息，第一激活函数模块和第二激活函数模块用于根据语义信息生成权重向量。
[0017]在上述任一技术方案中，可选地，合并预测结构包括串联的第二合并模块、第三合并模块和卷积预测模块；其中，第二合并模块用于将多个强化特征进行合并，输出第一合并特征；第三合并模块用于将第一合并特征与由第一捷径连接结构传递的提取特征进行合并，输出第二合并特征；卷积预测模块用于对第二合并特征进行卷积预测操作，输出语义分割结果。
[0018]第二方面，本申请实施例提供了一种非结构化道路的语义分割装置，包括：
[0019]获取单元，用于获取非结构化道路图像；
[0020]预测单元，用于将非结构化道路图像输入至非结构化道路语义分割模型，输出对非结构化道路图像的语义分割结果；
[0021]其中，非结构化道路语义分割模型包括残差结构、第一捷径连接结构、金字塔卷积结构、注意力结构以及合并预测结构；残差结构用于对非结构化道路图像进行特征提取，输出提取特征，提取特征分别输出至第一捷径连接结构和金字塔卷积结构；第一捷径连接结构用于将提取特征分别传递至金字塔卷积结构和合并预测结构；金字塔卷积结构用于对由
残差结构传递的提取特征进行卷积处理，输出多个不同尺度的初级特征，再将多个初级特征与由第一捷径连接结构传递的提取特征分别进行加法融合，生成多个融合特征；注意力结构用于对多个融合特征进行特征强化处理，输出多个强化特征；合并预测结构用于将多个强化特征以及由第一捷径连接结构传递的提取特征进行合并及预测，输出语义分割结果。
[0022]第三方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的方法。
[0023]第四方面，本申请实施例提供了一种终端，该终端包括如第二方面的装置。
[0024]第五方面，本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。
[0025]第六方面，本申请实施例提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非结构化道路的语义分割方法，其特征在于，包括：获取非结构化道路图像；将所述非结构化道路图像输入至非结构化道路语义分割模型，输出对所述非结构化道路图像的语义分割结果；其中，所述非结构化道路语义分割模型包括残差结构、第一捷径连接结构、金字塔卷积结构、注意力结构以及合并预测结构；所述残差结构用于对所述非结构化道路图像进行特征提取，输出提取特征，所述提取特征分别输出至所述第一捷径连接结构和所述金字塔卷积结构；所述第一捷径连接结构用于将所述提取特征分别传递至所述金字塔卷积结构和所述合并预测结构；所述金字塔卷积结构用于对由所述残差结构传递的所述提取特征进行卷积处理，输出多个不同尺度的初级特征，再将多个所述初级特征与由所述第一捷径连接结构传递的所述提取特征分别进行加法融合，生成多个融合特征；所述注意力结构用于对多个所述融合特征进行特征强化处理，输出多个强化特征；所述合并预测结构用于将多个所述强化特征以及由所述第一捷径连接结构传递的所述提取特征进行合并及预测，输出所述语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述非结构化道路语义分割模型还包括：采样处理结构，连接于所述注意力结构和所述合并预测结构之间，用于对多个所述强化特征进行采样处理，以调整多个所述强化特征的尺寸和通道数。3.根据权利要求1所述的方法，其特征在于，所述金字塔卷积结构包括串联的卷积网络和上级特征融合网络；其中，所述卷积网络用于对由所述残差结构传递的所述提取特征进行卷积处理，输出多个不同尺度的初级特征；所述上级特征融合网络用于将多个所述初级特征与由所述第一捷径连接结构传递的所述提取特征分别进行加法融合，生成多个融合特征。4.根据权利要求3所述的方法，其特征在于，所述卷积网络包括第一卷积支路、第二卷积支路、第三卷积支路和第四卷积支路，所述第一卷积支路、所述第二卷积支路、所述第三卷积支路和所述第四卷积支路的输入为由所述残差结构传递的所述提取特征，输出分别为第一初级特征、第二初级特征、第三初级特征和第四初级特征；所述上级特征融合网络包括串联的第一融合模块、第二融合模块、第三融合模块和第四融合模块；其中，所述第一融合模块分别与所述第一卷积支路、所述第一捷径连接结构连接，用于对所述第一初级特征和由所述第一捷径连接结构传递的所述提取特征进行加法融合，输出第一融合特征，所述第二融合模块与所述第二卷积支路连接，用于对所述第二初级特征和所述第一融合特征进行加法融合，输出第二融合特征，所述第三融合模块与所述第三卷积支路连接，用于对所述第三初级特征和所述第二融合特征进行加法融合，输出第三融合特征，所述第四融合模块与所述第四卷积支路连接，用于对所述第四初级特征和所述第三融合特征进行加法融合，输出第四融合特征；所述上级特征融合网络还包括第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；其中，所述第一卷积模块连接于所述第一捷径连接结构和所述第一融合模块之间，所述第二卷积模块连接于所述第一融合模块和所述第二融合模块之间，所述第三卷积模块连
接于所述第二融合模块和所述第三融合模块之间，所述第四卷积模块连接于所述第三融合模块和所述第四融合模块之间；所述第一卷积支路、所述第二卷积支路、所述...

【专利技术属性】
技术研发人员：刘强，赵耀忠，曹鋆程，田文明，咸金龙，刘跃，房圆武，郑树坤，吴镇宇，沈洋，
申请(专利权)人：华能伊敏煤电有限责任公司，
类型：发明
国别省市：