一种应用于水中障碍物检测的轻量级语义分割方法技术

本发明专利技术公开了一种应用于水中障碍物检测的轻量级语义分割方法，包括以下步骤：S1、构建语义分割网络整体框架模型，所述整体网络框架采用PSPNet的金字塔池化架构，利用多个池化核并行提取图像中的特征信息；S2、将所述网络整体框架中模型的主干特征提取网络替换为Mobilenetv2中的bottleneck结构，减小模型的参数量；S3、在bottleneck结构中引入膨胀卷积，增大卷积核的感受野，加强特征提取；S4、采用辅助分支训练，避免局部最优化；S5、采用focal loss损失函数增大图像中难以检测部分的损失值，使得模型集中关注图像中难以检测的部分；S6、采用transformer注意力机制增加图像中各部分的联系，输出预测图像。本发明专利技术在保证检测实时性的同时，有较高的检测准确率，提升无人艇水面障碍物检测能力。艇水面障碍物检测能力。艇水面障碍物检测能力。

【技术实现步骤摘要】
一种应用于水中障碍物检测的轻量级语义分割方法


[0001]本专利技术属于深度学习领域，具体涉及一种应用于水中障碍物检测的轻量级语义分割方法。

技术介绍

[0002]水面无人艇作为一种水上机器人，通过各式传感器获取周围环境信息，无人艇在自主行进时，需要辨别障碍物和可行驶区域，这时不仅要获取周围船只、浮标等具有目标性的物体的信息，还要获取水面、岸体、码头等不具有目标性的物体信息。现有的水面无人艇环境感知方法大都基于目标检测或海岸线检测，它们都不能解析出所有这些水面场景中物体的信息，而图像语义分割是对图像像素级的分类，不受物体外观形状的影响，可以很好地满足水面无人艇在自主行进时对环境感知的需求。
[0003]为了评估应用于地面障碍物检测的语义分割网络在水中障碍物检测的表现。Cane等研究了SegNet、ESPNet和Eet在海洋数据集上的性能，他们将图像分为天空、水面、障碍物和其他四类，考虑到对障碍物检测的准确性和实时性，没有将障碍物种类进行细分。Bovcon等人同样按照上述方法研究了PSPNet、UNet和DeepLab等经典语义分割网络在海洋数据集上的表现，他们使用MasTr1325数据集进行训练，之后使用目前最具挑战性的数据集MODD2进行评价，从结果来看，使用于地面障碍物检测的语义分割网络在水面障碍物检测上性能较差，主要原因是水面是动态的，而地面是静止的，而且水中还存在倒影和反射光的干扰，增加了检测难度。针对上述情况，Bovcon等人研究了一种新型的水面障碍物检测网络WaSR，WaSR的检测性能十分突出，在MODD2的评价准确率达到了93.7％，是目前检测性能最好的语义分割网络，但是WaSR采用IMU和摄像头融合的方式，检测成本较高，而且模型参数量较大，推理速度较慢，难以满足无人艇的实时性要求。

技术实现思路

[0004]本专利技术的目的在于，提供一种应用于水中障碍物检测的轻量级语义分割方法，在保证检测实时性的同时，有较高的检测准确率，提升无人艇水面障碍物检测能力。
[0005]为解决上述技术问题，本专利技术的技术方案为：一种应用于水中障碍物检测的轻量级语义分割方法，包括以下步骤：
[0006]S1、构建语义分割网络整体框架模型，所述整体网络框架采用PSPNet的金字塔池化架构，利用多个池化核并行提取图像中的特征信息；
[0007]S2、将所述网络整体框架中模型的主干特征提取网络替换为Mobilenetv2中的bottleneck结构，用于减小模型的参数量，提高无人艇检测实时性；
[0008]S3、在bottleneck结构中引入膨胀卷积，所述膨胀卷积用于增大卷积核的感受野，从而加强特征提取；
[0009]S4、采用辅助分支训练，使得模型训练时能避免局部最优化；
[0010]S5、采用focalloss损失函数增大图像中难以检测部分的损失值，使得模型集中关
注图像中难以检测的部分；
[0011]S6、采用transformer注意力机制增加图像中各部分的联系，输出预测图像。
[0012]所述S1中PSPNet网络架构减小了模型中特征层数，使得可训练参数量较少。
[0013]所述S2中bottleneck结构采用DW卷积方式，减小了计算量和模型参数量。
[0014]所述S3中膨胀卷积通过给卷积核增加空洞，使得相同大小的卷积核在图像中的映射区域更大。
[0015]所述S4中辅助分支引入了辅助损失。
[0016]所述S5中采用的focalloss损失函数如下：
[0017]FL(pt)＝
‑
αt(1
‑
pt)
γ
log(pt)
[0018]式中，pt为预测概率，αt为权重因子，γ为聚焦参数。
[0019]通过引入辅助损失对focal loss损失函数进行改进，进一步增大难以检测目标的损失值，提高模型对于难以检测目标的关注度，改进后的focal loss函数如下：
[0020]FL
sum
(p
t
)＝
‑
λ
m
α
t
(1
‑
p
tm
)
γ
log(p
tm
)
‑
λ
b
α
t
(1
‑
p
tb
)
γ
log(p
tb
)
[0021]式中，m为主分支，b为辅助分支，λ
m
为主分支的权重参数，λ
b
为辅助分支的权重参数，p
tm
是主分支预测概率，p
tb
是辅助分支预测概率。
[0022]所述S6中针对水面的动态干扰，改进Transfomer block作为注意力机制模块，在Transformer block中multi
‑
head通过Q、K、V参数计算某一图像区域与周围图像区域的联系，使得预测图像的准确度提升。
[0023]还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述任一项所述方法的步骤。
[0024]还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述方法的步骤
[0025]与现有技术相比，本专利技术的有益效果为：
[0026]第一，解决了水面抗干扰问题。由于水面与地面不同，存在大量倒影和折射的干扰，影响到模型检测的准确率，为了提高模型对倒影和折射的抗干扰能力，本专利技术采用增大感受野的方式，提升了模型对图像中特征信息的提取能力。为了在增大感受野的同时，不产生过多计算量，本专利技术采用在bottleneck结构的DW卷积中加入膨胀卷积的方式，在卷积核中加入空洞，使得卷积核在特征图中的映射区域更大，从而增大感受野。
[0027]第二，解决了负样本难以识别问题。本专利技术中将水中障碍物设为正样本，水面天空等设为负样本，因为水面会反射天空颜色，加上雾天、强光，导致负样本难以区分，为了解决此问题，本专利技术拟采用focalloss损失函数，focalloss损失函数可以提升模型对难以检测样本的关注度，从而提升负样本的检测精度。
附图说明
[0028]图1为本专利技术实施例的流程示意图；
[0029]图2为本专利技术实施例中Unet网络模型图；
[0030]图3为本专利技术实施例中PSPNet网络模型图；
[0031]图4为本专利技术实施例中采用bottleneck结构的架构图；
[0032]图5为本专利技术实施例中膨胀卷积示意图；
[0033]图6为本专利技术实施例中引入辅助分支后的模型结构图；
[0034]图7为本专利技术实施例中完整语义分割模型图；
[0035]图8本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于水中障碍物检测的轻量级语义分割方法，其特征在于，包括以下步骤：S1、构建语义分割网络整体框架模型，所述整体网络框架采用PSPNet的金字塔池化架构，利用多个池化核并行提取图像中的特征信息；S2、将所述网络整体框架中模型的主干特征提取网络替换为Mobilenetv2中的bottleneck结构，用于减小模型的参数量，提高无人艇检测实时性；S3、在bottleneck结构中引入膨胀卷积，所述膨胀卷积用于增大卷积核的感受野，从而加强特征提取；S4、采用辅助分支训练，使得模型训练时能避免局部最优化；S5、采用focal loss损失函数增大图像中难以检测部分的损失值，使得模型集中关注图像中难以检测的部分；S6、采用transformer注意力机制增加图像中各部分的联系，输出预测图像。2.根据权利要求1所述的一种应用于水中障碍物检测的轻量级语义分割方法，其特征在于，所述S1中PSPNet网络架构减小了模型中特征层数，使得可训练参数量较少。3.根据权利要求1所述的一种应用于水中障碍物检测的轻量级语义分割方法，其特征在于，所述S2中bottleneck结构采用DW卷积方式，减小了计算量和模型参数量。4.根据权利要求1所述的一种应用于水中障碍物检测的轻量级语义分割方法，其特征在于，所述S3中膨胀卷积通过给卷积核增加空洞，使得相同大小的卷积核在图像中的映射区域更大。5.根据权利要求1所述的一种应用于水中障碍物检测的轻量级语义分割方法，其特征在于，所述S4中辅助分支引入了辅助损失。6.根据权利要求5所述的一种应用于水中障碍物检测的轻量级语义分割方法，其特征在于，所述S5中采用的focal loss损失函数如下：FL(pt)＝
‑
αt(1
‑
pt)
γ
log(pt)式中，pt为预测概率，αt为权重因子，γ为聚焦参数。7.根据权利要求6所述的一种应用于水中障碍物检测的轻量级语义分割方法...

【专利技术属性】
技术研发人员：王强，蔡启烈，刘建新，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：