System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于局部-全局上下文引导的实时水面语义分割方法技术_技高网

一种基于局部-全局上下文引导的实时水面语义分割方法技术

技术编号:40393590 阅读:6 留言:0更新日期:2024-02-20 22:23
本发明专利技术公开了一种基于局部‑全局上下文引导的实时水面语义分割网络的方法,包括以下步骤:从公开数据集中按照9:1的比例划分训练集和测试集;设置训练参数,将测试集输入到经过训练集训练后的基于局部‑全局上下文引导的实时水面语义分割网络中,得到语义分割结果。本发明专利技术的局部‑全局模块包含密集空洞特征提取模块和上下文增强的可分离自注意力两个部分,其中密集空洞特征提取模块实现对局部细节信息的增强,上下文增强的可分离自注意力实现模型感受野扩大。此外,本发明专利技术还利用亚像素下采样模块来避免特征信息的损失以提高分割精度。实验证明本发明专利技术在取得高精度、减少模型大小及提高实时性方面取得了良好的平衡。

【技术实现步骤摘要】

本专利技术涉及一种语义分割方法,尤其是一种基于局部-全局上下文引导的实时水面语义分割的方法。


技术介绍

1、无人艇在作业期间有效避免与静态障碍物如岸边、木桩和动态障碍物如行驶中的船舶的碰撞能够延长无人艇续航能力以及工作效率。光电摄像头相较于其他避障设备如雷达和声纳,不仅具备更广泛的应用场景,且其价格更具优势。对光电摄像头捕捉的画面进行静态和动态障碍物的实时语义分割能够实现无人艇对环境的实时感知、保障其航行安全。因此,研究在嵌入式设备上进行实时检测的水面语义分割方法极为重要。

2、基于深度学习的语义分割方法相较于传统方法在应用场景、分割精度及运行速度上都更有优势。但由于嵌入式设备的内存资源有限、水面语义分割物体尺度变化范围大等因素,现有的常用语义分割网络并不能满足。

3、fcn(参考文献:long j,shelhamer e,darrell t.fully convolutionalnetworks for semantic segmentation[c]//proceedings of the ieee conference oncomputer vision and pattern recognition.2015:3431-3440.)是典型的全卷积结构,通过对图像进行不断地卷积和池化获得特征信息并得到分割结果。但由于多次卷积后特征图的尺寸和分辨率降低,图像细节信息丢失,导致分割结果的边界精度欠缺;unet(参考文献:ronneberger o,fischer p,brox t.u-net:convolutional networks for biomedicalimage segmentation[c]//medical image computing and computer-assistedintervention–miccai 2015:18th international conference,munich,germany,october5-9,2015,proceedings,part iii 18.springer international publishing,2015:234-241.)和segnet(参考文献:badrinarayanan v,kendall a,cipolla r.segnet:a deepconvolutional encoder-decoder architecture for image segmentation[j].ieeetransactions on pattern analysis and machine intelligence,2017,39(12):2481-2495.)采用编码器-解码器结构,输入的图像首先经由编码器逐层降低分辨率获得包含丰富语义信息的特征图,然后经过解码器对低分辨率的图像进行上采样并解码获得最终的分割预测结果,有效提升了分割精确度;deeplab(参考文献:chen l c,zhu y,papandreou g,et al.encoder-decoder with atrous separable convolution for semantic imagesegmentation[c]//proceedings of the european conference on computer vision(eccv).2018:801-818.)利用空洞卷积实现下采样和池化操作,保证特征图高分辨率、避免了由于池化下采样造成的细节信息缺失且无法重建的问题,与此同时,空洞卷积的使用在不增加参数量和计算量的情况下扩大了特征图感受野,为语义分割提供了更多的全局信息。这些方法虽然在分割任务上取得了很好的精度,但是都没有考虑计算成本和运行速度。


技术实现思路

1、为解决现有技术存在的上述问题,本专利技术要设计一种在保证计算成本更低及运行速度更快的情况下,保有相对较高的分割精度的基于局部-全局上下文引导的实时水面语义分割的方法。

2、为了实现上述目的,本专利技术的技术方案如下:一种基于局部-全局上下文引导的实时水面语义分割网络的方法,包括以下步骤:

3、a、从公开数据集中按照9:1的比例划分训练集和测试集;所述的公开数据集为mastr1325的数据集,包括1325张图片,所述图片的大小均为384×512;

4、b、设置训练参数,将测试集输入到经过训练集训练后的基于局部-全局上下文引导的实时水面语义分割网络中,得到语义分割结果。

5、进一步地,所述基于局部-全局上下文引导的实时水面语义分割网络的分割方法如下:输入的图片首先经过连续的三个3×3卷积,然后采用亚像素进行下采样以及经过局部-全局模块提取特征信息,再经过两次亚像素下采样以及局部-全局模块,输出的结果与网络最先经过的三个3×3卷积的特征图进行拼接,然后经过一个1×1卷积以及上采样,输出的特征图再次与经过第一个局部-全局模块的特征图进行融合,融合后的特征图经过一个1×1卷积及上采样后得到的特征图再与经过第2个局部-全局模块的特征图进行拼接,拼接后的特征图经过一个1×1卷积后输出结果。

6、所述局部-全局模块由密集空洞特征提取模块和上下文增强的可分离自注意力构成;所述密集空洞特征提取模块由四组3×1和1×3的空洞卷积组成,每组的输出都与前面的输出相融合;所述上下文增强的可分离自注意力将输入分成k、q和v三个通道,每个通道分别经过全连接层后,k通道与经过归一化的q通道进行逐元素相乘和相加,得到的结果与经过激活函数的v通道进行逐元素相乘,最后通过全连接层并与经过全连接层的k通道和输入逐元素相加得到最终的输出结果。

7、进一步的,所述的训练参数包括:批处理大小为6,类别数为4,初始学习率为0.0001,迭代次数为200。

8、进一步的,所述的步骤b还包括:调整待语义分割的图像的大小为384×512。

9、进一步的,所述的待语义分割数据集由无人船的艇载摄像头实时采集得到。

10、与现有的技术相比,本专利技术的优点在于;

11、本专利技术提出了局部-全局模块。局部-全局模块包含密集空洞特征提取模块和上下文增强的可分离自注意力两个部分,其中密集空洞特征提取模块实现对局部细节信息的增强,上下文增强的可分离自注意力实现模型感受野扩大。此外,本专利技术还利用亚像素下采样模块来避免特征信息的损失以提高分割精度。经过实验,本专利技术仅用68.9万个参数和每秒9.068g的浮点运算数实现了接近于最先进的语义分割模型的分割精度,其miou为84.14。另外,本专利技术的处理速度为34.86fps,符合市场上光电设备的帧频条件。实验证明本专利技术在取得高精度、减少模型大小及提高实时性方面取得了良好的平衡。

本文档来自技高网...

【技术保护点】

1.一种基于局部-全局上下文引导的实时水面语义分割网络的方法,其特征在于:包括以下步骤:

2.根据权利要求1所述一种基于局部-全局上下文引导的实时水面语义分割网络的方法,其特征在于:所述基于局部-全局上下文引导的实时水面语义分割网络的分割方法如下:输入的图片首先经过连续的三个3×3卷积,然后采用亚像素进行下采样以及经过局部-全局模块提取特征信息,再经过两次亚像素下采样以及局部-全局模块,输出的结果与网络最先经过的三个3×3卷积的特征图进行拼接,然后经过一个1×1卷积以及上采样,输出的特征图再次与经过第一个局部-全局模块的特征图进行融合,融合后的特征图经过一个1×1卷积及上采样后得到的特征图再与经过第2个局部-全局模块的特征图进行拼接,拼接后的特征图经过一个1×1卷积后输出结果;

3.根据权利要求1所述一种基于局部-全局上下文引导的实时水面语义分割网络的方法,其特征在于:所述的训练参数包括:批处理大小为6,类别数为4,初始学习率为0.0001,迭代次数为200。

4.根据权利要求1所述一种基于局部-全局上下文引导的实时水面语义分割网络的方法,其特征在于:所述的步骤B还包括:调整待语义分割的图像的大小为384×512。

5.根据权利要求1所述一种基于局部-全局上下文引导的实时水面语义分割网络的方法,其特征在于:所述的待语义分割数据集由无人船的艇载摄像头实时采集得到。

...

【技术特征摘要】

1.一种基于局部-全局上下文引导的实时水面语义分割网络的方法,其特征在于:包括以下步骤:

2.根据权利要求1所述一种基于局部-全局上下文引导的实时水面语义分割网络的方法,其特征在于:所述基于局部-全局上下文引导的实时水面语义分割网络的分割方法如下:输入的图片首先经过连续的三个3×3卷积,然后采用亚像素进行下采样以及经过局部-全局模块提取特征信息,再经过两次亚像素下采样以及局部-全局模块,输出的结果与网络最先经过的三个3×3卷积的特征图进行拼接,然后经过一个1×1卷积以及上采样,输出的特征图再次与经过第一个局部-全局模块的特征图进行融合,融合后的特征图经过一个1×1卷积及上采样后得到的特征图再与经...

【专利技术属性】
技术研发人员:刘婷罗佩琪
申请(专利权)人:大连海事大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1