一种图像实例分割方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种图像实例分割方法、装置、设备及存储介质，方法包括：提取图像的特征，获取特征图；通过自注意力模块提取特征图的多尺度信息，得到不同尺度的特征图，然后与通过1×1卷积调整维度得到的特征图点乘，为特征图引入像素级注意力；压缩特征图的空间维度，将特征图实数化，对低层特征图进行加权；将加权后的特征图与高层特征图融合，得到新的特征图；通过目标检测和语义分割对融合后特征图进行分类，获取目标检测和语义分割特征图；基于获取目标检测和语义分割特征图进行图像分割，获得分割结果。本发明专利技术通过自注意力模块和路径增强模块为后续特征融合提供了更为优秀的语义指导，为后续网络的训练学习减少了一定的噪声影响。

【技术实现步骤摘要】
一种图像实例分割方法、装置、设备及存储介质
本专利技术涉及人工智能领域，具体而言，涉及一种图像实例分割方法、装置、设备及存储介质。
技术介绍
图像实例分割问题是计算机视觉领域的一个极为重要的子问题，其主要目的是将图像中人们感兴趣的物体精确地从图像中截取出来，以此来避免背景的干扰，方便后续的处理。实例分割本身包含很多支线问题，分别是目标检测和语义分割。每一点的提升对于最后的结果的改善都是极为重要的，因此本文的改进方向也可以从这两个地方出发。早期图像分割并没有实例分割和语义分割的区分，目的就是将前背景图像区分开。早期的图像分割发展技术主要有以下两个方向：基于阈值的图像分割算法使用阈值来进行图像分割的算法是最常用的图像分割算法之一，其主要思想是将图像的每个像素的灰度值与阈值相比较，之后进行分类，得到最终的二值图像，将目标与背景分隔开。因此，阈值法的重点就是如何找到最优的灰度阈值。经典的算法有OTSU大津法，通过将不同类别间的方差最大化来求取最佳阈值。除此之外还有均值法，直方图双峰法，迭代阈值法等多种算法。<br>阈值法本身具有本文档来自技高网...

【技术保护点】
1.一种图像实例分割方法，其特征在于，包括以下步骤：/n提取输入到卷积神经网络图像的特征，获取五个不同分辨率的特征图；/n通过自注意力模块提取所述特征图的多尺度信息，得到不同尺度的特征图；/n基于所述得到不同尺度的特征图，与通过1×1卷积调整维度得到的特征图点乘，从而为特征图引入像素级注意力；/n压缩特征图的空间维度，将特征图实数化，基于所述维度和实数，对低层级特征图进行加权；/n将加权后的特征图与高层特征图融合，得到低层级对应的新的特征图；/n通过目标检测和语义分割对融合后特征图进行分类，获取目标检测和语义分割特征图；/n基于获取目标检测和语义分割特征图进行图像分割，获得分割结果。/n

【技术特征摘要】
1.一种图像实例分割方法，其特征在于，包括以下步骤：
提取输入到卷积神经网络图像的特征，获取五个不同分辨率的特征图；
通过自注意力模块提取所述特征图的多尺度信息，得到不同尺度的特征图；
基于所述得到不同尺度的特征图，与通过1×1卷积调整维度得到的特征图点乘，从而为特征图引入像素级注意力；
压缩特征图的空间维度，将特征图实数化，基于所述维度和实数，对低层级特征图进行加权；
将加权后的特征图与高层特征图融合，得到低层级对应的新的特征图；
通过目标检测和语义分割对融合后特征图进行分类，获取目标检测和语义分割特征图；
基于获取目标检测和语义分割特征图进行图像分割，获得分割结果。


2.根据权利要求1所述的一种图像实例分割方法，其特征在于，所述多尺度特征图通过U型结构获得，所述U型结构融合多种不同金字塔尺度的特征，所述金字塔使用多种不同的卷积核提取特征，获取特征图。


3.根据权利要求1所述的一种图像实例分割方法，其特征在于，所述基于所述得到的不同尺度的特征图，与通过1×1卷积调整维度的得到的特征图点乘，点乘后的特征图通过全局池化处理，得到具有最强全局信息的特征图。


4.根据权利要求1所述的一种图像实例分割方法，其特征在于，所述加权过程为：






其中，zc表示输出的实数数组，H和W是特征图的高和宽，i，j表示特征图的坐标，uc是特征图的维度，将H×W×C的输入特征图转换为1×1×C的输出，结果代表这个特征图在空间维度上每一层对应的全局信息。


5.一种图像实例分割装置，其特征在于，包括:
第一提取模块，用于提取输入到卷积神经网络图像的特征，获取五个不同分辨率的特征图；
第二提取模块，用于通过自注意力模块提取所述特征图的多尺度信息，得到不同尺度的特征图；
点乘...

【专利技术属性】
技术研发人员：杜吉祥，程海峰，张洪博，翟传敏，
申请(专利权)人：华侨大学，
类型：发明
国别省市：福建;35