基于多尺度池化建模的伪装物体实例分割方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于多尺度池化建模的伪装物体实例分割方法、装置及系统，其中方法包括：获取待分割图像；使用带有实例级标签的伪装物体数据对模型进行监督训练，通过监督训练得到待分割图像的多尺度特征的提取结果；基于多尺度特征的提取结果，对待分割图像中的伪装物体利用多尺度池化方式进行处理，得到高分辨率掩码特征和包含全局信息的实例感知结果；基于实例感知结果，利用融合空间注意力的实例归一化方法聚焦高分辨掩码特征，输出模型的预测实例结果。本发明专利技术的技术方案能解决现有实例分割技术在伪装图像数据中分割性能较差的问题。题。题。

【技术实现步骤摘要】
基于多尺度池化建模的伪装物体实例分割方法、装置及系统


[0001]本专利技术涉及图像分割
，特别是涉及基于多尺度池化建模的伪装物体实例分割方法、装置及系统。

技术介绍

[0002]根据生物学家的有关研究表明，伪装生物与其周围环境具有高度的相似性，这使得伪装物体的相关视觉任务相比普通物体更具挑战性。近年来，随着伪装物体检测方向的发展，伪装物体实例分割任务也在逐渐发展。
[0003]目前，伪装物体实例分割任务要求算法模型能够在实例级上理解图像中的伪装语义信息，并从图像中分割出伪装物体的所属区域。
[0004]同时研究发现，在多尺度池化建模技术的应用下，提取图像中伪装物体在不同尺度下的细节信息，包括：纹理、形状和边缘等，能够进一步提升算法模型对于伪装物体的信息理解能力，从而提升模型的分割性能。

技术实现思路

[0005]为了解决现有技术的不足，本专利技术提供了基于多尺度池化建模的伪装物体实例分割方法、装置及系统；上述基于多尺度池化建模的伪装物体实例分割方法可用于检测图片中的伪装物体并将其实例级像素分割出来。用户提供一张图像，算法会自动分割出图像中包含有伪装物体的实例级像素区域。
[0006]第一方面，本专利技术提供了一种基于多尺度池化建模的伪装物体实例分割方法；
[0007]获取待分割图像；使用带有实例级标签的伪装物体数据对模型进行监督训练，通过所述监督训练得到待分割图像的多尺度特征的提取结果；
[0008]基于所述多尺度特征的提取结果，对待分割图像中的伪装物体利用多尺度池化方式进行处理，得到高分辨率掩码特征和包含全局信息的实例感知结果；
[0009]基于所述实例感知结果，利用融合空间注意力的实例归一化方法聚焦所述高分辨掩码特征，输出模型的预测实例结果。
[0010]第二方面，本专利技术提供了一种基于多尺度池化建模的伪装物体实例分割系统；
[0011]基于多尺度池化建模的伪装物体实例分割系统，包括：
[0012]多尺度特征获取模块，其被配置为：获取待分割图像；使用带有实例级标签的伪装物体数据对模型进行监督训练，通过所述监督训练得到待分割图像的多尺度特征的提取结果；
[0013]多尺度特征处理模块，其被配置为：基于所述多尺度特征的提取结果，对待分割图像中的伪装物体利用多尺度池化方式进行处理，得到高分辨率掩码特征和包含全局信息的实例感知结果；
[0014]模型输出预测模块，其被配置为：基于所述实例感知结果，利用融合空间注意力的实例归一化方法聚焦所述高分辨掩码特征，输出模型的预测实例结果。
[0015]第三方面，本专利技术提供了一种基于多尺度池化建模的伪装物体实例分割装置，包括处理器及存储介质；
[0016]所述存储介质用于存储指令；
[0017]所述处理器用于根据所述指令进行操作以执行第一方面所述的步骤。
[0018]第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
[0019]与现有技术相比，本专利技术的有益效果是：
[0020]上述基于多尺度池化建模的伪装物体实例分割方法，包括如下操作：获取待分割图像；使用带有实例级标签的伪装物体数据对模型进行监督训练，通过所述监督训练得到待分割图像的多尺度特征的提取结果；基于所述多尺度特征的提取结果，对待分割图像中的伪装物体利用多尺度池化方式进行处理，得到高分辨率掩码特征和包含全局信息的实例感知结果；基于所述实例感知结果，利用融合空间注意力的实例归一化方法聚焦所述高分辨掩码特征，输出模型的预测实例结果。
[0021]在上述操作过程中，在实例级水平上挖掘图像中的伪装物体处理时，首先用户提供一张图像，算法会分割出包含伪装物体在图像中的像素区域。具体地，之所以采用金字塔池化Transformer是因为多尺度特征提取有利于模型更好地探索图像中伪装物体的信息；之所以采用池化学习Transformer是因为自适应平均池化学习有助于模型保留不同尺度上更多的全局信息；
[0022]具体地，之所以采用多尺度互补特征池化模块，是因为以互补和池化的方式融合相邻特征有利于多尺度信息的充分融合；随后采用融合空间注意力的实例归一化模块，是因为充分探索高分辨率掩码特征的空间信息有利于模型更准确地预测出伪装物体实例。
[0023]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0024]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0025]图1为第一个实施例的方法流程图；
[0026]图2为第一个实施例的模型结构图；
[0027]图3为第一个实施例的池化学习Transformer结构；
[0028]图4为第一个实施例的池化学习Transformer其中一结构放大图；
[0029]图5为第一个实施例的池化学习Transformer其中另一结构放大图；
[0030]图6为第一个实施例的HS
‑
FFN结构；
[0031]图7为第一个实施例的多尺度互补特征池化模块；
[0032]图8为第一个实施例的融合空间注意力的实例归一化模块；
[0033]图9为第一个实施例的输入图像；
[0034]图10为第一个实施例的实例级标签；
[0035]图11为第一个实施例的本专利技术MSPNet的效果图；
[0036]图12为第一个实施例的OSFormer的效果图；
[0037]图13为第一个实施例的SOLOv2的效果图；
[0038]图14为第一个实施例的SOTR的效果图。
具体实施方式
[0039]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。
[0040]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0041]实施例一
[0042]如图1所示，本实施例一提供了基于多尺度池化建模的伪装物体实例分割方法，包括：
[0043]S101：获取待分割图像(待分割图像是指待分割的伪装图像)；使用带有实例级标签的伪装物体数据对模型(模型具体是指图像分割处理模型)进行监督训练，通过所述监督训练得到待分割图像的多尺度特征的提取结果；
[0044]S102：基于所述多尺度特征的提取结果，对待分割图像中的伪装物体利用多尺度池化方式进行处理，得到高分辨率掩码特征和包含全局信息的实例感知结果；
[0045]S103：基于所述实例感知结果，利用融合空间注意力的实例归一化方法聚焦所述高分辨掩码特征，输出模型(模型具体是指图像分割本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度池化建模的伪装物体实例分割方法，其特征在于，包括：获取待分割图像；使用带有实例级标签的伪装物体数据对模型进行监督训练，通过所述监督训练得到待分割图像的多尺度特征的提取结果；基于所述多尺度特征的提取结果，对待分割图像中的伪装物体利用多尺度池化方式进行处理，得到高分辨率掩码特征和包含全局信息的实例感知结果；基于所述实例感知结果，利用融合空间注意力的实例归一化方法聚焦所述高分辨掩码特征，输出模型的预测实例结果。2.如权利要求1所述的一种基于多尺度池化建模的伪装物体实例分割方法，其特征在于，使用带有实例级标签的伪装物体数据对模型进行监督训练，通过所述监督训练得到待分割图像的多尺度特征的提取结果，具体包括：基于金字塔池化Transformer骨干网络，对待分割的伪装图像进行多尺度特征提取；其中，所述金字塔池化Transformer骨干网络，包括：依次连接的第一嵌入块、第二嵌入块、第三嵌入块和第四嵌入块；所述第一嵌入块，对待分割图像进行卷积核大小为7*7的卷积层和1个P2T基础块，输出第一特征图；所述第二嵌入块，对所述第一特征图进行两倍下采样和2个P2T基础块，输出第二特征图；所述第三嵌入块，对所述第二特征图进行两倍下采样和2个P2T基础块，输出第三特征图；所述第四嵌入块，对所述第三特征图进行两倍下采样和6个P2T基础块，输出第四特征图。其中，所述P2T基础块包括：依次连接为一个基于池化的第一多头自注意力模块、第一加法器、第一层归一化层、前馈网络、第二加法器和第二层归一化层。3.如权利要求1所述的一种基于多尺度池化建模的伪装物体实例分割方法，其特征在于，基于所述多尺度特征的提取结果，对待分割图像中的伪装物体利用多尺度池化方式进行处理，得到高分辨率掩码特征和包含全局信息的实例感知结果，具体包括：基于所述第二特征图、第三特征图、第四特征图，通过拼接和展平操作输入到池化学习Transformer结构，得到对应大小的第二高质量掩码图、第三高质量掩码图和第四高质量掩码图及具有全局信息的粗糙实例感知参数；所述粗糙实例感知参数使用全连接层获取位置标签，利用所述位置标签来确定实例感知参数的位置并计算得到当前位置标签的置信度，通过所述位置标签的置信度来过滤不正确的参数，得到过滤后的精确实例感知参数；基于第一特征图和第二高质量掩码图、第三高质量掩码图和第四高质量掩码图，同时输入到多尺度互补特征池化模块，输出一个共享的高分辨率掩码图。4.如权利要求3所述的一种基于多尺度池化建模的伪装物体实例分割方法，其特征在于，所述池化学习Transformer结构，包括：编码器、多尺度特征池化操作器和解码器；其中，所述编码器、所述多尺度特征池化操作器和所述解码器为依次连接关系；所述编码器，包括：依次连接的结构为第三加法器、第一多头可变形自注意力、第四加法器、第一标准化操作模块和第一HS
‑
FFN结构；
所述多尺度特征池化操作器为依次进行的操作是特征恢复操作、三个自适应平均池化操作、展平操作的模块；所述解码器，包括：依次连接的结构为第二多头可变形自注意力、第五加法器、第二标准化操作模块和第二HS
‑
FFN结构；所述编码器的第三加法器将第二特征图、第三特征图、第四特征图与位置编码信息进行连接；所述第一HS
‑
FFN结构和第二HS
‑
FFN结构相同；所述HS
‑
FFN结构，包括：依次连接的卷积核为3*3的卷积层、组归一化层、Hardswish激活层和卷积核为3*3的卷积层。5.如权利要求4所述的一种基于多尺度池化建模的伪装物体实例分割方法，其特征在于，所述多尺度互补特征池化模块的内部结构包括：第一输入端、第二输入端、第三输入端和第四输入端以及多个加法器；其中，所述第一输入端用于输入第一特征图；所述第二输入端用于输入第二高质量掩码图；所述第三输入端用于输入第三高质量掩码图；所述第四输入端用于输入第四高质量掩码图；所述第二高质量掩码图经过两倍上采样处理，与第一特征图进行特征减法和绝对值运算，再经过卷积核为3*3大小的卷积层，得到第一互补特征；所述第三高...

【专利技术属性】
技术研发人员：李臣，焦铬，
申请(专利权)人：衡阳师范学院，
类型：发明
国别省市：