上下文感知的指称图像分割方法技术

本发明专利技术公开了一种上下文感知的指称图像分割方法

【技术实现步骤摘要】
上下文感知的指称图像分割方法、系统、设备及存储介质


[0001]本专利技术涉及图像分割
，尤其涉及一种上下文感知的指称图像分割方法
、
系统
、
设备及存储介质
。

技术介绍

[0002]指称图像分割（
referring image segmentation
）是视觉语言理解中的关键任务，旨在根据自然语言描述，在给定图像中分割被指称目标物体的像素级掩膜
。
区别于传统的语义或实例分割，指称图像分割的分割目标不再局限于预定义的固定类别，而需要在多个同类实例中根据不限格式的文本描述定位目标实例
。
文本描述给定了目标的部分判别性信息，例如动作
、
位置
、
属性等，并且具有开放的词库
。
[0003]得益于
Transformer
（变压器）模型，近年来的指称图像分割方法通过交叉注意力将语言特征与像素级的视觉特征进行对齐，显著提升了分割性能
。
然而，由于指称图像分割任务中文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种上下文感知的指称图像分割方法，其特征在于，包括：步骤
1、
对输入图像进行多尺度特征的提取，获得多尺度视觉特征；步骤
2、
设置文本提示，并结合单一尺度视觉特征生成融合多尺度视觉上下文信息的融合文本提示，再结合所述融合文本提示对输入文本进行特征提取，获得上下文感知的文本特征；步骤
3、
将所述多尺度视觉特征中的一部分视觉特征合并，获得合并多尺度特征，使用掩膜提示对所述上下文感知的文本特征进行扩充，获得上下文感知的掩膜文本特征；利用注意力机制进行所述合并多尺度特征与上下文感知的掩膜文本特征之间的交互，获得对齐后的合并多尺度特征与带有掩膜提示的扩充文本特征；利用所述对齐后的合并多尺度特征与所述多尺度视觉特征中的另一部分视觉特征生成掩膜嵌入，再结合所述带有掩膜提示的扩充文本特征计算前景和背景的响应图，并进行像素级的图像分割
。2.
根据权利要求1所述的一种上下文感知的指称图像分割方法，其特征在于，所述设置文本提示，并结合单一尺度视觉特征生成融合多尺度视觉上下文信息的融合文本提示包括：设置文本提示，它是一个可学习的向量，长度记为；对最后一个尺度的视觉特征进行金字塔平均池化，再与文本提示相加，获得融合文本提示，表示为：；其中，为最后一个尺度的视觉特征，表示输出尺寸为的平均池化，为输出尺寸中的宽度与高度，
k
为池化的级数，为池化的总级数，
Concat
表示级联操作，表示融合文本提示
。3.
根据权利要求1或2所述的一种上下文感知的指称图像分割方法，其特征在于，所述结合所述融合文本提示对输入文本进行特征提取，获得上下文感知的文本特征包括：将输入文本转换为文本嵌入
E
，并在文本嵌入
E
中增加一个用于表示文本全局信息的符号，再与所述融合文本提示级联后通过文本编码网络进行文本特征的提取，获得上下文感知的文本特征
。4.
根据权利要求1所述的一种上下文感知的指称图像分割方法，其特征在于，所述将所述多尺度视觉特征中的一部分视觉特征合并，获得合并多尺度特征，使用掩膜提示对所述上下文感知的文本特征进行扩充，获得上下文感知的掩膜文本特征：将多尺度视觉特征记为，表示第
i
个尺度的视觉特征，
N
为尺度数目；通过线性映射层将多尺度视觉特征与上下文感知的文本特征统一到相同维度，映射后的上下文感知的文本特征记为，映射后的多尺度视觉特征记为；将映射后的第2个尺度至最后一个尺度的视觉特征展平并级联得到合并多尺度特征，其中，表示映射后的第
i
个尺度的视觉特征；
设置掩膜提示作为映射后的上下文感知的文本特征的扩充， 掩膜提示包含个维度与一致的可学习向量，将掩膜提示与映射后的上下文感知的文本特征级联，获得上下文感知的掩膜文本特征
。5.
根据权利要求1所述的一种上下文感知的指称图像分割方法，其特征在于，所述利用注意力机制进行所述合并多尺度特征与上下文感知的掩膜文本特征之间的交互，获得对齐后的合并多尺度特征与带有掩膜提示的扩充文本特征包括：设置
M
个序列视觉语言注意力单元，第一个序列视觉语言注意力单元的输入为合并多尺度特征与上下文感知的掩膜文本特征，输出的带有掩膜提示的扩充文本特征
、
对齐后的合并多尺度特征，作为第二个序列视觉语言注意力单元的输入，最后一个序列视觉语言注意力单元输出的带有掩膜提示的扩充文本特征
、
对齐后的合并多尺度特征将用于像素级的图像分割；每一序列视觉语言注意力单元设有两类注意力方式，即视觉至语言注意力与语言至视觉注意力，先通过视觉至语言注意力将多尺度特征中的视觉上下文信息整合到文本特征中，获得带有掩膜提示的扩充文本特征；再通过语言至视觉注意力将多尺度特征中的每个像素与带有掩膜提示的扩充文本特征进行对齐，获得对齐后的合并多尺度特征；其中，对于第一个序列视觉语言注意力单元，视觉至语言注意力与语言至视觉注意力中涉及的多尺度特征为所述合并多尺度特征，非第一个序列视觉语言注意力单元，所...

【专利技术属性】
技术研发人员：张勇东，刘荪傲，谢洪涛，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：