图像分割信息生成方法技术

本公开的实施例公开了图像分割信息生成方法

【技术实现步骤摘要】
图像分割信息生成方法、装置、设备、介质和程序产品


[0001]本公开的实施例涉及计算机
，具体涉及图像分割信息生成方法
、
装置
、
设备
、
介质和程序产品
。

技术介绍

[0002]对物品的图像进行分割，可以提取图像中物品的前景区域
。
目前，在进行图像分割时，通常采用的方式为：基于视觉模态移除图像中的单色渐变背景，以获得图像的分割结果
。
[0003]然而，专利技术人发现，当采用上述方式对图像进行分割操作时，经常会存在如下技术问题：当图像中目标物品周围存在大量的冗余物品时，对图像进行分割的干扰因素较多，仅通过视觉模态对目标物品的图像进行分割处理，造成对图像中的目标物品的图像识别的准确性较低，以及对目标物品图像分割的准确性较低，将冗余物品图像和目标物品图像作为分割的图像，导致分割的目标物品图像中存在冗余物品的图像
。
[0004]该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息
。

技术实现思路

[0005]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述
。
本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围
。
[0006]本公开的一些实施例提出了图像分割信息生成方法
、
装置
、
电子设备
、
计算机可读介质和程序产品，来解决以上
技术介绍
部分提到的技术问题
。
[0007]第一方面，本公开的一些实施例提供了一种图像分割信息生成方法，该方法包括：将目标物品对应的图像信息和文本信息输入至预先训练的图像分割模型中的特征提取模块，得到图像特征提取信息和文本特征提取信息；将图像特征提取信息作为目标特征提取信息，根据目标特征提取信息和上述文本特征提取信息，执行以下编码步骤：将目标特征提取信息和上述文本特征提取信息输入至上述图像分割模型中的多模态特征融合模块，得到上述目标物品对应的多模态特征信息；将目标特征提取信息和所得到的多模态特征信息输入至上述图像分割模型中的目标模态特征过滤处理模块，得到过滤后的多模态特征信息；响应于确定多模态融合特征信息满足第一预设特征维度条件，根据多模态融合特征信息，生成对应上述图像信息的图像分割信息，其中，多模态融合特征信息为上述目标物品的目标特征提取信息和过滤后的多模态特征信息的融合特征信息
。
[0008]可选地，方法还包括：响应于确定多模态融合特征信息不满足上述第一预设特征维度条件，将多模态融合特征信息输入至上述特征提取模块，得到多模态特征提取信息；将所得到的多模态特征提取信息作为目标特征提取信息，再次执行上述编码步骤
。
[0009]可选地，上述将目标特征提取信息和上述文本特征提取信息输入至上述图像分割
模型中的多模态特征融合模块，得到上述目标物品对应的多模态特征信息，包括：将目标特征提取信息输入至上述多模态特征融合模块中的用于图像线索映射的网络层，得到对应目标特征提取信息的图像线索特征信息；将上述文本特征提取信息输入至上述多模态特征融合模块中的用于文本查询映射的网络层，得到对应上述文本特征提取信息的文本查询特征信息；对所得到图像线索特征信息和文本查询特征信息进行融合处理，得到对应上述目标物品的多模态特征信息
。
[0010]可选地，上述将目标特征提取信息和所得到的多模态特征信息输入至上述图像分割模型中的目标模态特征过滤处理模块，得到过滤后的多模态特征信息，包括：将目标特征提取信息输入至上述目标模态特征过滤处理模块中的用于图像查询映射的网络层，得到对应目标特征提取信息的图像查询特征信息；将所得到的多模态特征信息进行转换处理，得到对应多模态特征信息的多模态线索特征信息；根据所得到的图像查询特征信息，对多模态线索特征信息进行过滤处理，得到过滤后的多模态特征信息
。
[0011]可选地，上述根据多模态融合特征信息，生成对应上述图像信息的图像分割信息，包括：根据多模态融合特征信息和对应的过滤后的多模态特征信息，执行以下解码步骤：将多模态融合特征信息输入至上述图像解码模块中的用于多模态融合特征解码处理的网络模型，得到对应多模态融合特征信息的解码特征信息；响应于确定解码特征信息满足第二预设特征维度条件，将解码特征信息确定为对应上述图像信息的图像分割信息
。
[0012]可选地，方法还包括：响应于确定解码特征信息不满足上述第二预设特征维度条件，将解码特征信息和对应的过滤后的多模态特征信息进行特征融合处理，得到目标融合特征信息；将目标融合特征信息作为多模态特征融合信息，根据多模态特征融合信息和对应的过滤后的多模态特征信息，再次执行上述解码步骤
。
[0013]可选地，上述将目标物品对应的图像信息和文本信息输入至预先训练的图像分割模型中的特征提取模块，得到图像特征提取信息和文本特征提取信息，包括：将上述图像信息输入至上述视觉特征提取模块，得到对应上述目标物品的图像特征提取信息；将上述文本信息输入至上述文本特征提取模块，得到对应上述目标物品的文本特征提取信息
。
[0014]第二方面，本公开的一些实施例提供了一种图像分割信息生成装置，装置包括：输入单元，被配置成将目标物品对应的图像信息和文本信息输入至预先训练的图像分割模型中的特征提取模块，得到图像特征提取信息和文本特征提取信息；执行单元，被配置成将图像特征提取信息作为目标特征提取信息，根据目标特征提取信息和上述文本特征提取信息，执行以下编码步骤：将目标特征提取信息和上述文本特征提取信息输入至上述图像分割模型中的多模态特征融合模块，得到上述目标物品对应的多模态特征信息；将目标特征提取信息和所得到的多模态特征信息输入至上述图像分割模型中的目标模态特征过滤处理模块，得到过滤后的多模态特征信息；响应于确定多模态融合特征信息满足第一预设特征维度条件，根据多模态融合特征信息，生成对应上述图像信息的图像分割信息，其中，多模态融合特征信息为上述目标物品的目标特征提取信息和过滤后的多模态特征信息的融合特征信息
。
[0015]可选地，图像分割信息生成装置还包括：第一输入单元，被配置成响应于确定多模态融合特征信息不满足上述第一预设特征维度条件，将多模态融合特征信息输入至上述特征提取模块，得到多模态特征提取信息；第一执行单元，被配置成将所得到的多模态特征提
取信息作为目标特征提取信息，再次执行上述编码步骤
。
[0016]可选地，执行单元进一步被配置成：将目标特征提取信息输入至上述多模态特征融合模块中的用于图像线索映射的网络层，得到对应目标特征提取信息的图像线索特征信息；将上述文本特征提取信息输入至上述多模态特征融合模块中的用于文本查询映射的网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种图像分割信息生成方法，包括：将目标物品对应的图像信息和文本信息输入至预先训练的图像分割模型中的特征提取模块，得到图像特征提取信息和文本特征提取信息；将图像特征提取信息作为目标特征提取信息，根据目标特征提取信息和所述文本特征提取信息，执行以下编码步骤：将目标特征提取信息和所述文本特征提取信息输入至所述图像分割模型中的多模态特征融合模块，得到所述目标物品对应的多模态特征信息；将目标特征提取信息和所得到的多模态特征信息输入至所述图像分割模型中的目标模态特征过滤处理模块，得到过滤后的多模态特征信息；响应于确定多模态融合特征信息满足第一预设特征维度条件，根据多模态融合特征信息，生成对应所述图像信息的图像分割信息，其中，多模态融合特征信息为所述目标物品的目标特征提取信息和过滤后的多模态特征信息的融合特征信息
。2.
根据权利要求1所述的方法，其中，所述方法还包括：响应于确定多模态融合特征信息不满足所述第一预设特征维度条件，将多模态融合特征信息输入至所述特征提取模块，得到多模态特征提取信息；将所得到的多模态特征提取信息作为目标特征提取信息，再次执行所述编码步骤
。3.
根据权利要求1所述的方法，其中，所述将目标特征提取信息和所述文本特征提取信息输入至所述图像分割模型中的多模态特征融合模块，得到所述目标物品对应的多模态特征信息，包括：将目标特征提取信息输入至所述多模态特征融合模块中的用于图像线索映射的网络层，得到对应目标特征提取信息的图像线索特征信息；将所述文本特征提取信息输入至所述多模态特征融合模块中的用于文本查询映射的网络层，得到对应所述文本特征提取信息的文本查询特征信息；对所得到图像线索特征信息和文本查询特征信息进行融合处理，得到对应所述目标物品的多模态特征信息
。4.
根据权利要求1所述的方法，其中，所述将目标特征提取信息和所得到的多模态特征信息输入至所述图像分割模型中的目标模态特征过滤处理模块，得到过滤后的多模态特征信息，包括：将目标特征提取信息输入至所述目标模态特征过滤处理模块中的用于图像查询映射的网络层，得到对应目标特征提取信息的图像查询特征信息；将所得到的多模态特征信息进行转换处理，得到对应多模态特征信息的多模态线索特征信息；根据所得到的图像查询特征信息，对多模态线索特征信息进行过滤处理，得到过滤后的多模态特征信息
。5.
根据权利要求1所述的方法，其中，所述图像分割模型中包括图像解码模块；以及所述根据多模态融合特征信息，生成对应所述图像信息的图像分割信息，包括：根据多模态融合特征信息和对应的过滤后的多模态特征信息，执行以下解码步骤：将多模态融...

【专利技术属性】
技术研发人员：冯伟，张政，任显聪，李耀宇，吕晶晶，朱鑫，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：