对象属性识别方法、装置、可读存储介质及电子设备制造方法及图纸

本公开涉及一种对象属性识别方法、装置、可读存储介质及电子设备。方法包括：获取目标图像，目标图像中包含目标对象和目标对象的对象描述信息；从目标图像中提取目标对象的关键信息特征序列和目标对象的目标属性对应的多模态特征序列，多模态特征序列包括目标属性的视觉特征序列和语义特征序列；根据关键信息特征序列和多模态特征序列，确定目标对象的多个对象属性。这样，在对目标图像中的目标对象进行属性识别时，不但参考了目标对象的关键信息特征，还参考目标属性的视觉特征和语义特征，使得目标对象的特征维度更加丰富，信息更加全面，从而提升了对象属性识别的准确度和对象属性的丰富度。性的丰富度。性的丰富度。

【技术实现步骤摘要】
对象属性识别方法、装置、可读存储介质及电子设备


[0001]本公开涉及图像处理
，具体地，涉及一种对象属性识别方法、装置、可读存储介质及电子设备。

技术介绍

[0002]近年来，随着信息化技术的快速发展，图像结构化己成为图像理解中的标配。图像结构化是一种基于图像内容信息提取关键目标对象(例如，车辆、行人等)的技术，它对图像内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人类理解的结构化信息的技术。其中，对图像中对象的属性进行识别是图像结构化重要的一个功能模块，其能够从图像中预测对象的各个属性标签，如行人的年龄、性别和服装款式等，车辆的车牌号，年限等，其可用于图像感知世界的智慧应用。其中，如何提升图像的对象属性识别的准确度和丰富度，成为增强图像理解的关键。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0004]第一方面，本公开提供一种对象属性识别方法，包括：
[0005]获取目标图像，其中，所述目标图像中包含目标对象和所述目标对象的对象描述信息；
[0006]从所述目标图像中提取所述目标对象的关键信息特征序列和所述目标对象的目标属性对应的多模态特征序列，其中，所述多模态特征序列包括所述目标属性的视觉特征序列和语义特征序列；
[0007]根据所述关键信息特征序列和所述多模态特征序列，确定所述目标对象的多个对象属性，其中，所述多个对象属性包括所述目标属性。
[0008]第二方面，本公开提供一种对象属性识别装置，包括：
[0009]获取模块，用于获取目标图像，其中，所述目标图像中包含目标对象和所述目标对象的对象描述信息；
[0010]第一提取模块，用于从所述获取模块获取到的所述目标图像中提取所述目标对象的关键信息特征序列和所述目标对象的目标属性对应的多模态特征序列，其中，所述多模态特征序列包括所述目标属性的视觉特征序列和语义特征序列；
[0011]确定模块，用于根据所述第一提取模块提取到的所述关键信息特征序列和所述多模态特征序列，确定所述目标对象的多个对象属性，其中，所述多个对象属性包括所述目标属性。
[0012]第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面提供的所述方法的步骤。
[0013]第四方面，本公开提供一种电子设备，包括：
[0014]存储装置，其上存储有计算机程序；
[0015]处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面提供的所述方法的步骤。
[0016]在上述技术方案中，首先，获取目标图像，目标图像中包含目标对象和目标对象的对象描述信息；然后，从目标图像中提取目标对象的关键信息特征序列和目标对象的目标属性对应的多模态特征序列，多模态特征序列包括目标属性的视觉特征序列和语义特征序列；最后，根据关键信息特征序列和多模态特征序列，确定目标对象的多个对象属性。这样，在对目标图像中的目标对象进行属性识别时，不但参考了目标对象的关键信息特征，还参考目标属性的视觉特征和语义特征，使得目标对象的特征维度更加丰富，信息更加全面，从而提升了对象属性识别的准确度和对象属性的丰富度。
[0017]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0018]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0019]图1是根据一示例性实施例示出的一种对象属性识别方法的流程图。
[0020]图2是根据一示例性实施例示出的一种多模态特征提取模型的结构示意图。
[0021]图3是根据一示例性实施例示出的一种多模态融合模型的结构示意图。
[0022]图4是根据另一示例性实施例示出的一种对象属性识别方法的流程图。
[0023]图5是根据一示例性实施例示出的一种外观特征提取模型的结构示意图。
[0024]图6是根据另一示例性实施例示出的一种对象属性识别方法的流程图。
[0025]图7是根据一示例性实施例示出的一种全局视觉特征提取模型的结构示意图。
[0026]图8是根据一示例性实施例示出的一种对象属性识别装置的框图。
[0027]图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
[0028]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0029]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0030]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0031]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0032]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0033]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0034]图1是根据一示例性实施例示出的一种对象属性识别方法的流程图。如图1所示，该方法可以包括以下S101～S103。
[0035]在S101中，获取目标图像。
[0036]其中，目标图像中包含目标对象(具体为目标对象的图像)和目标对象的对象描述信息，其中，目标对象可以例如是车辆、行人、书柜、电视等，对象描述信息为用于描述目标对象的文本。
[0037]在S102中，从目标图像中提取目标对象的关键信息特征序列和目标对象的目标属性对应的多模态特征序列。
[0038]在本公开中，多模态特征序列包括目标属性的视觉特征序列和语义特征序列，其中，目标属性可以为用户重点关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象属性识别方法，其特征在于，包括：获取目标图像，其中，所述目标图像中包含目标对象和所述目标对象的对象描述信息；从所述目标图像中提取所述目标对象的关键信息特征序列和所述目标对象的目标属性对应的多模态特征序列，其中，所述多模态特征序列包括所述目标属性的视觉特征序列和语义特征序列；根据所述关键信息特征序列和所述多模态特征序列，确定所述目标对象的多个对象属性，其中，所述多个对象属性包括所述目标属性。2.根据权利要求1所述的方法，其特征在于，所述从所述目标图像中提取所述目标对象的目标属性对应的多模态特征序列，包括：将所述目标图像输入到预先训练好的多模态特征提取模型中，得到所述目标对象的目标属性对应的多模态特征序列。3.根据权利要求2所述的方法，其特征在于，所述多模态特征提取模型包括：第一目标检测模块，用于从所述目标图像中提取所述目标对象的目标属性的标识所在的第一区域；第一预处理模块，与所述第一目标检测模块连接，用于将所述第一区域归一化为第一预设尺寸的图像，并将归一化后所得的图像拉直成第一预设长度的一维行向量；第一全连接模块，与所述第一预处理模块连接，用于根据所述第一预设长度的一维行向量，生成所述目标属性的视觉特征序列；文本识别模块，与第一目标检测模块连接，用于对所述第一区域进行文本识别，得到所述目标属性的属性描述文本；多语种语言子模型，与所述文本识别模块连接，用于从所述属性描述文本中提取所述目标属性的语义特征序列；拼接模块，与所述第一全连接模块、所述多语种语言子模型分别连接，用于将所述目标属性的视觉特征序列和所述语义特征序列进行拼接，得到拼接序列；第一编码模块，与所述拼接模块连接，用于对所述拼接序列进行编码，得到第一编码序列；第二全连接模块，与所述第一编码模块连接，用于对所述第一编码序列进行降维处理，得到所述目标属性对应的、预设维度的多模态特征序列。4.根据权利要求1所述的方法，其特征在于，所述从所述目标图像中提取所述目标对象的关键信息特征序列，包括：对所述目标图像进行文本识别，得到识别文本，其中，所述识别文本为多语种文本或单语种文本；将所述识别文本输入到预先训练好的多语种语言模型中，得到所述目标对象的关键信息特征序列。5.根据权利要求1所述的方法，其特征在于，所述根据所述关键信息特征序列和所述多模态特征序列，确定所述目标对象的多个对象属性，包括：将所述关键信息特征序列和所述多模态特征序列输入到预先训练好的多模态融合模型中，得到所述目标对象的多个对象属性；其中，所述多模态融合模型包括：
第二编码模块，用于对所述关键信息特征序列和所述多模态特征序列构成的第一特征矩阵进行编码，得到第二编码序列，其中，所述关键信息特征序列和所述多模态特征序列的维度均为预设维度；与所述多个对象属性的属性类别一一对应的多个第一解码模块，分别与所述第二编码模块连接，用于根据所述第二编码序列，生成所对应的属性类别下的对象属性，其中，每一所述对象属性的属性类别均不相同。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述方法还包括：从所述目标图像中提取所述目标对象的外观特征序列；所述根据所述关键信息特征序列和所述多模态特征序列，确定所述目标对象的多个对象属性，包括：根据所...

【专利技术属性】
技术研发人员：毛晓飞，黄灿，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：