特征提取模型的训练方法、特征提取方法和装置制造方法及图纸

本公开关于一种特征提取模型的训练方法、特征提取方法和装置，训练方法包括：获取携带有标准化实体单元标签的样本实体数据，其中，标准化实体单元是实体展示平台对实体进行分类的信息；将样本实体数据输入特征提取模型，得到样本实体数据的样本实体特征，其中，样本实体特征是用于描述样本实体数据所对应实体的多模态的特征；将样本实体特征输入分类器，得到在实体展示平台的预估标准化实体单元；根据预估标准化实体单元和标准化实体单元标签，确定损失值；根据损失值，调整特征提取模型和分类器的参数，得到训练后的特征提取模型和分类器。该方法可引导特征提取模型从多模态的实体数据中学习细粒度的特征表达，提升提取到的实体特征的泛化能力。实体特征的泛化能力。实体特征的泛化能力。

【技术实现步骤摘要】
特征提取模型的训练方法、特征提取方法和装置


[0001]本公开涉及实体理解
，尤其涉及一种特征提取模型的训练方法、特征提取方法和装置。

技术介绍

[0002]短视频、直播和电商，是当下实体推广常常会使用到的途径，若能够在这三个场景下提取出涉及的实体的特征，就能够对不同场景下的实体进行对比，可增强不同场景下的数据的综合利用效率，提升实体推广效果。然而上述各个场景的数据风格差异较大，因此，如何提升所提取实体特征的泛化能力，在不同场景下提高实体理解的准确性，对增强不同场景下数据的综合利用效率来说，至关重要。
[0003]相关技术中常常引入多模态的特征，例如同时提取文本特征和图像特征，并对这些特征进行不同层级的融合，来降低干扰信息的影响，提升实体理解准确性。但这些融合方式各有不足，所提取的实体特征的泛化能力仍然有待进一步提升。

技术实现思路

[0004]本公开提供一种特征提取模型的训练方法、特征提取方法和装置，以至少解决相关技术中的如何提升所提取的实体特征的泛化能力的问题，也可不解决任何上述问题。/>[0005]根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征提取模型的训练方法，其特征在于，所述训练方法包括：获取携带有标准化实体单元标签的样本实体数据，其中，所述标准化实体单元是实体展示平台对实体进行分类的信息单元，每个所述样本实体数据中，至少包含对应的样本实体在所述实体展示平台中被展示的文本描述信息和实体图像；将所述样本实体数据输入所述特征提取模型，得到所述样本实体数据的样本实体特征，其中，所述样本实体特征是用于描述所述样本实体数据所对应的样本实体的多模态的特征；将所述样本实体特征输入分类器，得到所述样本实体在所述实体展示平台的预估标准化实体单元；根据所述预估标准化实体单元和所述标准化实体单元标签，确定损失值；根据所述损失值，调整所述特征提取模型和所述分类器的参数，得到训练后的特征提取模型和分类器。2.如权利要求1所述的训练方法，其特征在于，所述获取携带有标准化实体单元标签的样本实体数据，包括：针对同一样本实体，获取所述样本实体的所述标准化实体单元标签，并获取所述样本实体的所述文本描述信息和所述实体图像，分别作为样本实体文本和样本实体图像；从所述样本实体图像中提取至少一个样本实体检测框，作为样本目标实体检测框；将同一所述样本实体的所述样本实体文本、所述样本实体图像和所述样本目标实体检测框，共同作为一个所述样本实体数据，并添加相应的所述标准化实体单元标签，得到所述携带有标准化实体单元标签的样本实体数据。3.如权利要求2所述的训练方法，其特征在于，所述从所述样本实体图像中提取至少一个样本实体检测框，作为样本目标实体检测框，包括：提取所述样本实体图像中的多个样本实体检测框；确定所述多个样本实体检测框中的实体图像各自与所述样本实体文本相符合的程度，作为所述多个样本实体检测框各自对应的相似度；根据所述多个样本实体检测框各自对应的相似度，选取所述多个样本实体检测框中对应的相似度最高的预设数量个样本实体检测框，作为所述样本目标实体检测框。4.如权利要求3所述的训练方法，其特征在于，所述根据所述多个样本实体检测框各自对应的相似度，选取所述多个样本实体检测框中对应的相似度最高的预设数量个样本实体检测框，作为所述样本目标实体检测框，包括：根据所述多个样本实体检测框各自对应的相似度，为所述多个样本实体检测框排序，截取相似度最高的所述预设数量个样本实体检测框并保持排序，作为所述样本目标实体检测框。5.如权利要求3所述的训练方法，其特征在于，所述确定所述多个样本实体检测框中的实体图像各自与所述样本实体文本相符合的程度，作为所述多个样本实体检测框各自对应的相似度，包括：利用预先训练的提取模型，在同一特征空间内提取每个样本实体检测框中的实体图像的样本实体图像特征和所述样本实体文本的第一样本文本特征；针对每个样本实体检测框，计算所述样本实体图像特征与所述第一样本文本特征的相
似度，作为所述样本实体检测框与所述样本实体文本的相似度，其中，所述提取模型通过对比学习方法训练得到，所述提取模型用于令两个数据对应的特征距离与所述两个数据的内容一致程度负相关。6.如权利要求2到5中的任一权利要求所述的训练方法，其特征在于，所述特征提取模型包括文本特征提取网络、图像特征提取网络、多模态特征提取网络和特征融合网络，所述将所述样本实体数据输入所述特征提取模型，得到所述样本实体数据的样本实体特征，包括：将所述样本实体文本输入所述文本特征提取网络，得到第二样本文本特征；将所述样本实体图像和所述样本目标实体检测框中的实体图像分别输入所述图像特征提取网络，对应得到样本图像特征和样本目标实体图像特征；将所述第二样本文本特征、所述样本图像特征和所述样本目标实体图像特征构成的第一样本序列特征输入所述多模态特征提取网络，得到第二样本序列特征；将所述第二样本序列特征中的各个特征拼接在一起，输入所述特征融合网络，得到所述样本实体特征。7.一种特征提取方法，其特征在于，所述特征提取方法包括：获取待提取实体的实体数据，其中，所述实体数据至少包含所述待提取实体在实体展示平台中被展示的文本描述信息和实体图像；将所述实体数据输入特征提取模型，得到所述实体数据的实体特征，其中，所述实体特征是用于描述所述待提取实体的多模态的特征，其中，所述特征提取模型通过如权利要求1到6中的任一权利要求所述的训练方法训练得到。8.如权利要求7所述的特征提取方法，其特征在于，所述获取待提取实体的实体数据，包括：获取所述待提取实体的所述文本描述信息和所述实体图像，分别作为实体文本和实体图像；...

【专利技术属性】
技术研发人员：杨文杰，程衍华，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：