本申请涉及人工智能技术领域，揭示了一种文本图像匹配方法、装置、设备及存储介质，其中方法包括：对所述待匹配对象进行类型识别，得到类型识别结果；根据所述类型识别结果，从预设的候选对象库中确定候选对象集；根据所述待匹配对象和所述候选对象集中的每个候选对象进行融合特征提取；对所述候选对象集中的每个所述候选对象进行特征提取，得到候选对象特征；对同一所述候选对象对应的所述融合特征和所述候选对象特征进行相似度计算，得到单对象相似度；根据各个所述单对象相似度和所述候选对象集，确定与所述待匹配对象对应的目标匹配结果。避免图像特征和文本特征的直接匹配操作，采用融合特征进行文本图像匹配可以增加匹配的精度。配的精度。配的精度。
【技术实现步骤摘要】
文本图像匹配方法、装置、设备及存储介质
[0001]本申请涉及到人工智能
，特别是涉及到一种文本图像匹配方法、装置、设备及存储介质。
技术介绍
[0002]文本图像匹配，指的是一种跨模态的匹配搜索方式。通过给定的一段自然语言文本，检索出与这段文本描述相符合的图像；或者给出一张图像，检索出与图像内容相一致的文本。
[0003]作为一种跨模态的匹配搜索方式，系统需要分别处理图像和自然语言文本两种信息，然后根据处理结果进行匹配。目前已经有一些此方面的数据集和算法，但是在这些算法中，首先将图像和自然语言文本分别通过特征提取网络进行特征提取，然后再对提取出的两种特征进行匹配操作。因为图像和文本之间的差异巨大，这两个模态之间的特征往往难以匹配，会造成匹配精度较低。
技术实现思路
[0004]本申请的主要目的为提供一种文本图像匹配方法、装置、设备及存储介质，旨在解决目前在文本图像匹配时，首先将图像和自然语言文本分别通过特征提取网络进行特征提取，然后再对提取出的两种特征进行匹配操作，存在匹配精度较低的技术问题。
[0005]为了实现上述专利技术目的，本申请提出一种文本图像匹配方法，所述方法包括：
[0006]获取待匹配对象；
[0007]对所述待匹配对象进行类型识别，得到类型识别结果；
[0008]根据所述类型识别结果，从预设的候选对象库中确定候选对象集；
[0009]根据所述待匹配对象和所述候选对象集中的每个候选对象进行融合特征提取；
[0010]对所述候选对象集中的每个所述候选对象进行特征提取，得到候选对象特征；
[0011]对同一所述候选对象对应的所述融合特征和所述候选对象特征进行相似度计算，得到单对象相似度；
[0012]根据各个所述单对象相似度和所述候选对象集，确定与所述待匹配对象对应的目标匹配结果。
[0013]进一步的，所述对所述待匹配对象进行类型识别，得到类型识别结果的步骤，包括：
[0014]将所述待匹配对象输入预设的文本图像分类模型进行分类预测，得到分类预测结果；
[0015]当所述分类预测结果中的与文本标签对应的向量元素大于所述分类预测结果中的与图像标签对应的向量元素时，确定所述类型识别结果为文本类型；
[0016]当所述分类预测结果中的与所述文本标签对应的向量元素小于所述分类预测结果中的与所述图像标签对应的向量元素时，确定所述类型识别结果为图像类型。
[0017]进一步的，所述根据所述类型识别结果，从预设的候选对象库中确定候选对象集的步骤，包括：
[0018]当所述类型识别结果为文本类型时，将所述候选对象库中的图像子库作为所述候选对象集；
[0019]当所述类型识别结果为图像类型时，将所述候选对象库中的文本子库作为所述候选对象集。
[0020]进一步的，所述根据所述待匹配对象和所述候选对象集中的每个候选对象进行融合特征提取的步骤，包括：
[0021]将所述候选对象集中的任一个所述候选对象作为目标对象；
[0022]将所述目标对象输入与所述候选对象集的类型对应的编码模型中进行编码，得到第一编码；
[0023]将所述待匹配对象输入与所述类型识别结果对应的所述编码模型中进行编码，得到第二编码；
[0024]将所述第一编码和所述第二编码，在维度上进行拼接，得到融合编码；
[0025]将所述融合编码输入预设的融合特征提取模型进行特征提取，得到与所述目标对象对应的所述融合特征。
[0026]进一步的，所述对所述候选对象集中的每个所述候选对象进行特征提取，得到候选对象特征的步骤，包括：
[0027]将所述候选对象集中的每个所述候选对象分别输入与所述候选对象集的类型对应的单对象特征提取模型中进行特征提取，得到每个所述候选对象对应是所述候选对象特征。
[0028]进一步的，所述对同一所述候选对象对应的所述融合特征和所述候选对象特征进行相似度计算，得到单对象相似度的步骤，包括：
[0029]将所述候选对象集中的任一个所述候选对象作为待计算对象；
[0030]将所述待计算对象对应的所述融合特征作为第一特征；
[0031]将所述待计算对象对应的所述候选对象特征作为第二特征；
[0032]对所述第一特征与所述第二特征进行余弦相似度计算，得到所述待计算对象对应的所述单对象相似度。
[0033]进一步的，所述单对象相似度是余弦相似度，所述根据各个所述单对象相似度和所述候选对象集，确定与所述待匹配对象对应的目标匹配结果的步骤，包括：
[0034]从各个所述单对象相似度中找出值为最大的所述单对象相似度，作为目标相似度；
[0035]判断所述目标相似度是否大于预设的相似度阈值；
[0036]若是，则确定所述目标匹配结果的结果为成功，并且将所述目标相似度在所述候选对象集中对应的所述候选对象作为所述目标匹配结果的命中对象；
[0037]若否，则确定所述目标匹配结果的结果为失败。
[0038]本申请还提出了一种文本图像匹配装置，所述装置包括：
[0039]数据获取模块，用于获取待匹配对象；
[0040]类型识别结果确定模块，用于对所述待匹配对象进行类型识别，得到类型识别结
果；
[0041]候选对象集确定模块，用于根据所述类型识别结果，从预设的候选对象库中确定候选对象集；
[0042]融合特征提取模块，用于根据所述待匹配对象和所述候选对象集中的每个候选对象进行融合特征提取；
[0043]候选对象特征确定模块，用于对所述候选对象集中的每个所述候选对象进行特征提取，得到候选对象特征；
[0044]单对象相似度确定模块，用于对同一所述候选对象对应的所述融合特征和所述候选对象特征进行相似度计算，得到单对象相似度；
[0045]目标匹配结果确定模块，用于根据各个所述单对象相似度和所述候选对象集，确定与所述待匹配对象对应的目标匹配结果。
[0046]本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
[0047]本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
[0048]本申请的文本图像匹配方法、装置、设备及存储介质，其中方法通过对所述待匹配对象进行类型识别，得到类型识别结果；根据所述类型识别结果，从预设的候选对象库中确定候选对象集；根据所述待匹配对象和所述候选对象集中的每个候选对象进行融合特征提取；对所述候选对象集中的每个所述候选对象进行特征提取，得到候选对象特征；对同一所述候选对象对应的所述融合特征和所述候选对象特征进行相似度计算，得到单对象相似度；根据各个所述单对象相似度和所述候选对象集，确定与所述待匹配对象对应的目标匹配结果。通过首先对待匹配对象和本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文本图像匹配方法，其特征在于，所述方法包括：获取待匹配对象；对所述待匹配对象进行类型识别，得到类型识别结果；根据所述类型识别结果，从预设的候选对象库中确定候选对象集；根据所述待匹配对象和所述候选对象集中的每个候选对象进行融合特征提取；对所述候选对象集中的每个所述候选对象进行特征提取，得到候选对象特征；对同一所述候选对象对应的所述融合特征和所述候选对象特征进行相似度计算，得到单对象相似度；根据各个所述单对象相似度和所述候选对象集，确定与所述待匹配对象对应的目标匹配结果。2.根据权利要求1所述的文本图像匹配方法，其特征在于，所述对所述待匹配对象进行类型识别，得到类型识别结果的步骤，包括：将所述待匹配对象输入预设的文本图像分类模型进行分类预测，得到分类预测结果；当所述分类预测结果中的与文本标签对应的向量元素大于所述分类预测结果中的与图像标签对应的向量元素时，确定所述类型识别结果为文本类型；当所述分类预测结果中的与所述文本标签对应的向量元素小于所述分类预测结果中的与所述图像标签对应的向量元素时，确定所述类型识别结果为图像类型。3.根据权利要求1所述的文本图像匹配方法，其特征在于，所述根据所述类型识别结果，从预设的候选对象库中确定候选对象集的步骤，包括：当所述类型识别结果为文本类型时，将所述候选对象库中的图像子库作为所述候选对象集；当所述类型识别结果为图像类型时，将所述候选对象库中的文本子库作为所述候选对象集。4.根据权利要求1所述的文本图像匹配方法，其特征在于，所述根据所述待匹配对象和所述候选对象集中的每个候选对象进行融合特征提取的步骤，包括：将所述候选对象集中的任一个所述候选对象作为目标对象；将所述目标对象输入与所述候选对象集的类型对应的编码模型中进行编码，得到第一编码；将所述待匹配对象输入与所述类型识别结果对应的所述编码模型中进行编码，得到第二编码；将所述第一编码和所述第二编码，在维度上进行拼接，得到融合编码；将所述融合编码输入预设的融合特征提取模型进行特征提取，得到与所述目标对象对应的所述融合特征。5.根据权利要求1所述的文本图像匹配方法，其特征在于，所述对所述候选对象集中的每个所述候选对象进行特征提取，得到候选对象特征的步骤，包括：将所述候选对象集中的每个所述候选对象分别输入与所述候选对...
【专利技术属性】
技术研发人员：郑喜民，翟尤，周成昊，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。