【技术实现步骤摘要】
本申请涉及计算机，特别是涉及一种数据检索方法、装置、计算机设备、存储介质和计算机程序产品。
技术介绍
1、随着计算机技术的发展，出现了人工智能(artificial intelligence, ai)技术，人工智能(artificial intelligence, ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。目前，人工智能可应用于图文数据检索领域，例如通过多模态相似的方案来针对所提供的图文数据进行检索，而这种多模态的图文数据检索方案，一般综合采用图片和文本信息提取图片特征计算相似度，进而进行匹配。
2、然而在某些情况下，相似度的定义是模糊的，例如对于情感等属性无法进行有效地相似度定义，在这种情况，基于相似度的方法大概率会将图文相似，但是属性不符合匹配要求的样本匹配上，从而影响数据检索的准确性。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够有效提高数据检索准确性的数据检索方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面，本申请提供了一种数据检索方法，包括：
3、针对多模态图文数据中图像数据，通过视觉相似度模型查找相似度满足相似条件的相似图像，得到粗召目标图像，所述视觉相似度模型以历史图像数据为训练样本，通过预训练方式构建；
4、基于所述粗召目标图像，针对多模态图文数据中文本数据，通过文本相似度模型
5、通过属性分类模型分别对所述多模态图文数据、和所述粗召候选样本进行属性分类处理，得到所述多模态图文数据的属性类别以及每个粗召候选样本各自的属性类别，所述属性分类模型以历史数据中标注属性的图文数据为训练样本构建；
6、将与所述多模态图文数据的属性类别一致的粗召候选样本作为数据检索结果。
7、第二方面，本申请还提供了一种数据检索装置，包括：
8、图像召回模块，用于针对多模态图文数据中图像数据，通过视觉相似度模型查找相似度满足相似条件的相似图像，得到粗召目标图像，所述视觉相似度模型以历史图像数据为训练样本，通过预训练方式构建；
9、文本召回模块，用于基于所述粗召目标图像，针对多模态图文数据中文本数据，通过文本相似度模型查找相似度满足相似条件的相似文本，得到粗召候选样本，所述文本相似度模型以历史文本数据为训练样本构建；
10、属性分类模块，用于通过属性分类模型分别对所述多模态图文数据、和所述粗召候选样本进行属性分类处理，得到所述多模态图文数据的属性类别以及每个粗召候选样本各自的属性类别，所述属性分类模型以历史数据中标注属性的图文数据为训练样本构建；
11、结果获取模块，用于将与所述多模态图文数据的属性类别一致的粗召候选样本作为数据检索结果。
12、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
13、针对多模态图文数据中图像数据，通过视觉相似度模型查找相似度满足相似条件的相似图像，得到粗召目标图像，所述视觉相似度模型以历史图像数据为训练样本，通过预训练方式构建；
14、基于所述粗召目标图像，针对多模态图文数据中文本数据，通过文本相似度模型查找相似度满足相似条件的相似文本，得到粗召候选样本，所述文本相似度模型以历史文本数据为训练样本构建；
15、通过属性分类模型分别对所述多模态图文数据、和所述粗召候选样本进行属性分类处理，得到所述多模态图文数据的属性类别以及每个粗召候选样本各自的属性类别，所述属性分类模型以历史数据中标注属性的图文数据为训练样本构建；
16、将与所述多模态图文数据的属性类别一致的粗召候选样本作为数据检索结果。
17、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
18、针对多模态图文数据中图像数据，通过视觉相似度模型查找相似度满足相似条件的相似图像，得到粗召目标图像，所述视觉相似度模型以历史图像数据为训练样本，通过预训练方式构建；
19、基于所述粗召目标图像，针对多模态图文数据中文本数据，通过文本相似度模型查找相似度满足相似条件的相似文本，得到粗召候选样本，所述文本相似度模型以历史文本数据为训练样本构建；
20、通过属性分类模型分别对所述多模态图文数据、和所述粗召候选样本进行属性分类处理，得到所述多模态图文数据的属性类别以及每个粗召候选样本各自的属性类别，所述属性分类模型以历史数据中标注属性的图文数据为训练样本构建；
21、将与所述多模态图文数据的属性类别一致的粗召候选样本作为数据检索结果。
22、第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
23、针对多模态图文数据中图像数据，通过视觉相似度模型查找相似度满足相似条件的相似图像，得到粗召目标图像，所述视觉相似度模型以历史图像数据为训练样本，通过预训练方式构建；
24、基于所述粗召目标图像，针对多模态图文数据中文本数据，通过文本相似度模型查找相似度满足相似条件的相似文本，得到粗召候选样本，所述文本相似度模型以历史文本数据为训练样本构建；
25、通过属性分类模型分别对所述多模态图文数据、和所述粗召候选样本进行属性分类处理，得到所述多模态图文数据的属性类别以及每个粗召候选样本各自的属性类别，所述属性分类模型以历史数据中标注属性的图文数据为训练样本构建；
26、将与所述多模态图文数据的属性类别一致的粗召候选样本作为数据检索结果。
27、上述数据检索方法、装置、计算机设备、存储介质和计算机程序产品，在检索过程中，先针对多模态图文数据中图像数据，通过视觉相似度模型查找相似度满足相似条件的相似图像，得到粗召目标图像。对于多模态的图文数据，可以先针对图像模态的数据来进行粗召回，得到图像维度上的粗召目标图像，而后针对多模态图文数据中文本数据，通过文本相似度模型查找相似度满足相似条件的相似文本，得到粗召候选样本。即针对文本模态的数据进行粗召回，而后结合召回的文本和图像来组合得到粗召候选样本。在得此基础上，再通过属性分类模型分别对多模态图文数据、和粗召候选样本进行属性分类处理，得到多模态图文数据的属性类别以及每个粗召候选样本各自的属性类别。再将与多模态图文数据的属性类别一致的粗召候选样本作为数据检索结果。通过属性分类，可以在图像模态和文本模态的基础上，针对多模态图文数据，筛选出属性一致的数据作为检索结果，从而有效提高针对多模态图文数据进行数据检索的准确性。本申请公开了基于分级匹配的多模态相似检索方式，首先利用视觉相似度和本文档来自技高网...
【技术保护点】
1.一种数据检索方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述粗召目标图像，针对多模态图文数据中文本数据，通过文本相似度模型查找相似度满足相似条件的相似文本，得到粗召候选样本包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述粗召目标图像，针对多模态图文数据中文本数据，通过文本相似度模型查找相似度满足相似条件的相似文本，得到粗召候选样本包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述历史图像数据，构建由相似图像构建的图像正样本对数据和由不相似图像构建的图像负样本对数据包括：
6.根据权利要求4所述的方法，其特征在于，所述基于所述多模态图文数据的来源场景，对所述预训练视觉相似度模型进行微调训练，得到视觉相似度模型包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述基于所述历史文本数据，构建由相似文本构建的文本正样本
9.根据权利要求1至8任意一项所述的方法，其特征在于，所述方法还包括：
10.根据权利要求1所述的方法，其特征在于，所述相似度包括欧式距离；
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
12.一种数据检索装置，其特征在于，所述装置包括：
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种数据检索方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述粗召目标图像，针对多模态图文数据中文本数据，通过文本相似度模型查找相似度满足相似条件的相似文本，得到粗召候选样本包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述粗召目标图像，针对多模态图文数据中文本数据，通过文本相似度模型查找相似度满足相似条件的相似文本，得到粗召候选样本包括：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述历史图像数据，构建由相似图像构建的图像正样本对数据和由不相似图像构建的图像负样本对数据包括：
6.根据权利要求4所述的方法，其特征在于，所述基于所述多模态图文数据的来源场景，对所述预训练视觉相似度模型进行微调训练，得到视觉相似度模型包括：
7.根据权利...
【专利技术属性】
技术研发人员：汪翔，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。