图文混合检索方法、装置、存储介质、计算机设备制造方法及图纸

本发明专利技术涉及一种图文混合检索方法、装置、存储介质、计算机设备，所述图文混合检索方法包括：获取用户输入的待检索信息，若所述待检索信息中同时包含文本数据和图像数据，则将所述文本数据分词后进行倒排索引查询操作，得到第一候选集；将所述图像数据输入到预先训练好的神经网络模型中，得到与所述图像数据对应的特征向量，对所述特征向量编码处理后进行倒排索引查询操作，得到第二候选集；将所述第一候选集和所述第二候选集中的文档进行合并，统计合并后的文档在所述第一候选集和/或所述第二候选集中的命中次数，根据统计结果对所述合并后的文档进行排序，并将排序结果返回至展示页面；提升了检索准确度的同时，有效降低了系统的维护成本。

【技术实现步骤摘要】
图文混合检索方法、装置、存储介质、计算机设备
本专利技术涉及信息检索
，尤其涉及一种图文混合检索方法、装置、存储介质、计算机设备。
技术介绍
以往的检索系统主要包括单模态检索和跨模态检索两种方式，不管是单模态检索还是跨模态检索，其查询数据仅包含一种模态的数据。然而，近年来，随着移动互联网的发展，人们的查询需求也发生了变化，逐渐产生了新的检索需求，混合模态检索就是其中一种。混合模态检索指的是输入检索系统查询数据时包含多种模态的数据的检索，例如，在教育领域，输入查询数据时一般会包含一段题目的文本描述和相关的图形图像，此时，检索系统需要返回同时与文本描述以及图形图像相似的题目。现阶段，对于混合模态检索的相关研究和技术相对较少。通常情况下，最直观地做法是对文本和图像建立两套检索模型，对于一个给定的文本图像查询对，将文本和图像分别在其单模态检索系统中查询，最后取两者的交集，并返回最终的结果。然而，这种方法存在两个问题：一是对于文本和图像的检索需要分别维护一套索引系统，当数据量较大时，维护两套索引系统所付出的存储代价和计算代价是非常高的；二是本文档来自技高网...

【技术保护点】
1.一种图文混合检索方法，其特征在于，所述方法包括：/n获取用户输入的待检索信息，若所述待检索信息中同时包含文本数据和图像数据，则将所述文本数据分词后进行倒排索引查询操作，得到第一候选集；/n将所述图像数据输入到预先训练好的神经网络模型中，得到与所述图像数据对应的特征向量，对所述特征向量编码处理后进行倒排索引查询操作，得到第二候选集；/n将所述第一候选集和所述第二候选集中的文档进行合并，统计合并后的文档在所述第一候选集和/或所述第二候选集中的命中次数，根据统计结果对所述合并后的文档进行排序，并将排序结果返回至展示页面。/n

【技术特征摘要】
1.一种图文混合检索方法，其特征在于，所述方法包括：
获取用户输入的待检索信息，若所述待检索信息中同时包含文本数据和图像数据，则将所述文本数据分词后进行倒排索引查询操作，得到第一候选集；
将所述图像数据输入到预先训练好的神经网络模型中，得到与所述图像数据对应的特征向量，对所述特征向量编码处理后进行倒排索引查询操作，得到第二候选集；
将所述第一候选集和所述第二候选集中的文档进行合并，统计合并后的文档在所述第一候选集和/或所述第二候选集中的命中次数，根据统计结果对所述合并后的文档进行排序，并将排序结果返回至展示页面。


2.根据权利要求1所述的图文混合检索方法，其特征在于，将所述文本数据分词后进行倒排索引查询操作，得到第一候选集的步骤，包括：
将所述文本数据进行分词后得到多个词项，根据所述词项构建倒排索引，并在所述倒排索引中进行查询操作，得到与所述文本数据对应的第一候选集；
其中，所述第一候选集包含所述词项在所述倒排索引中查询得到的多个文档。


3.根据权利要求1所述的图文混合检索方法，其特征在于，对所述特征向量编码处理后进行倒排索引查询操作，得到第二候选集的步骤，包括：
对所述特征向量进行取整操作，得到整型特征向量，将所述整型特征向量映射为文本向量后进行分组编码，得到所述图像数据对应的多个特征编码；
根据所述特征编码构建倒排索引，并在所述倒排索引中进行查询操作，得到与所述图像数据对应的第二候选集；
其中，所述第二候选集包含所述特征编码在所述倒排索引中查询得到的多个文档。


4.根据权利要求1所述的图文混合检索方法，其特征在于，统计合并后的文档在所述第一候选集和/或所述第二候选集中的命中次数的步骤，包括：
若合并后的文档为所述第一候选集中的文档，则统计所述文档在所述第一候选集中的命中次数；
若合并后的文档为所述第二候选集中的文档，则统计所述文档在所述第二候选集中的命中次数；
若合并后的文档为所述第一候选集和所述第二候选集中的文档，则统计所述文档在所述第一候选集和所述第二候选集中的加权命中次数。


5.根据权利要求4所述的图文混合检索方法，其特征在于，若合并后的文档为所述第一候选集和所述第二候选集中的文档，则统计所述文档在所述第一候选集和所述第二候选集中的加权命中次数的步骤，包括：
若合并后的文档为所述第一候选集和所述第二候选集中的文档，则统计所述文档在所述第一候选集中的第一命中次数，以及所述文档在所述第二候选集中的第二命中次数；
获取加权因子，并利用所述加权因子对所述第一命中次数和所述第二命中次数进行加权融合，得到加权命中次数。


6.根据权利要求1所述的图文混合检索方法，其特征在于，所述神经网络模型的训练方法包括：
获取数据库中的样本数据，并将所述样本数据划分为训练集和测试集，其中，所述样本数据包括图像数据及对应的标签类别；
利用所述训练集中的图像数据对神经网...

【专利技术属性】
技术研发人员：熊智，江琳，陈科第，张铨，王耿鑫，庞磊，郭志伟，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：广东;44