信息检索方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种信息检索方法、装置及计算机可读存储介质。本发明专利技术提供的信息检索方法，包括：获取第一训练数据，所述第一训练数据包括查询指令和与所述查询指令对应的查询结果；清除所述第一训练数据中的噪声，得到第二训练数据；利用所述第二训练数据初始化信息检索模型；利用所述信息检索模型进行信息检索。本发明专利技术的技术方案能够提高信息检索结果的准确性，提高信息检索的效率。提高信息检索的效率。提高信息检索的效率。

【技术实现步骤摘要】
信息检索方法、装置及计算机可读存储介质


[0001]本专利技术涉及信息检索领域，具体涉及一种信息检索方法、装置及计算机可读存储介质。

技术介绍

[0002]信息检索技术是一项重要的技术，广泛应用于搜索引擎，问答系统，推荐系统和其他各种智能服务中。借助更好的信息检索技术，厂商可以准确地了解客户的意图并提供恰当的产品或服务。
[0003]目前，信息检索的主要方法是基于大规模的神经网络模型判断用户查询与文档的语义相关性。训练大规模神经网络模型需要大量的标注数据，但人工标注的成本很高。相关技术提出基于生成的方法来构建训练用的标注数据。但是，生成的数据通常包含一些噪声，且生成的数据中负样本的相关性不足，影响了信息检索的效果。

技术实现思路

[0004]本专利技术实施例要解决的技术问题是提供一种信息检索方法、装置及计算机可读存储介质，能够提高信息检索结果的准确性，提高信息检索的效率。
[0005]根据本专利技术实施例的一个方面，提供了一种信息检索方法，包括：
[0006]获取第一训练数据，所述第一训练数据包括查询指令和与所述查询指令对应的查询结果；
[0007]清除所述第一训练数据中的噪声，得到第二训练数据；
[0008]利用所述第二训练数据初始化信息检索模型；
[0009]利用所述信息检索模型进行信息检索。
[0010]此外，根据本专利技术的至少一个实施例，初始化信息检索模型之后，所述方法还包括：
[0011]通过对抗式查询对所述信息检索模型进行优化。
[0012]此外，根据本专利技术的至少一个实施例，所述获取第一训练数据包括：
[0013]获取开放数据，所述开放数据包括查询指令和与所述查询指令对应的查询结果；
[0014]利用所述开放数据训练生成查询数据生成模型，所述查询数据生成模型能够根据输入的查询结果生成与所述查询结果对应的查询指令；
[0015]将特定领域的文档输入所述查询数据生成模型，生成所述第一训练数据。
[0016]此外，根据本专利技术的至少一个实施例，所述清除所述第一训练数据中的噪声包括：
[0017]利用所述第一训练数据初始化噪声分类模型；
[0018]对所述噪声分类模型进行训练；
[0019]利用训练后的噪声分类模型清除所述第一训练数据中的噪声。
[0020]此外，根据本专利技术的至少一个实施例，所述对所述噪声分类模型进行训练包括：
[0021]进行N次迭代，得到训练后的噪声分类模型，N为正整数；
[0022]其中，在每次迭代中，利用所述噪声分类模型清除所述第一训练数据中的噪声，利用清除噪声后的数据训练所述信息检索模型，利用训练后的所述信息检索模型的损失函数更新所述噪声分类模型的参数。
[0023]此外，根据本专利技术的至少一个实施例，所述通过对抗式查询对所述信息检索模型进行优化包括：
[0024]利用所述第二训练数据初始化不相关查询生成模型，所述不相关查询生成模型的输入是查询结果和与所述查询结果相关的第一查询指令，输出是与所述查询结果不相关的第二查询指令；
[0025]将所述信息检索模型的输出结果输入所述不相关查询生成模型，利用所述不相关查询生成模型的输出结果对所述信息检索模型进行训练。
[0026]此外，根据本专利技术的至少一个实施例，所述不相关查询生成模型的目标函数包括：
[0027]所述不相关查询生成模型生成的第二查询指令与查询结果的相关性；
[0028]所述不相关查询生成模型生成的第二查询指令与第一查询指令的文本相似性。
[0029]根据本专利技术实施例的另一方面，提供了一种信息检索装置，包括：
[0030]获取单元，用于获取第一训练数据，所述第一训练数据包括查询指令和与所述查询指令对应的查询结果；
[0031]噪声清除单元，用于清除所述第一训练数据中的噪声，得到第二训练数据；
[0032]初始化单元，用于利用所述第二训练数据初始化信息检索模型；
[0033]信息检索单元，用于利用所述信息检索模型进行信息检索。
[0034]此外，根据本专利技术的至少一个实施例，所述装置还包括：
[0035]优化单元，用于通过对抗式查询对所述信息检索模型进行优化。
[0036]此外，根据本专利技术的至少一个实施例，所述获取单元包括：
[0037]获取子单元，用于获取开放数据，所述开放数据包括查询指令和与所述查询指令对应的查询结果；
[0038]第一处理子单元，用于利用所述开放数据训练生成查询数据生成模型，所述查询数据生成模型能够根据输入的查询结果生成与所述查询结果对应的查询指令；
[0039]第二处理子单元，用于将特定领域的文档输入所述查询数据生成模型，生成所述第一训练数据。
[0040]此外，根据本专利技术的至少一个实施例，所述噪声清除单元包括：
[0041]第一初始化子单元，用于利用所述第一训练数据初始化噪声分类模型；
[0042]训练子单元，用于对所述噪声分类模型进行训练；
[0043]清除子单元，用于利用训练后的噪声分类模型清除所述第一训练数据中的噪声。
[0044]此外，根据本专利技术的至少一个实施例，所述优化单元包括：
[0045]第二初始化子单元，用于利用所述第二训练数据初始化不相关查询生成模型，所述不相关查询生成模型的输入是查询结果和与所述查询结果相关的第一查询指令，输出是与所述查询结果不相关的第二查询指令；
[0046]对抗训练子单元，用于将所述信息检索模型的输出结果输入所述不相关查询生成模型，利用所述不相关查询生成模型的输出结果对所述信息检索模型进行训练。
[0047]本专利技术实施例还提供了一种信息检索装置，包括：存储器、处理器及存储在存储器
上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的信息检索方法的步骤。
[0048]本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的信息检索方法的步骤。
[0049]与现有技术相比，本专利技术实施例提供的信息检索方法、装置及计算机可读存储介质，在获取用以训练信息检索模型的第一训练数据之后，并不直接利用第一训练数据生成信息检索模型，而是先清除第一训练数据中的噪声，利用清除噪声后的第二训练数据初始化信息检索模型，能够优化信息检索模型的性能，提高信息检索结果的准确性，提高信息检索的效率。
附图说明
[0050]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0051]图1为本专利技术实施例的信息检索方法的流程示意图；
[0052]图2为本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息检索方法，其特征在于，包括：获取第一训练数据，所述第一训练数据包括查询指令和与所述查询指令对应的查询结果；清除所述第一训练数据中的噪声，得到第二训练数据；利用所述第二训练数据初始化信息检索模型；利用所述信息检索模型进行信息检索。2.根据权利要求1所述的信息检索方法，其特征在于，初始化信息检索模型之后，所述方法还包括：通过对抗式查询对所述信息检索模型进行优化。3.根据权利要求1所述的信息检索方法，其特征在于，所述获取第一训练数据包括：获取开放数据，所述开放数据包括查询指令和与所述查询指令对应的查询结果；利用所述开放数据训练生成查询数据生成模型，所述查询数据生成模型能够根据输入的查询结果生成与所述查询结果对应的查询指令；将特定领域的文档输入所述查询数据生成模型，生成所述第一训练数据。4.根据权利要求1所述的信息检索方法，其特征在于，所述清除所述第一训练数据中的噪声包括：利用所述第一训练数据初始化噪声分类模型；对所述噪声分类模型进行训练；利用训练后的噪声分类模型清除所述第一训练数据中的噪声。5.根据权利要求4所述的信息检索方法，其特征在于，所述对所述噪声分类模型进行训练包括：进行N次迭代，得到训练后的噪声分类模型，N为正整数；其中，在每次迭代中，利用所述噪声分类模型清除所述第一训练数据中的噪声，利用清除噪声后的数据训练所述信息检索模型，利用训练后的所述信息检索模型的损失函数更新所述噪声分类模型的参数。6.根据权利要求2所述的信息检索方法，其特征在于，所述通过对抗式查询对所述信息检索模型进行优化包括：利用所述第二训练数据初始化不相关查询生成模型，所述不相关查询生成模型的输入是查询结果和与所述查询结果相关的第一查询指令，输出是与所述查询结果不相关的第二查询指令；将所述信息检索模型的输出结果输入所述不相关查询生成模型，利用所述不相关查询生成模型的输出结果对所述信息检索模型进行训练。7.根据权利要求6所述的信息检索方法，其特征在于，所述不相关查询生成模型的目标函数包括：所述不相关查询生成模型生成的第二查...

【专利技术属性】
技术研发人员：丁磊，童毅轩，董滨，姜珊珊，张永伟，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：