【技术实现步骤摘要】
一种抗干扰的融合检索和机器阅读理解的知识库问答方法及系统
本专利技术涉及人工智能
，尤其涉及一种融合检索和机器阅读理解的文本查询方法、装置、可读存储介质及计算设备。
技术介绍
ElasticSearch的BM25算法，是TF-IDF算法的一个升级改良版本，但本质还是基于词的词频、逆文档频率等与词出现次数相关的特征来做匹配搜索，是一种基于关键字匹配的搜索算法。然而在实际应用中，用户输入的关键字可能会与搜索内容语义相关，未必与搜索内容里的关键字完全匹配。如“请假流程”与“请假步骤”只是语义相关。知识库某一知识是“请假步骤”，但用户输入的是“请假流程”，这类要求语义匹配的情况BM25算法是无法解决的。PageRank搜索排名算法本质上是一种以网页之间的超链接个数和质量作为主要因素来分析网页的重要性的算法。意在显示搜索结果的时候，过滤掉一些超链接个数少的非重要结果。与企业知识库实际不符。因为一般能录进企业知识库的都是一些企业认为重要的资料数据。所以PageRank算法并不适用于大部分的知识库场景。基于以...
【技术保护点】
1.一种融合检索和机器阅读理解的文本查询方法，其特征在于，包括：/n接收用户的查询请求；所述查询请求包括查询文本；/n根据所述查询文本进行搜索，获取预设第一个数的候选文档；/n将所述预设第一个数的候选文档和所述查询文本输入预设的二分类模型，根据所述二分类模型输出的置信度，从所述预设第一个数的候选文档中选取预设第二个数的候选文档；/n将所述预设第二个数的候选文档和所述查询文本输入预设的段落抽取阅读理解模型，根据所述段落抽取阅读理解模型输出的所述候选文档中与所述查询文本对应的段落或句子，以及所述段落或句子的上标、下标的置信度，从所述预设第二个数的候选文档中选取预设第三个数的所述...
【技术特征摘要】
1.一种融合检索和机器阅读理解的文本查询方法，其特征在于，包括：
接收用户的查询请求；所述查询请求包括查询文本；
根据所述查询文本进行搜索，获取预设第一个数的候选文档；
将所述预设第一个数的候选文档和所述查询文本输入预设的二分类模型，根据所述二分类模型输出的置信度，从所述预设第一个数的候选文档中选取预设第二个数的候选文档；
将所述预设第二个数的候选文档和所述查询文本输入预设的段落抽取阅读理解模型，根据所述段落抽取阅读理解模型输出的所述候选文档中与所述查询文本对应的段落或句子，以及所述段落或句子的上标、下标的置信度，从所述预设第二个数的候选文档中选取预设第三个数的所述段落或句子；
将所述预设第三个数的所述段落或句子返回给所述用户。
2.如权利要求1所述的方法，其特征在于，
所述预设第一个数的候选文档，包括：全体搜索结果中，搜索结果置信度最高的预设第一个数的候选文档；
所述预设第二个数的候选文档，包括：所述预设第一个数的候选文档中，所述二分类模型输出的置信度最高的预设第二个数的候选文档；
所述预设第三个数的段落或句子，包括：所述预设第二个数的候选文档的所述段落或句子中，上标、下标的置信度的乘积最高的预设第三个数的所述段落或句子。
3.如权利要求2所述的方法，其特征在于，将所述预设第三个数的所述段落或句子返回给所述用户，包括：
根据所述搜索结果置信度、所述二分类模型输出的置信度和所述上标、下标的置信度的乘积的综合结果，对所述预设第三个数的段落或句子进行排序；
将排序结果返回给所述用户。
4.如权利要求1所述的方法，其特征在于，根据所述查询文本进行搜索，获取预设第一个数的候选文档，包括：
根据所述查询文本，使用BM25算法和RM3算法进行搜索，获取预设第一个数的候选文档。
5.如权利要求1所述的方法，其特征在于，训练所述二分类模型，包括：
获取若干第一查询文本训练数据，以及，标记包含所述第一查询文本训练数据对应答案的第一文档；
为每个第一查询文本训练数据随机生成若干不相关的第二文档；
将所述第一查询文本训练数据、所述第一文档和所述第二文档经过Bert编码后输入全连接神经网络，得到训练好的二分类模型。
6.如权利要求1所述的方法，其特征在于，训练所述段落抽取阅读理解模型，包括：
获取若干第二查询文本训练数据，以及，标记所述第二查询文本训练数据...
【专利技术属性】
技术研发人员：陈开冉，黎展，谢智权，
申请(专利权)人：广州探迹科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。