知识库的检验方法、装置及终端制造方法及图纸

技术编号:15250948 阅读:125 留言:0更新日期:2017-05-02 14:08
一种知识库的检验方法、装置及终端,所述知识库包括多个问题,所述方法包括:接收多个测试问和其对应的期待问题,所述期待问题为所述知识库中的问题;对于所述测试问,计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度;基于所述最高语义相似度确定每个所述测试问的检验结果,所述检验结果包括所述测试问是否匹配到所述知识库中的问题,以及在匹配到所述知识库中的问题时,匹配的问题是否与所述测试问对应的期待问题一致。本发明专利技术技术方案提高了知识库检验的便捷性和检验效率。

Method, device and terminal for checking knowledge base

The test method, a device and a terminal of the knowledge base, many problems including the knowledge base, the method includes: receiving a plurality of test questions to ask and the corresponding problems, the expectation for the knowledge base of the problem; for the test asked each of the highest measured semantic computation but with the similarity in the knowledge base of the plurality of problems; the highest similarity to determine each of the test question based on the test results, the test results including the test, to ask whether the knowledge base in the problem, and to the knowledge base of the problem in the match, the problem of matching test whether with the corresponding problem with looking forward to ask. The technical proposal of the invention improves the convenience and efficiency of the knowledge base inspection.

【技术实现步骤摘要】

本专利技术涉及自然语言处理
,尤其涉及一种知识库的检验方法、装置及终端
技术介绍
随着智能问答技术的发展,越来越多的平台(例如,QQ、Skype、电商客服系统、MSN平台、微信平台、短消息服务平台等)内都在采用智能问答系统。应用于智能问答系统的知识库中存储多个知识点,每个知识点包括一个或多个预设的问题以及对应的答案信息。当用户通过输入请求信息提出问题时,获取请求信息与预设问题的语义相似度,如果存在语义相似度大于预设阈值的预设问题,则将该问题对应的答案信息返回给用户。也就是智能问答系统可以基于用户的问题从知识库输出相对应的答案。在智能问答系统中,为了保证答案输出的准确性,需要对知识库输出的答案的正确性进行验证。现有智能问答系统在检验知识库的正确性时,通常直接在智能问答系统前端输入问句,并判断是否与预期答案一致;然后通过多次输入和判断,统计出准确率。但是,现有的检验方式需要多个测试人员重复输入,且仅关注智能问答系统的输出答案的准确性;针对错误回复的用户问句分别分析其原因,花费大量人力和精力。尤其在智能问答系统中的知识库发生变更时,需要重复以上动作,非常耗时耗力。
技术实现思路
本专利技术解决的技术问题是如何提高知识库检验的便捷性和检验效率。为解决上述技术问题,本专利技术实施例提供一种知识库的检验方法,知识库的检验方法包括:接收多个测试问和其对应的期待问题,所述期待问题为所述知识库中的问题;对于所述测试问,计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度;基于所述最高语义相似度确定每个所述测试问的检验结果,所述检验结果包括所述测试问是否匹配到所述知识库中的问题,以及在匹配到所述知识库中的问题时,匹配的问题是否与所述测试问对应的期待问题一致。可选的,所述知识库的检验方法还包括:若确定所述检验结果为未匹配到所述知识库中的问题,或者确定匹配的问题与所述期待问题不一致,则对所述测试问进行标记,以提示基于被标记的测试问的期待问题对所述知识库进行修改。可选的,所述知识库的检验方法还包括:若确定所述检验结果为匹配到所述知识库中的问题时,且匹配的问题与所述期待问题一致,则所述测试问检验合格。可选的,所述对所述测试问进行标记包括:在所述测试问未匹配到所述知识库中的问题时,对所述测试问增加第一标记;对于标记为所述第一标记的所述测试问,提示在所述知识库中修改所述测试问对应的期待问题。可选的,所述对所述测试问进行标记包括:在匹配到所述知识库中的问题与所述测试问对应的期待问题不一致时,对所述测试问增加第二标记;对于标记为所述第二标记的所述测试问,提示在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。可选的,所述基于所述最高语义相似度确定每个所述测试问检验结果包括:所述最高语义相似度达到第一阈值时,则确定所述测试问与所述知识库中的问题相匹配;所述最高语义相似度小于所述第一阈值时,则确定所述测试问未匹配到所述知识库中的问题;所述测试问与所述知识库中的问题相匹配时,判断所述知识库中的问题是否与所述期待问题一致。可选的,所述知识库的检验方法还包括:根据所述检验结果计算检验准确率;调整所述第一阈值,直至所述检验准确率达到预设准确率。可选的,采用以下公式计算所述检验准确率:其中,Re为所述检验准确率,PT为匹配到所述知识库中的问题与所述测试问对应的期待问题一致的测试问的数量,NF为匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的所述测试问的数量,与未匹配到所述知识库中的问题的测试问的数量之和。可选的,所述知识库包括多个标准问,所述计算所述测试问与所述知识库中所述多个问题的最高语义相似度包括:计算所述测试问与所述知识库中多个标准问的最高语义相似度。可选的,所述知识库包括多个标准问和所述多个标准问对应的扩展问,所述计算所述测试问与所述知识库中多个问题的最高语义相似度包括:计算所述测试问与所述多个标准问的第一最高语义相似度;在所述第一最高语义相似度小于所述第一阈值时,则计算测试问与所述知识库中扩展问的第二最高语义相似度,以作为所述最高语义相似度。可选的,所述知识库中包括知识点,所述知识点包括标准问;所述期待问题为标准问。为解决上述技术问题,本专利技术实施例还公开了一种知识库的检验装置,知识库的检验装置包括:接收模块,用以接收多个测试问和其对应的期待问题,所述期待问题为所述知识库中的问题;相似度计算模块,用以对于所述测试问,计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度;检验结果确定模块,用以基于所述最高语义相似度确定每个所述测试问的检验结果,所述检验结果包括所述测试问是否匹配到所述知识库中的问题,以及在匹配到所述知识库中的问题时,匹配的问题是否与所述测试问对应的期待问题一致。可选的,所述知识库的检验装置还包括:标记模块,用以在确定所述检验结果为未匹配到所述知识库中的问题,或者确定匹配的问题与所述期待问题不一致时,对所述测试问进行标记,以提示基于被标记的测试问的期待问题对所述知识库进行修改。可选的,所述标记模块包括:第一标记单元,用以在所述测试问未匹配到所述知识库中的问题时,对所述测试问增加第一标记;修改单元,用以对于标记为所述第一标记的所述测试问,提示在所述知识库中修改所述测试问对应的期待问题。可选的,所述标记模块包括:第二标记单元,用以在匹配到所述知识库中的问题与所述测试问对应的期待问题不一致时,对所述测试问增加第二标记;处理单元,用以对于标记为所述第二标记的所述测试问,提示在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。可选的,所述检验结果确定模块在确定所述检验结果为匹配到所述知识库中的问题时,且匹配的问题与所述期待问题一致时,所述测试问检验合格。可选的,所述检验结果确定模块包括:第一比较单元,用以在所述最高语义相似度达到第一阈值时,则确定所述测试问与所述知识库中的问题相匹配;第二比较单元,用以在所述最高语义相似度小于所述第一阈值时,则确定所述测试问未匹配到所述知识库中的问题;判断单元,用以在所述测试问与所述知识库中的问题相匹配时,判断所述知识库中的问题是否与所述期待问题一致。可选的,所述知识库的检验装置还包括:检验准确率计算模块,用以根据所述检验结果计算检验准确率;调整模块,用以调整所述第一阈值,直至所述检验准确率达到预设准确率。可选的,所述检验准确率计算模块采用以下公式计算所述检验准确率:其中,Re为所述检验准确率,PT为匹配到所述知识库中的问题与所述测试问对应的期待问题一致的测试问的数量,NF为匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的所述测试问的数量,与未匹配到所述知识库中的问题的测试问的数量之和。可选的,所述知识库包括多个标准问,所述相似度计算模块计算所述测试问与所述知识库中多个标准问的最高语义相似度。可选的,所述知识库包括多个标准问和所述多个标准问对应的扩展问,所述相似度计算模块包括:第一最高语义相似度计算单元,用以计算所述测试问与所述多个标准问的第一最高语义相似度;第二最高语义相似度计算单元,用以在所述第一最高语义相似度小于所述第一阈值时,则计算测试问与所述知识库中扩展问的第二最高语义相似度,以作为所述最高语义相似度本文档来自技高网...

【技术保护点】
一种知识库的检验方法,所述知识库包括多个问题,其特征在于,包括:接收多个测试问和其对应的期待问题,所述期待问题为所述知识库中的问题;对于所述测试问,计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度;基于所述最高语义相似度确定每个所述测试问的检验结果,所述检验结果包括所述测试问是否匹配到所述知识库中的问题,以及在匹配到所述知识库中的问题时,匹配的问题是否与所述测试问对应的期待问题一致。

【技术特征摘要】
1.一种知识库的检验方法,所述知识库包括多个问题,其特征在于,包括:接收多个测试问和其对应的期待问题,所述期待问题为所述知识库中的问题;对于所述测试问,计算每个所述测试问与所述知识库中所述多个问题的最高语义相似度;基于所述最高语义相似度确定每个所述测试问的检验结果,所述检验结果包括所述测试问是否匹配到所述知识库中的问题,以及在匹配到所述知识库中的问题时,匹配的问题是否与所述测试问对应的期待问题一致。2.根据权利要求1所述的知识库的检验方法,其特征在于,还包括:若确定所述检验结果为未匹配到所述知识库中的问题,或者确定匹配的问题与所述期待问题不一致,则对所述测试问进行标记,以提示基于被标记的测试问的期待问题对所述知识库进行修改。3.根据权利要求2所述的知识库的检验方法,其特征在于,所述对所述测试问进行标记包括:在所述测试问未匹配到所述知识库中的问题时,对所述测试问增加第一标记;对于标记为所述第一标记的所述测试问,提示在所述知识库中修改所述测试问对应的期待问题。4.根据权利要求2所述的知识库的检验方法,其特征在于,所述对所述测试问进行标记包括:在匹配到所述知识库中的问题与所述测试问对应的期待问题不一致时,对所述测试问增加第二标记;对于标记为所述第二标记的所述测试问,提示在所述知识库中对所述测试问匹配到的问题和所述测试问对应的期待问题进行区分或合并。5.根据权利要求1所述的知识库的检验方法,其特征在于,还包括:若确定所述检验结果为匹配到所述知识库中的问题时,且匹配的问题与所述期待问题一致,则所述测试问检验合格。6.根据权利要求1所述的知识库的检验方法,其特征在于,所述基于所述最高语义相似度确定每个所述测试问检验结果包括:所述最高语义相似度达到第一阈值时,则确定所述测试问与所述知识库中的问题相匹配;所述最高语义相似度小于所述第一阈值时,则确定所述测试问未匹配到所述知识库中的问题;所述测试问与所述知识库中的问题相匹配时,判断所述知识库中的问题是否与所述期待问题一致。7.根据权利要求6所述的知识库的检验方法,其特征在于,还包括:根据所述检验结果计算检验准确率;调整所述第一阈值,直至所述检验准确率达到预设准确率。8.根据权利要求7所述的知识库的检验方法,其特征在于,采用以下公式计算所述检验准确率:其中,Re为所述检验准确率,PT为匹配到所述知识库中的问题与所述测试问对应的期待问题一致的测试问的数量,NF为匹配到所述知识库中的问题与所述测试问对应的期待问题不一致的所述测试问的数量,与未匹配到所述知识库中的问题的测试问的数量之和。9.根据权利要求1至8任一项所述的知识库的检验方法,其特征在于,所述知识库包括多个标准问,所述计算所述测试问与所述知识库中所述多个问题的最高语义相似度包括:计算所述测试问与所述知识库中多个标准问的最高语义相似度。10.根据权利要求6至8任一项所述的知识库的检验方法,所述知识库包括多个标准问和所述多个标准问对应的扩展问,所述计算所述测试问与所述知识库中多个问题的最高语义相似度包括:计算所述测试问与所述多个标准问的第一最高语义相似度;在所述第一最高语义相似度小于所述第一阈值时,则计算测试问与所述知识库中扩展问的第二最高语义相似度,以作为所述最高语义相似度。11.根据权利要求1所述的知识库的检验方法,其特征在于,所述知识库中包括知识点,所述知识点包括标准问;所述期待问题为标准问。12.一种知识库的检验装置,其特征在于,包括:接收模块,用以接收多个测试问和其对应的期待问题,所述期待问题为所述知识库中的问题;相似度计算模块,用以对于所述...

【专利技术属性】
技术研发人员:曾永梅朱频频
申请(专利权)人:上海智臻智能网络科技股份有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1