一种智能问答机器人系统技术方案

本发明专利技术涉及问答机器人技术领域，具体公开了一种智能问答机器人系统，包括获取模型、问答模型和输出模型，所述获取模型用于获取用户提出的问题；所述问答模型用于找到和用户query最匹配的问题，进而给出对应的答案，所述问答模型采用将单词转换成向量和词移距离两种形式；所述输出模型用于接受问答模型给出的对应答案后进行输出。本发明专利技术的智能问答机器人系统的问答模型采用词转换成向量和词移距离两种形式，通过混合的语义度量方法来判断语义的相关性，更精准的把控相近的语义，提高答案的准确率；另外知识点分配任务采用BERT+多任务学习框架，利用BERT本身的优势再通过MTL进行fine

【技术实现步骤摘要】
一种智能问答机器人系统


[0001]本专利技术涉及锻造
，具体是一种智能问答机器人系统。

技术介绍

[0002]政通智能问答机器人系统是一种基于自然语言理解的语义检索、多渠道知识服务、大规模知识库构建的平台，主要用于政府和大型企业等的智能问答解决方案，支持大数据和云集群。
[0003]但是现存在的智能问答机器人系统大多数是基于分词的全文搜索引擎，基于分词的全文搜索引擎具有以下不足：不能理解文章的含义，搜索靠的是字面相关度，而不是语义相关度；只能定位到搜索的问题，不能准确定位到答案。

技术实现思路

[0004]本专利技术的目的在于，提供一种智能问答机器人系统，采用单词转换成向量形式和词移距离形式的语义度量方法，提高答案的准确率。
[0005]为实现上述目的，本专利技术提供了一种智能问答机器人系统，包括获取模型、问答模型和输出模型，
[0006]所述获取模型用于获取用户提出的问题；
[0007]所述问答模型用于找到和用户query最匹配的问题，进而给出对应的答案；
[0008]所述输出模型用于接受问答模型给出的对应答案后进行输出。
[0009]进一步地，所述问答模型采用检索+匹配+排序的架构，所述检索包括离线状态下对知识库的检索和在线状态的检索服务。
[0010]进一步地，所述问答模型采用的语义度量方法为将单词转换成向量形式，并从不同角度刻画周围词和当前词的关系，经过训练后，得到一份词汇的向量表示。
[0011]进一步地，训练得到的词向量，通过IDF对词向量进行加权平均，得到用户问句q和p词粒度的句向量表示，并通过余弦相似度来度量两者的语义相关性。
[0012]进一步地，所述余弦相似度大表示两个词搭配出现、或者和同一批词搭配出现。
[0013]进一步地，所述问答模型采用的语义度量方法为词移距离，为将用户问句q中的每个词以不同权重匹配到p中每个词上，基于句子间的交互来表示语义。
[0014]进一步地，利用所述词移距离计算q/p的相关性时，会对句子进行切词、去停，对于q中的每个词找到p中的另一个词，进行语义转移，转移的代价采用两个词汇间的word2vec余弦相似度来度量。
[0015]进一步地，当两个词语义相近时进行转移，如果语义相差很大，可以微转移或者不转移，最后使得所有转移的加权和最小，所述加权为采用词频作为特征。
[0016]进一步地，所述问答模型的知识点分配任务采用BERT+多任务学习MTL框架，基于知识库数据，在BERT的基础上，通过MTL进行fine
‑
tune,再以BERT
‑
MTL为基础，通过单个任务分别进行fine
‑
tune。
[0017]本专利技术的有益效果是：
[0018]1、本专利技术的问答模型采用词转换成向量和词移距离两种形式，通过混合的语义度量方法来判断语义的相关性，更精准的把控相近的语义，提高答案的准确率。
[0019]2、本专利技术的知识点分配任务采用BERT+多任务学习框架，利用BERT本身的优势再通过MTL进行fine
‑
tune,提升分类任务的效果。
附图说明
[0020]为了更清楚地说明本专利技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0021]图1是本专利技术问答模型的流程图；
[0022]图2是本专利技术QA架构图；
[0023]图3为本专利技术word2vec的2个模型图；
[0024]图4为本专利技术的单词转换成向量形式的句子表示的word2vec特征图；
[0025]图5为本专利技术的词移距离形式的句子表示的word2vec特征图；
[0026]图6为本专利技术的加权采用词频作为特征的具体事例图；
[0027]图7为本专利技术使用BERT+多任务学习MTL的框架图；
[0028]图8为本专利技术BERT+MTL的fine
‑
tune过程图。
具体实施方式
[0029]下面将结合本专利技术说明书附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]本专利技术的一种智能问答机器人系统，包括获取模型、问答模型和输出模型，所述获取模型用于获取用户提出的问题；所述问答模型用于找到和用户query最匹配的问题，进而给出对应的答案；所述输出模型用于接受问答模型给出的对应答案后进行输出。
[0031]在本专利技术的一个具体实施例中，用户提问后，需要建立一个问答模型，这个模型能找到和用户query最匹配的问题，进而给出对应的答案。这儿的问答模型我们采用检索+匹配+排序的架构(如图1至图2所示)，所述检索包括离线状态下对知识库的检索和在线状态的检索服务；所述匹配包括离线状态的匹配模型和在线状态的匹配服务；所述排序包括离线状态的排序模型和在线状态的排序服务。
[0032]给模型引入一定的语义表示能力，word2vec在很多任务上都有着非常杰出的贡献，本实施例中所述问答模型采用的语义度量方法为将单词转换成向量形式，并从不同角度刻画周围词和当前词的关系，经过训练后，得到一份词汇的向量表示，word2vec的2个模型(如图3所示)。
[0033]基于训练得到的词向量，采用IDF对词向量进行加权平均，得到用户问句q和p词粒度的句向量表示，并通过余弦相似度来度量两者的语义相关性，(基于句子表示的word2vec
特征如图4所示)。
[0034]通过余弦相似度给出的相似，余弦相似度大表示两个词搭配出现、或者和同一批词搭配出现的可能性较大。
[0035]本专利技术还引入了另一种语义度量方法：词移距离WMD(theWord Mover
’
sDistance),它刻画了如何用最小的代价将用户问句q中的每个词以不同权重匹配到p中每个词上，这是一种基于句子间的交互来表示语义的方法(如图5所示)。
[0036]在利用WMD计算q/p的相关性时，会对句子进行切词、去停，对于q中的每个词找到p中的另一个词，进行语义转移，转移的代价采用两个词汇间的word2vec余弦相似度来度量。
[0037]当2个词语义相近时，可以多转移一点，如果语义相差很大，可以选择少转移或者不转移，最后使得所有转移的加权和最小，这里加权为采用词频作为特征，具体示例如图6所示。
[0038]所述问答模型的知识点分配任务采用BERT+多任务学习MTL框架，框架图如图7所示，在BERT横扫了11项NLP测评任务的效果后，把它应用在知识点分类任务上，利用BERT本身的优势本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能问答机器人系统，其特征在于，包括获取模型、问答模型和输出模型所述获取模型用于获取用户提出的问题；所述问答模型用于找到和用户query最匹配的问题，进而给出对应的答案，所述问答模型采用将单词转换成向量和词移距离两种形式；所述输出模型用于接受问答模型给出的对应答案后进行输出。2.根据权利要求1所述的一种智能问答机器人系统，其特征在于，所述问答模型采用检索+匹配+排序的架构，所述检索包括离线状态下对知识库的检索和在线状态的检索服务。3.根据权利要求1所述的一种智能问答机器人系统，其特征在于，所述问答模型采用的语义度量方法为将单词转换成向量形式，并从不同角度刻画周围词和当前词的关系，经过训练后，得到一份词汇的向量表示。4.根据权利要求3所述的一种智能问答机器人系统，其特征在于，训练得到的词向量，通过IDF对词向量进行加权平均，得到用户问句q和p词粒度的句向量表示，并通过余弦相似度来度量两者的语义相关性。5.根据权利要求4所述的一种智能问答机器人系统，其特征在于，所述余弦相似度大表示两个词搭配出现、或者和同一批词搭配出现。6.根...

【专利技术属性】
技术研发人员：陈诚，
申请(专利权)人：南通七和互联网络科技有限公司，
类型：发明
国别省市：