【技术实现步骤摘要】
本专利技术涉及自然语言处理，尤其涉及一种自然语言处理模型的训练方法及生成对话下文的方法。
技术介绍
1、问答系统(question answering system,qa)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。按照知识领域，可以将问答系统分类为“具体领域”以及“开放领域”。具体领域系统专注于回答特定领域的问题，如医药、体育、政府事务等。开放领域系统则希望不设限问题的内容范围，天文地理无所不问。
2、目前，常用的问答系统基本流程如图1所示，其先对问题进行关键词提取，基于提取到的关键词在语料库中进行信息检索，根据检索到的相关文档输出最匹配的答案，由此可知，现有的问答系统核心为信息检索。而近年来，随着知识图谱概念渗透到各领域，将知识图谱作为语料库进行检索是目前一种主流的方式，在金融、医疗、旅游、农业、电商等垂直领域，都不乏相关研究，这些基于知识图谱的问答系统，或利用当中的知识数据结合深度学习构建问答系统，又或是利用图谱的推理能力理解问题，还或是融合问题与三元组的信息编码至向量空间，在向量空间内完成问题相关的相似度计算任务，得出用户所需近似答案。在以上这样依赖知识图谱的问答系统中，不同问答任务(包括简单问题和复杂问题)需要不同知识图谱，每轮对话时，对话系统均要对知识图谱语料库进行搜索，这在一定程度上降低了计算效率，且局限性较高，即对上下文理解较差多轮对话效果不佳。
技术实现思路
1、本专利技术提供一种自然语言处理模型的训练方法及生
2、本专利技术提供一种自然语言处理模型的训练方法，包括：
3、获取多种异构样本数据以及预先构建的自然语言处理模型，所述异构样本数据包括结构化数据、非结构化数据、知识图谱以及专家经验数据；
4、对所述结构化数据、非结构化数据以及知识图谱进行数据编码融合，获得编码融合数据；
5、基于所述编码融合数据以及专家经验数据对所述预先构建的自然语言处理模型进行训练，以获得训练好的自然语言处理模型。
6、根据本专利技术提供的一种自然语言处理模型的训练方法，所述对所述结构化数据、非结构化数据以及知识图谱进行数据编码融合，获得编码融合数据，包括：
7、利用预设的第一编码算法对所述结构化数据进行向量转换，获得第一编码数据；
8、利用预设的第一编码算法和/或依存句法分析或第二编码算法对所述非结构化数据进行向量转换，获得第二编码数据；
9、利用预设的图卷积神经网络对所述知识图谱进行特征提取，并利用图注意力机制对提取到的特征进行特征增强，以获得第三编码数据；其中，所述编码融合数据包括第一编码数据、第二编码数据以及第三编码数据，所述第一编码算法至少为tf-idf、word2vec或one-hot中的一种，所述第二编码算法为基于bpe的编码算法。
10、根据本专利技术提供的一种自然语言处理模型的训练方法，利用第二编码算法对所述非结构化数据进行向量转换，获得第二编码数据，包括：
11、对所述非结构化数据进行命名实体识别，获得实体标签信息；
12、对所述非结构化数据进行依存句法分析，获得标注关系；
13、基于所述实体标签信息以及标注关系，利用bpf算法非结构化数据中的单词进行编码处理，以获得第二编码数据。
14、根据本专利技术提供的一种自然语言处理模型的训练方法，所述预先构建的自然语言处理模型为基于transformer的神经网络模型，包括多层融合rnn的transformer层；所述基于所述编码融合数据以及专家经验数据对所述预先构建的自然语言处理模型进行训练，以获得训练好的自然语言处理模型，包括：
15、对所述专家经验数据进行编码，以获得编码后的专业经验数据；
16、将所述第三编码数据作为查询向量与键向量，所述第一编码数据与所述第二编码数据作为值向量；
17、将所述查询向量、所述键向量、所述值向量以及所述编码后的专业经验数据输入所述多层融合rnn的transformer层，从而对transformer层的网络参数进行训练更新，直到达到预设的更新停止条件，获得训练好的自然语言处理模型。
18、本专利技术还提供一种生成对话下文的方法，包括：
19、获取用户提供的对话上文以及训练好的自然语言处理模型；
20、将所述对话上文输入所述训练好的自然语言处理模型，以获得与所述对话上文对应的对话下文；其中，所述训练好的自然语言处理模型基于如上述自然语言处理模型的训练方法获得。
21、根据本专利技术提供的一种生成对话下文的方法，所述将所述对话上文输入所述训练好的自然语言处理模型，以获得与所述对话上文对应的对话下文，包括：
22、对所述对话上文进行关键词提取与扩展，以获得问题关键词向量；
23、将所述问题关键词向量输入至所述训练好的自然语言处理模型，通过所述训练好的自然语言处理模型中的多层transformer层推理得到与所述问题关键词向量对应的数据库向量，并基于所述数据库向量获取对话下文。
24、本专利技术还提供一种自然语言处理模型的训练装置，包括：
25、数据与模型获取模块，用于获取多种异构样本数据以及预先构建的自然语言处理模型，所述异构样本数据包括结构化数据、非结构化数据、知识图谱以及专家经验数据；
26、数据融合模块，用于对所述结构化数据、非结构化数据以及知识图谱进行数据编码融合，获得编码融合数据；
27、模型训练模块，用于基于所述编码融合数据以及专家经验数据对所述预先构建的自然语言处理模型进行训练，以获得训练好的自然语言处理模型。
28、本专利技术还提供一种生成对话下文的装置，包括：
29、上文与模型获取模块，用于获取用户提供的对话上文以及训练好的自然语言处理模型；
30、下文输出模块，用于将所述对话上文输入所述训练好的自然语言处理模型，以获得与所述对话上文对应的对话下文；其中，所述训练好的自然语言处理模型基于如上述的自然语言处理模型的训练装置获得。
31、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的自然语言处理模型的训练方法或如上述任一所述的生成对话下文的方法。
32、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的自然语言处理模型的训练方法或如上述任一所述的生成对话下文的方法。
33、本专利技术提供的自然语言处理模型的训练方法及生成对话下文的方法，其中，自然语言处理模型的训练方法，通过融合结构化数据、非结构化数据、知识图谱以及专家经验来作为样本数据，使模型得到更好的训练，增强了基于上下文的文本推理能力，提高多轮对话的准确性。同时，还使得知识图谱不本文档来自技高网...
【技术保护点】
1.一种自然语言处理模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的自然语言处理模型的训练方法，其特征在于，所述对所述结构化数据、非结构化数据以及知识图谱进行数据编码融合，获得编码融合数据，包括：
3.根据权利要求2所述的自然语言处理模型的训练方法，其特征在于，利用第二编码算法对所述非结构化数据进行向量转换，获得第二编码数据，包括：
4.根据权利要求2所述的自然语言处理模型的训练方法，其特征在于，所述预先构建的自然语言处理模型为基于Transformer的神经网络模型，包括多层融合RNN的Transformer层；所述基于所述编码融合数据以及专家经验数据对所述预先构建的自然语言处理模型进行训练，以获得训练好的自然语言处理模型，包括：
5.一种生成对话下文的方法，其特征在于，包括：
6.根据权利要求5所述的生成对话下文的方法，其特征在于，所述将所述对话上文输入所述训练好的自然语言处理模型，以获得与所述对话上文对应的对话下文，包括：
7.一种自然语言处理模型的训练装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1-4任一所述的自然语言处理模型的训练方法或如权利要求5或6所述的生成对话下文的方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时权利要求1-4任一所述的自然语言处理模型的训练方法或如权利要求5或6所述的生成对话下文的方法。
...【技术特征摘要】
1.一种自然语言处理模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的自然语言处理模型的训练方法，其特征在于，所述对所述结构化数据、非结构化数据以及知识图谱进行数据编码融合，获得编码融合数据，包括：
3.根据权利要求2所述的自然语言处理模型的训练方法，其特征在于，利用第二编码算法对所述非结构化数据进行向量转换，获得第二编码数据，包括：
4.根据权利要求2所述的自然语言处理模型的训练方法，其特征在于，所述预先构建的自然语言处理模型为基于transformer的神经网络模型，包括多层融合rnn的transformer层；所述基于所述编码融合数据以及专家经验数据对所述预先构建的自然语言处理模型进行训练，以获得训练好的自然语言处理模型，包括：
5.一种生成对话下文的方法，其特征在于，包括...
【专利技术属性】
技术研发人员：蒿杰，孙亚强，李金芝，詹恒泽，
申请(专利权)人：广东人工智能与先进计算研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。