【技术实现步骤摘要】
本申请涉及计算机，特别是涉及一种文本生成方法、问答系统及相关装置。
技术介绍
1、随着计算机技术的快速发展，人工智能领域开始受到广泛关注，人们对于机器能够理解和回答自然语言问题的需求逐渐增加。机器阅读理解任务的提出推动了问答模型的研究，该任务要求机器从输入的问题文本中对应生成答案文本。
2、提示学习通过固定预训练模型的参数，训练一个提示向量而将预训练模型应用于不同的下游任务，具有灵活高效的优点。然而相关技术中的提示学习的提示向量与输入无关，对所有的输入文本采用统一的提示向量，没有针对问答任务进行单独优化，导致问答系统缺乏对输入文本的语义理解进而导致生成文本难以满足准确率等需求。
技术实现思路
1、本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请实施例提供了一种文本生成方法、问答系统及相关装置，包含不同细粒度的多级提示，从不同角度提高了问答系统对输入文本的语义理解，从而提高了生成文本的准确率。
2、第一方面，本申请实施例提供了一种文本生成方法，应用于问答系统，所述问答系统包括：提示生成器和生成式问答模型，所述提示生成器包括：第一编码器、第一解码器和第一多层感知机，所述生成式问答模型包括：第二编码器、第二解码器、第二多层感知机和第三多层感知机，所述方法包括：
3、获取文本输入数据、所述文本输入数据的上下文数据、领域特定提示、上下文特定提示和任务特定提示；
4、输入所述上下文数据至所述第一编码器得到第一编码输出数据，并将所述第一
5、利用所述第一多层感知机对所述第一综合提示进行感知得到第一综合向量，并利用所述第二多层感知机对所述任务特定提示进行感知得到第一任务向量；
6、将所述第一综合向量和所述第一任务向量进行拼接得到第二综合向量，并将所述第二综合向量、所述文本输入数据和所述上下文数据输入至所述第二编码器得到第二编码输出数据；
7、利用所述第三多层感知机对所述任务特定向量进行感知得到第二任务向量，并将所述第二任务向量和所述第二编码输出数据输入至所述第二解码器得到所述文本输入数据的生成文本。
8、在本申请的一些实施例中，所述将所述第一编码输出数据、领域特定提示和上下文特定提示输入至所述第一解码器之前，所述方法还包括：
9、获取问答数据集；所述问答数据集包括多个领域的上下文信息；
10、对所述上下文信息基于领域关键词进行聚类，得到至少一个聚类结果；
11、根据所述聚类结果得到领域，并生成每个所述领域的所述领域特定提示。
12、在本申请的一些实施例中，所述生成每个所述领域的所述领域特定提示之后，所述方法还包括：
13、选取任意两个所述领域构成领域对；所述领域对包括第一领域和第二领域；
14、基于所述领域特定提示的长度计算所述领域对的领域参数、所述第一领域的第一领域参数和所述第二领域的第二领域参数；
15、根据领域参数、所述第一领域参数和所述第二领域参数计算得到所述领域对的独立性参数；
16、若所述独立性参数不满足预设阈值，则重新对所述上下文信息基于领域关键词进行聚类。
17、在本申请的一些实施例中，所述将所述第一编码输出数据、领域特定提示和上下文特定提示输入至所述第一解码器，生成第一综合提示，包括：
18、拼接所述领域特定提示和所述上下文特定提示得到拼接提示；
19、将所述第一编码输出数据和所述拼接提示输入至所述第一解码器进行解码，生成所述第一综合提示。
20、在本申请的一些实施例中，所述利用所述第一多层感知机对所述第一综合提示进行感知得到第一综合向量，包括：
21、获取所述第二编码器的网络层数；
22、将所述第一综合向量输入所述第一多层感知机，依次生成对应于所述网络层数的第一综合键信息；
23、根据所述第一综合键信息得到所述第一综合向量的第一综合值信息；
24、根据所述第一综合键信息和所述第一综合值信息得到所述第一综合向量，所述第一综合向量以键值对的方式表示。
25、在本申请的一些实施例中，所述第一任务向量包括第一任务键信息和第一任务值信息；所述将所述第一综合向量和所述第一任务向量进行拼接得到第二综合向量，包括：
26、获取所述第二编码器的第一注意力层的第一注意力向量；所述第一注意力向量包括第一键信息和第一值信息；
27、将所述第一任务键信息、所述第一综合键信息和所述第一键信息拼接得到第二综合向量的第二综合键信息；
28、将所述第一任务值信息、所述第一综合值信息和所述第一值信息拼接得到第二综合向量的第二综合值信息；
29、根据所述第二综合键信息和所述第二综合值信息得到所述第二综合向量。
30、在本申请的一些实施例中，所述第二任务向量包括第二任务键信息和第二任务值信息；所述将所述第二任务向量和所述第二编码输出数据输入至所述第二解码器得到所述文本输入数据的生成文本，包括：
31、获取所述第二解码器的第二注意力层的第二注意力向量；所述第二注意力向量包括第二键信息和第二值信息；
32、将所述第二任务键信息和所述第二键信息拼接得到第三综合键信息；
33、将所述第二任务值信息和所述第二值信息拼接得到第三综合值信息；
34、根据所述第三综合键信息、所述第三综合值信息和所述第二编码输出数据得到所述文本输入数据的生成文本。
35、在本申请的一些实施例中，所述问答系统还包括训练过程，所述训练过程包括：
36、选取预设数量的训练领域对，计算所述训练领域对的独立性参数；
37、根据所述独立性参数计算得到独立性约束损失值；
38、获取预测生成文本与文本标签的文本损失值；
39、根据所述独立性约束损失值和所述文本损失值，得到预设损失值；
40、根据所述预设损失值更新所述第一多层感知机、所述第二多层感知机、所述第三多层感知机、所述任务特定提示、所述领域特定提示和所述上下文特定提示。
41、第二方面，本申请实施例还提供了一种文本生成装置，应用如本申请第一方面实施例所述的文本生成方法，包括：
42、获取模块，用于获取文本输入数据、所述文本输入数据的上下文数据、领域特定提示、上下文特定提示和任务特定提示；
43、第一输入模块，用于输入所述上下文数据至所述第一编码器得到第一编码输出数据，并将所述第一编码输出数据、领域特定提示和上下文特定提示输入至所述第一解码器，生成第一综合提示；
44、感知模块，用于利用所述第一多层感知机对所述第一综合提示进行感知得到第一综合向量，并利用所述第二多层感知机对所述任务特定提示进行感知得到第一任务向量；
本文档来自技高网...
【技术保护点】
1.一种文本生成方法，其特征在于，应用于问答系统，所述问答系统包括：提示生成器和生成式问答模型，所述提示生成器包括：第一编码器、第一解码器和第一多层感知机，所述生成式问答模型包括：第二编码器、第二解码器、第二多层感知机和第三多层感知机，所述方法包括：
2.根据权利要求1所述的文本生成方法，其特征在于，所述将所述第一编码输出数据、领域特定提示和上下文特定提示输入至所述第一解码器之前，所述方法还包括：
3.根据权利要求2所述的文本生成方法，其特征在于，所述生成每个所述领域的所述领域特定提示之后，所述方法还包括：
4.根据权利要求1所述的文本生成方法，其特征在于，所述将所述第一编码输出数据、领域特定提示和上下文特定提示输入至所述第一解码器，生成第一综合提示，包括：
5.根据权利要求4所述的文本生成方法，其特征在于，所述利用所述第一多层感知机对所述第一综合提示进行感知得到第一综合向量，包括：
6.根据权利要求5所述的文本生成方法，其特征在于，所述第一任务向量包括第一任务键信息和第一任务值信息；所述将所述第一综合向量和所述第一任务
7.根据权利要求5所述的文本生成方法，其特征在于，所述第二任务向量包括第二任务键信息和第二任务值信息；所述将所述第二任务向量和所述第二编码输出数据输入至所述第二解码器得到所述文本输入数据的生成文本，包括：
8.根据权利要求1至7中任一项所述的文本生成方法，其特征在于，所述问答系统还包括训练过程，所述训练过程包括：
9.一种文本生成装置，其特征在于，应用如权利要求1至8中任一项所述的文本生成方法，包括：
10.一种问答系统，其特征在于，应用如权利要求1至8中任一项所述的文本生成方法，包括：
11.一种电子设备，其特征在于，包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的文本生成方法。
12.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至8中任一项所述的文本生成方法。
...【技术特征摘要】
1.一种文本生成方法，其特征在于，应用于问答系统，所述问答系统包括：提示生成器和生成式问答模型，所述提示生成器包括：第一编码器、第一解码器和第一多层感知机，所述生成式问答模型包括：第二编码器、第二解码器、第二多层感知机和第三多层感知机，所述方法包括：
2.根据权利要求1所述的文本生成方法，其特征在于，所述将所述第一编码输出数据、领域特定提示和上下文特定提示输入至所述第一解码器之前，所述方法还包括：
3.根据权利要求2所述的文本生成方法，其特征在于，所述生成每个所述领域的所述领域特定提示之后，所述方法还包括：
4.根据权利要求1所述的文本生成方法，其特征在于，所述将所述第一编码输出数据、领域特定提示和上下文特定提示输入至所述第一解码器，生成第一综合提示，包括：
5.根据权利要求4所述的文本生成方法，其特征在于，所述利用所述第一多层感知机对所述第一综合提示进行感知得到第一综合向量，包括：
6.根据权利要求5所述的文本生成方法，其特征在于，所述第一任务向量包括第一任务键信息和第一...
【专利技术属性】
技术研发人员：李良知，陈国鑫，叶馥颖，钱一鸣，陈方毅，
申请(专利权)人：厦门美柚股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。