文本生成方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种文本生成方法、装置、电子设备及存储介质，属于人工智能技术领域。该方法包括：获取输入文本中的实体，并在知识图谱中提取实体对应的序列化信息，序列化信息用于表征实体的属性信息；将序列化信息与输入文本进行融合，获得融合数据；基于融合数据确定与输入文本相匹配的反馈文本。减少因知识固化所带来的干扰信息，降低知识丢失的可能性，提升对输入文本的分析准确性，使获得的反馈文本更具流畅性。更具流畅性。更具流畅性。

【技术实现步骤摘要】
文本生成方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能
，特别涉及一种文本生成方法、装置、电子设备及存储介质。

技术介绍

[0002]自然语言生成(Natural Language Generation，NLG)是指利用人工智能和语言学等方法来自动地生成可理解的自然语言文本。随着技术的发展，自然语言生成技术广泛的应用在各个场景下，比如翻译、自动标题、商户文案生成等。传统自然语言生成技术一般是基于模板的方式进行生成，比如根据输入文本选择对应的生成模板，基于生成模板来生成与输入文本对应的反馈文本。随着大规模预训练模型的发展，基于预训练模型的生成方式也逐渐成为自然语言生成技术的主流。
[0003]常规的，在利用预训练模型生成反馈文本时，将输入文本输入至预训练模型中进行识别分析，以生成与该输入文本相匹配的反馈文本。这种方式存在知识固化的问题，降低了文本的流畅性，并且，在文本的识别过程中，还会存在知识丢失或知识干扰等问题，降低了对文本的识别准确性，从而也降低了反馈文本与输入文本的匹配性，导致生成的反馈文本不是很准确。因此，在自然语言生成领域中，如何有效准确地为输入文本生成反馈文本成为当前研究的热点问题之一。

技术实现思路

[0004]本申请提供一种文本生成方法、装置、电子设备及存储介质，以便于准确的为输入文本生成反馈文本。
[0005]第一方面，本申请提供了一种文本生成方法，所述文本生成方法包括：获取输入文本中的实体，并在知识图谱中提取所述实体对应的序列化信息，所述序列化信息用于表征所述实体的属性信息；将所述序列化信息与所述输入文本进行融合，获得融合数据；基于所述融合数据确定与所述输入文本相匹配的反馈文本。
[0006]第二方面，本申请提供了一种文本生成装置，所述文本生成装置包括：获取模块，被配置为获取输入文本中的实体，并在知识图谱中提取所述实体对应的序列化信息，所述序列化信息用于表征所述实体的属性信息；融合模块，被配置为将所述序列化信息与所述输入文本进行融合，获得融合数据；处理模块，被配置为基于所述融合数据确定与所述输入文本相匹配的反馈文本。
[0007]第三方面，本申请提供了一种电子设备，该电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述文本生成方法。
[0008]第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现上述文本生成方法。
[0009]本申请所提供的实施例，基于知识图谱为输入文本生成相匹配的反馈文本，具体地，获取输入文本中的实体，然后在知识图谱中提取实体对应的序列化信息，将序列化信息与输入文本进行融合，获得融合数据，进一步的，通过分析融合数据确定与所述输入文本相匹配的反馈文本。在上述文本生成过程中，融合数据是将序列化信息与输入文本进行融合得到的，这样一来融合数据能够体现输入文本中的实体及各实体的属性信息，在分析融合数据时，通过考虑实体的属性信息可以减少与实体的属性信息无关的信息干扰，同时降低知识丢失的可能性，使得反馈文本能够准确地反应融合数据对应的文本信息，从而使反馈文本更准确，流畅性更高。
[0010]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用来提供对本申请的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请，并不构成对本申请的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：
[0012]图1为相关技术提供的一种基于知识图谱的反馈文本生成装置的组成方框图。
[0013]图2为本申请实施例提供的一种文本生成方法的流程图。
[0014]图3为本申请实施例提供的一种实体识别模型的示意图。
[0015]图4为本申请实施例提供的一种文本识别网络模型的示意图。
[0016]图5为本申请实施例提供的采用文本识别网络模型中的注意力机制确定编码特征序列向量的示意图。
[0017]图6为本申请实施例提供的一种融合文本及其对应的注意力编码的示意图。
[0018]图7为本申请实施例提供的一种融合文本及其对应的注意力编码的示意图。
[0019]图8为本申请实施例提供的一种专业知识图谱的示意图。
[0020]图9为本申请实施例提供的一种文本生成装置的组成方框图。
[0021]图10为本申请实施例提供的一种电子设备的组成方框图。
具体实施方式
[0022]为使本领域的技术人员更好地理解本申请的技术方案，以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]在不冲突的情况下，本申请各实施例及实施例中的各特征可相互组合。
[0024]如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
[0025]本文所使用的术语仅用于描述特定实施例，且不意欲限制本申请。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由
……
制成”时，指定存在特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件
和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0026]除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本申请的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
[0027]知识图谱(Knowledge Graph)在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及知识资源之间的相互联系。知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法，计量学引文分析方法，共现分析方法等相结合，利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构的图片，能够将多学科的内容进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本生成方法，其特征在于，包括：获取输入文本中的实体，并在知识图谱中提取所述实体对应的序列化信息，所述序列化信息用于表征所述实体的属性信息；将所述序列化信息与所述输入文本进行融合，获得融合数据；基于所述融合数据确定与所述输入文本相匹配的反馈文本。2.根据权利要求1所述的方法，其特征在于，所述将所述序列化信息与所述输入文本进行融合，获得融合数据，包括：将所述实体对应的所述序列化信息插入所述输入文本中的预设位置，获得融合文本；所述预设位置包括：所述实体的尾部，和/或，所述实体对应的需求信息的尾部；所述需求信息为表征所述实体需处理的业务信息；基于所述融合文本确定注意力掩码信息，所述注意力掩码信息用于区别所述输入文本和所述序列化信息；基于所述注意力掩码信息和所述融合文本，生成所述融合数据。3.根据权利要求2所述的方法，其特征在于，所述基于所述融合数据确定与所述输入文本相匹配的反馈文本，包括：将所述融合数据输入文本识别网络模型的文本编码层，获得编码特征序列向量，所述文本编码层是基于双注意力机制进行编码的网络层；遍历初始解码序列表，分别将所述编码特征序列向量和所述初始解码序列表中的每个初始编码序列输入所述文本识别网络模型的文本解码层进行处理，获得候选解码序列表；所述初始解码列表中包括多个初始编码序列以及每个初始编码序列对应的分值，所述候选解码序列表中包括多个候选解码序列以及每个候选解码序列对应的分值；遍历所述候选解码序列表，将具有结尾标识的候选解码序列及其对应的分值移至输出解码序列表，其中，所述结尾标识为表征所述候选解码序列是结束序列的标识；依据所述输出解码序列表中各个输出解码序列的分值和所述候选解码序列表中的最高分值的大小关系，确定所述反馈文本。4.根据权利要求3所述的方法，其特征在于，所述注意力掩码信息包括第一注意力掩码和第二注意力掩码，所述第一注意力掩码和所述第二注意力掩码的掩码位置不同；所述将所述融合数据输入文本识别网络模型的文本编码层，获得编码特征序列向量，包括：将所述第一注意力掩码输入至所述文本编码层中进行处理，获得第一注意力分布；将所述第二注意力掩码输入至所述文本编码层中进行处理，获得第二注意力分布；依据所述第一注意力分布和所述第二注意力分布，确定目标注意力分布；基于所述目标注意力分布对所述融合数据进行编码，获得所述编码特征序列向量。5.根据权利要求3所述的方法，其特征在于，所述初始解码序列表包括起始标识、K个初始解码序列及其对应的分值，K为大于或等于1的整数；所述遍历初始解码序列表，分别将所述编码特征序列向量和所述初始解码序列表中的每个初始编码序列输入所述文本识别网络模型的文本解码层进行处理，获得候选解码序列表，包括：分别将所述编码特征序列向量和所述初始解码序列表中的每个初始解码序列输入至
所述文本解码层中进行解码，获得预测概率表，其中，所述预测概率表包括预测概率值大于预设概率阈值的N个候选预测词以及每个候选预测词对应的预测概率值，N为小于或等于K的整数；分别将所述N个候选预测词加入到所述初始解码序列表中每个初始解码序列的尾部，获得待处理解码序列表，所述待处理解码序列表包括N*K个待处理解码序列；将每个待处理解码序列中的候选预测词的预测概率值与其对应的初始解码序列的分值进行相乘运算，获得每个待处理解码序列对应的分值；将所述待处理解码序列表中的分值大于预设阈值的前K个序列作为候选解码序列，获得所述候选解码序列表。6.根据权利要求3至5中任一项所述的方法，其特征在于，所述依据所述输出解码序列表中各个输出解码序列的分值和所述候选解码序列表中的最高分值的大小关系，确定所述反馈文本，包括：在确定所述输出解码序列表中的最高分值大于或等于所述候选解码序...

【专利技术属性】
技术研发人员：汪自立，马超，夏粉，蒋宁，吴海英，肖冰，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：