一种基于混合分组排序和动态实体记忆规划的文本生成方法技术

本发明专利技术公开了一种基于混合分组排序和动态实体记忆规划的文本生成方法，旨在将输入的结构化数据自动转化为描述这些数据的可读性文本。本发明专利技术通过分组阶段中的长度控制模块和子图观察模块去选择子图分组，将数据按组排序；静态规划阶段生成静态结点内容规划，达到组内组间均有序；在静态规划基础上每一个时间步都根据记忆网络动态决定下一步该输出的数据；利用三级重构，从多个角度引导解码器捕捉输入中的本质特征。本发明专利技术引入更细粒度的分组机制，弥补结构化数据和非结构化文本之间的差距；将动态内容规划更进一步与记忆网络相结合，增强语义的连贯性；引入三级重构机制，从不同层面捕捉输入与输出间的本质特征依赖关系。同层面捕捉输入与输出间的本质特征依赖关系。同层面捕捉输入与输出间的本质特征依赖关系。

【技术实现步骤摘要】
一种基于混合分组排序和动态实体记忆规划的文本生成方法


[0001]本专利技术属于自然语言处理领域，具体涉及的是一种文本生成方法，适用于将输入的结构化数据转化为描述这些数据的可读性文本问题。

技术介绍

[0002]文本生成任务是自然语言处理领域中的一个重要课题。生活中数据在不同的情况下会以不同的形式出现，甚至某些形式对于非专业领域人员难以理解，例如：知识图谱。并且这些数据转化为可读性文本提供给人们需要耗费大量的时间和精力。而Data
‑
to
‑
text任务旨在将输入的结构化数据自动转化为描述这些数据的可读性文本。
[0003]Reiter
[1]对文本生成系统进行了归纳总结，认为可以分为三个较为独立的模块：(1)内容规划(Content planning)，即选择描述哪些数据记录或数据域；(2)句子规划(Sentence planning)，即决定所选择的数据记录或数据域在句子中的顺序；(3)句子实现(Surface realization)，即基于句子规划的结果生成实际的文本。从直觉上讲，内容规划主要是解决“说什么”，句子规划主要解决“说话顺序”，而句子实现主要是解决“怎么说”。这基本上成为了文本生成系统的范式，近年来越来越多的端到端模型开始增加内容选择和内容规划模块以提升性能。Puduppully等人
[2]提出了一个神经网络架构，将生成任务分为内容选择与规划阶段与句子实现阶段。给定一组数据记录，首先生成一个内容计划，突出显示应该提及哪些信息以及以何种顺序说明，然后基于内容计划生成文档，并且加入了复制机制提升解码器效果。Chen等人
[3]提出一种基于动态内容规划的文本生成模型，提出根据已生成文本信息动态调节计划进行实现，并且加入了重构机制促进解码器捕获编码器想要表达的本质特征。Puduppully等人
[4]根据生成过程信息和实体记忆动态更新实体表示，捕获语句之间的实体转变，增加语句之间的连贯性，更适当得选择要说明的内容。
[0004]尽管语句实现阶段已经可以生成流畅的文本，但仍然会产生信息缺失，重复或幻觉问题，所以分组思想被广泛应用，将实体与描述文本对齐以解决此类问题。Lin等人
[5]在规划中加入分隔符进行细粒度分类，以便于生成长文本。Shen等人
[6]将实体数据进行分组，每一部分与一段描述文本相对应，即可通过指定实体对生成相应描述文本，而无需要关注整体数据。Xu等人
[7]将输入的三元组数据进行排序并聚合，从而与输出的描述文本进行对齐，逐句生成描述文本。
[0005]结合以上理解，对于内容规划和句子规划部分进一步提升。引入更细粒度的分组机制，并配套构建对应的静态规划生成策略；记忆网络更进一步与实体转移相结合，把握句间描述重点的转移；进一步从多个角度进行重构，确保多阶段都能捕获输入与输出间的本质特征。
[0006]参考文献：
[0007][1]Reiter E.An architecture for data
‑
to
‑
text systems[C]//proceedings of the eleventh European workshop on natural language generation(ENLG 07).2007:97
‑
104.
[0008][2]Puduppully R,Dong L,Lapata M.Data
‑
to
‑
text generation with content selection and planning[C]//Proceedings of the AAAI conference on artificial intelligence.2019,33(01):6908
‑
6915.
[0009][3]Chen K,Li F,Hu B,et al.Neural data
‑
to
‑
text generation with dynamic content planning[J].Knowledge
‑
Based Systems,2021,215:106610.
[0010][4]Puduppully R,Dong L,Lapata M.Data
‑
to
‑
text generation with entity modeling[J].arXiv preprint arXiv:1906.03221,2019.
[0011][5]Lin X,Cui S,Zhao Z,et al.GGP:A Graph
‑
based Grouping Planner for Explicit Control of Long Text Generation[C]//Proceedings of the 30th ACM International Conference on Information&Knowledge Management.2021:3253
‑
3257.
[0012][6]Shen X,Chang E,Su H,et al.Neural data
‑
to
‑
text generation via jointly learning the segmentation and correspondence[J].arXiv preprint arXiv:2005.01096,2020.
[0013][7]Xu X,O,Rieser V,et al.AGGGEN:Ordering and Aggregating while Generating[J].arXiv preprint arXiv:2106.05580,2021.

技术实现思路

[0014]专利技术目的：针对将结构化数据转化为线性化可读性文本时，存在结构上的差异，现有模型采用提前规划方法弥补结构差异，但由于传统的规划方法采用单个循环神经网络简单且粒度不够细致，且均采用先规划后实现的，没有结合文本生成过程进行调整的问题，本专利技术提出一种基于混合分组排序和动态实体记忆规划的文本生成方法。
[0015]技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：
[0016]一种基于混合分组排序和动态实体记忆规划的文本生成方法，基于静态规划利用生成过程的信息和实体转移记忆更新实体表示，对静态规划进行修正，最终通过三级重构促使解码器从编码器中获得更精确的重要信息。具体包括以下步骤：
[0017]步骤1)以需要生成对应文本的结构化数据集合作为模型输入，所述数据以表格或知识图谱的形式表示，将得到的数据转化为二分图，利用图注意力机制进行嵌入表示；
[0018]步骤2)将步骤1)得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于混合分组排序和动态实体记忆规划的文本生成方法，其特征在于：包括以下步骤：步骤1)以需要生成对应文本的结构化数据集合作为模型输入，所述数据以表格或知识图谱的形式表示，将得到的数据转化为二分图，利用图注意力机制进行嵌入表示；步骤2)将步骤1)得到的数据向量通过分组阶段进行分组排序；分组阶段包含两个模块：长度控制模块和子图观察模块；长度控制模块作用于每一个生成步，结合已生成子图序列的信息映射为概率分布，根据概率分布选择下一时间步生成子图中包含三元组数目LC，则该时间步仅能选择三元组数目为LC的子图，若LC选择为
‑
1，则分组阶段结束，进入步骤5)；步骤3)以步骤2)得出的生成子图长度LC控制子图的选择空间，子图观察机制根据对子图中所有结点进行自注意力机制获得子图的表示，并与之前已生成子图序列中子图与结点信息进行注意力机制，生成当前各子图被选择的概率；步骤4)根据步骤3)得出的概率分布选择某一个子图，后利用循环神经网络当前步的隐藏状态更新所有子图中的结点表示，即更新所有子图的表示，返回步骤2)；若步骤2)LC选择为
‑
1，得到最终的子图序列，每一个子图中即为所输入结构化数据集合的子集；步骤5)静态内容规划阶段选择生成实体序列SP，以全局节点表示V
global
作为循环神经网络的初始化状态，每一步的选择空间即为步骤4)序列中的对应子图；当生成特殊子图结束标记<EOG>时，循环神经网络下一步的输入为当前子图的表示，下一步的选择空间按步骤4)得出的子图序列顺序获得；当遍历子图序列，则得到最终的静态内容规划SP实体序列；步骤6)将步骤5)得出的SP实体序列通过双向门控循环网络进行编码得到SP序列实体隐藏表示e1‑
n
，n表示SP序列中实体总数；将SP序列隐藏表示传至生成阶段和实体记忆模块；步骤7)实体记忆模块以SP序列实体隐藏表示作为初始内容进行记忆存储；利用生成阶段循环神经网络隐藏状态d
t
‑1更新实体记忆u
t,k
，将实体记忆u
t,k
与d
t
‑1相乘得记忆权重Ψ
t,k
，其中t表示第t个时间步，k表示第k个实体；步骤8)根据生成阶段循环神经网络的隐藏状态d
t
‑1与e1‑
n
做注意力机制得到注意力得分a1‑
n
，将注意力得分a
t,k
与对应实体记忆u
t,k
相乘得实体上下文向量S
t,k
；步骤9)将记忆权重Ψ
t,k
与对应实体上下文向量S
t,k
权重求和得上下文向量q
t
，作为指针生成解码器的输入，采用图结构增强机制对指针解码器进行增强以生成结构化数据对应的转译文本；步骤10)采用三级重构使解码器完整获取编码器所蕴含的信息，分别为根据转译文本重构静态内容规划SP，根据静态内容规划序列去重构分组阶段的子图序列，根据指针生成解码器解码结果恢复为二分图表示。2.根据权利要求1所述的文本生成方法，其特征在于：步骤1)所述数据以表格或知识图谱的形式表示，在表格中结构化数据以记录的形式存在，在知识图谱中结构化数据以三元组的形式存在；以知识图谱作为结构化输入数据，三元组由<头实体，关系，尾实体>构成；将得到的数据转化为二分图，即将三元组中的关系也表示为节点，同时加入全局节点以观察整体图结构系信息；利用图注意力机制对所有结点进行嵌入表示。3.根据权利要求2所述的文本生成方法，其特征在于：SP实体序列通过双向门控循环网
络Bi
‑
GRU得到SP序列实体隐藏表示e1‑
n

【专利技术属性】
技术研发人员：荣欢，孙圣杰，马廷淮，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：