【技术实现步骤摘要】
一种自动化文本生成方法、装置及计算机可读存储介质
本专利技术涉及文本生成
，尤其涉及一种自动化文本生成方法、装置及计算机可读存储介质。
技术介绍
文本生成技术，旨在通过机器，根据一段原文本，自动化的产生具有高度可读性的相关文本。这一技术自诞生以来，一直是人工智能领域中的热点课题。文本生成技术可以在有效理解原文本内容的基础上，通过对文字的处理与改造，产生全新的文本。这为人们提供一种更为高效、智能的文本转换模式。人们可以根据自身所需，利用文本生成的方法产生形式和内容多种多样的文本。正是由于文本生成技术的灵活性，学界、工业界在过去一段时间内对其进行了一系列的探索性工作。诸如“智能客服机器人”、“写稿机器人”、“写诗机器人”等应用相继出现，有效地提升了相关行业工作人员的工作效率，节约了人力物力成本。通过长期的研究工作，文本生成技术已经取得了长足的发展。但是，文本作为信息的一种重要载体，其具有丰富的形式及含义。因此，处理及生成文本的过程中，涉及到大量自然语言处理技术和自然语言理解技术，这也使得文本生成技术成为人工智能领域...
【技术保护点】
1.一种自动化文本生成方法，其特征在于，包括如下步骤：/nS1：训练Transformer编码-解码的深度学习模型,包括：/n将话题词分别进行文本编码和知识图谱编码得到对应的隐藏状态表示，其中，在知识图谱编码过程中为每个所述话题词添加多个知识图谱三元组；/n根据所述文本编码和所述知识图谱的三元组编码的隐藏状态表示解码得到生成文本；/nS2：利用训练好的所述深度学习模型，根据新输入的话题词自动化生成新的文本。/n
【技术特征摘要】
1.一种自动化文本生成方法，其特征在于，包括如下步骤：
S1：训练Transformer编码-解码的深度学习模型,包括：
将话题词分别进行文本编码和知识图谱编码得到对应的隐藏状态表示，其中，在知识图谱编码过程中为每个所述话题词添加多个知识图谱三元组；
根据所述文本编码和所述知识图谱的三元组编码的隐藏状态表示解码得到生成文本；
S2：利用训练好的所述深度学习模型，根据新输入的话题词自动化生成新的文本。
2.如权利要求1所述的自动化文本生成方法，其特征在于，还包括：所述话题词在进入所述深度学习模型之前，使用预训练的Bert模型进行文本编码，对于输入的话题词Ti，通过所述Bert模型得到其隐藏状态向量xi：
xi＝Bert(Ti)
通过所述隐藏状态向量得到输入的一组话题词的T＝{T1,T2,T3,…,Tn}对应的隐藏状态表示
3.如权利要求1所述的自动化文本生成方法，其特征在于，对于所述知识图谱编码得到的图G＝(V,E)中的任意节点w，使用预训练的Bert模型对其产生一个词向量vx：
vx＝Bert(w)
将所有所述节点的词向量合并在一起组成初始输入vx；
在所述深度学习模型的自注意力机制中，对于任意节点向量vi与其他节点向量vj的注意力权重a(vi,vj)计算为：
其中，Wk、Wq为参数矩阵，Ci为所有与节点i相连的节点组成的集合；
在获得所述节点的权重之后，使用多头自注意力机制更新每个所述节点的中间隐藏状态向量：
其中，vi为当前对应的结点向量，Ci为所有与节点i相连的节点组成的集合，concat为合并每个Self-Attention的输出；
将通过一个残差网络resnet和规范化层Norm进行处理，并利用一个全连接的前馈神经网络FFN得到更新的隐藏状态向量
向量即代表节点vi的隐藏状态向量；
对于所述节点的总数为m的输入V，m为预先设定的任意正整数，获得其对应的隐藏状态表示
4.如权利要求3所述的自动化文本生成方法，其特征在于，根据所述文本编码和所述知识图谱的三元组编码得到的隐藏状态表示解码得到生成文本包括：
对于多头自注意力机制，在第i个时间步下，其中i为介于0和预先设置的最大输出长度之间的任意整数，机制以0到i-1步产生的词语对应的词向量X作为输入，获得第i个时间步对应的输出：
其中，a(xi-1,xj)为Self-Attention的权重，Norm为规范化层，concat为合并每个Self-Attention的输出，Wx为自学习参数；
通过话题多头自注意力机制，以普通的Multi-headSelf-Attention的输出xi作为输入，得到对应的更新：
其中，HT为文本编码单元产生的编码，为Self-Attenti...
【专利技术属性】
技术研发人员：郑海涛，刘昊，周岚，沈颖，肖喜，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。