本公开的实施例公开了用于生成文本的方法和装置。该方法的一具体实施方式包括：接收原始文本和要素标签；基于原始文本，采用预训练的编码器生成编码文本特征向量以及原始文本中每个句子的编码句特征向量；基于解码器在当前时刻的隐状态向量和编码文本特征向量，确定原始文本中各个词在当前时刻的词注意力权重；基于隐状态向量、编码句特征向量和要素标签，确定原始文本中各个句子的句注意力权重；基于句注意力权重和词注意力权重，确定当前时刻各个词归一化的词注意力权重；基于编码文本特征向量和各个词归一化的词注意力权重，估计出当前时刻的目标词；基于解码器在各个时刻输出的目标词，生成目标文本。提高了文本生成的准确度和可控程度。准确度和可控程度。准确度和可控程度。
【技术实现步骤摘要】
用于生成文本的方法和装置
[0001]本公开的实施例涉及计算机
，具体涉及深度学习领域，尤其涉及一种用于生成文本的方法和装置。
技术介绍
[0002]文本摘要是指将原始文本转换为只包含关键信息的精炼文本，主要包括抽取式摘要和生成式摘要两种类型。抽取式摘要主要通过聚类或序列标注等算法，从源文档中抽取关键的词语或短句。生成式摘要主要采用深度学习的方法，利用序列到序列(Sequence2Sequence，sea2seq)的框架，首先将源文档利用编码器编码为固定维度隐向量，然后输入到解码器端进行逐步文字生成。
[0003]相关技术中，指针生成网络(Pointer Generator Network)在seq2seq模型的基础上，引入了复制机制和覆盖机制。复制机制在解码的每一步都会计算源文档所有词语的注意力权重，可以选择性的将原文部分拷贝到摘要中，进而可以生成出词汇表中未出现过的词语；覆盖机制在解码的每一步都会累计计算当前步及之前所有步的注意力权重，避免连续拷贝原文中已经获得高权重的部分。
技术实现思路
[0004]本公开的实施例提出了用于生成文本的方法和装置。
[0005]第一方面，本公开的实施例提供了一种用于生成文本的方法，该方法包括：接收原始文本和要素标签；基于原始文本，采用预训练的编码器生成编码文本特征向量以及原始文本中每个句子的编码句特征向量；采用预训练的解码器，执行如下解码步骤：基于解码器在当前时刻的隐状态向量和编码文本特征向量，确定原始文本中各个词在当前时刻的词注意力权重；基于解码器在当前时刻的隐状态向量、编码句特征向量和要素标签，确定原始文本中各个句子在当前时刻的句注意力权重；基于句注意力权重和词注意力权重，确定当前时刻原始文本中各个词归一化的词注意力权重；基于编码文本特征向量和当前时刻原始文本中各个词归一化的词注意力权重，估计出当前时刻的目标词；该方法还包括：基于解码器在各个时刻输出的目标词，生成目标文本。
[0006]在一些实施例中，基于原始文本，采用预训练的编码器生成编码文本特征向量以及原始文本中每个句子的编码句特征向量，包括：基于原始文本，生成文本特征矩阵；将文本特征矩阵输入预训练的第一编码器，得到编码文本特征向量；将文本特征矩阵输入预训练的第二编码器，得到原始文本中各个词的编码词特征向量；基于原始文本中的每个句子中的各个词的编码词特征向量，确定原始文本中各个句子的句特征向量；将原始文本中每个句子的句特征向量输入预训练的第三编码器，得到原始文本中各个句子的编码句特征向量。
[0007]在一些实施例中，基于编码文本特征向量和当前时刻原始文本中各个词归一化的词注意力权重，估计出当前时刻的目标词，包括：基于编码文本特征向量和当前时刻原始文
本中各个词归一化的词注意力权重，生成当前时刻的上下文特征向量；基于上下文特征向量和编码文本特征向量，估计出当前时刻的目标词。
[0008]在一些实施例中，要素标签经由如下步骤生成：对原始文本聚类，得到聚类标签集；从聚类标签集中确定出目标聚类标签；将目标聚类标签确定为要素标签。
[0009]在一些实施例中，对原始文本聚类，得到聚类标签集，包括：将预设的标点符号作为切分边界，对原始文本进行切分，得到短句集；将短句集中不符合预设条件的短句删除，得到更新后的短句集；基于更新后的短句集，采用预训练的特征提取模型，提取每个短句中各个词的词特征，并基于词特征，确定出每个短句的句特征；基于更新后的短句集中每个短句的句特征，采用预训练的聚类模型，确定出更新后的短句集中每个短句的聚类标签，得到聚类标签集。
[0010]第二方面，本公开的实施例提供了一种用于生成文本的装置，装置包括：接收单元，被配置成接收原始文本和要素标签；编码单元，被配置成基于原始文本，采用预训练的编码器生成编码文本特征向量以及原始文本中每个句子的编码句特征向量；解码单元，被配置成采用预训练的解码器，执行如下解码步骤：基于解码器在当前时刻的隐状态向量和编码文本特征向量，确定原始文本中各个词在当前时刻的词注意力权重；基于解码器在当前时刻的隐状态向量、编码句特征向量和要素标签，确定原始文本中各个句子在当前时刻的句注意力权重；基于句注意力权重和词注意力权重，确定当前时刻原始文本中各个词归一化的词注意力权重；基于编码文本特征向量和当前时刻原始文本中各个词归一化的词注意力权重，估计出当前时刻的目标词；生成单元，被配置成基于解码器在各个时刻输出的目标词，生成目标文本。
[0011]在一些实施例中，编码单元进一步包括：特征矩阵生成模块，被配置成基于原始文本，生成文本特征矩阵；第一编码模块，被配置成将文本特征矩阵输入预训练的第一编码器，得到编码文本特征向量；第二编码模块，被配置成将文本特征矩阵输入预训练的第二编码器，得到原始文本中各个词的编码词特征向量；句特征向量生成模块，被配置成基于原始文本中的每个句子中的各个词的编码词特征向量，确定原始文本中各个句子的句特征向量；第三编码模块，被配置成将原始文本中每个句子的句特征向量输入预训练的第三编码器，得到原始文本中各个句子的编码句特征向量。
[0012]在一些实施例中，解码单元进一步包括：上下文特征向量生成模块，被配置成基于编码文本特征向量和当前时刻原始文本中各个词归一化的词注意力权重，生成当前时刻的上下文特征向量；目标词输出模块，被配置成基于上下文特征向量和编码文本特征向量，估计出当前时刻的目标词。
[0013]在一些实施例中，该装置还包括要素标签生成单元，被配置成：对原始文本聚类，得到聚类标签集；从聚类标签集中确定出目标聚类标签；将目标聚类标签确定为要素标签。
[0014]在一些实施例中，要素标签生成单元进一步包括：切分模块，被配置成将预设的标点符号作为切分边界，对原始文本进行切分，得到短句集；筛选模块，被配置成将短句集中不符合预设条件的短句删除，得到更新后的短句集；特征提取模块，被配置成基于更新后的短句集，采用预训练的特征提取模型，提取每个短句中各个词的词特征，并基于词特征，确定出每个短句的句特征；标签生成模块，被配置成基于更新后的短句集中每个短句的句特征，采用预训练的聚类模型，确定出更新后的短句集中每个短句的聚类标签，得到聚类标签
集。
[0015]本公开的实施例提供的用于生成文本的方法和装置，通过编码器对原始文本进行压缩，通过解码器确定出各个词的词注意力权重，以及基于原始文本中各个句子和要素标签的相关性，确定出各个句子的句注意力权重，进而基于词注意力权重和句注意力权重确定出归一化后的词注意力权重，并基于归一化后的词注意力权重估计出目标词，最终基于目标词生成目标文本，使得目标文本中的句子和词与要素标签的相关性较高，提高了文本生成的准确度和可控程度。
附图说明
[0016]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
[0017]图1是本公开的一些实施例可以应用于其中的示例性系统架构图；
[0018]图2本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于生成文本的方法，其中，包括：接收原始文本和要素标签；基于所述原始文本，采用预训练的编码器生成编码文本特征向量以及所述原始文本中每个句子的编码句特征向量；采用预训练的解码器，执行如下解码步骤：基于所述解码器在当前时刻的隐状态向量和所述编码文本特征向量，确定所述原始文本中各个词在当前时刻的词注意力权重；基于所述解码器在当前时刻的隐状态向量、所述编码句特征向量和所述要素标签，确定所述原始文本中各个句子在当前时刻的句注意力权重；基于所述句注意力权重和所述词注意力权重，确定当前时刻所述原始文本中各个词归一化的词注意力权重；基于所述编码文本特征向量和当前时刻所述原始文本中各个词归一化的词注意力权重，估计出当前时刻的目标词；所述方法还包括：基于所述解码器在各个时刻输出的目标词，生成目标文本。2.根据权利要求1所述的方法，其中，基于所述原始文本，采用预训练的编码器生成编码文本特征向量以及所述原始文本中每个句子的编码句特征向量，包括：基于所述原始文本，生成文本特征矩阵；将所述文本特征矩阵输入预训练的第一编码器，得到所述编码文本特征向量；将所述文本特征矩阵输入预训练的第二编码器，得到所述原始文本中各个词的编码词特征向量；基于所述原始文本中的每个句子中的各个词的编码词特征向量，确定所述原始文本中各个句子的句特征向量；将所述原始文本中每个句子的句特征向量输入预训练的第三编码器，得到所述原始文本中各个句子的编码句特征向量。3.根据权利要求1所述的方法，其中，基于所述编码文本特征向量和当前时刻所述原始文本中各个词归一化的词注意力权重，估计出当前时刻的目标词，包括：基于所述编码文本特征向量和当前时刻所述原始文本中各个词归一化的词注意力权重，生成当前时刻的上下文特征向量；基于所述上下文特征向量和所述编码文本特征向量，估计出当前时刻的目标词。4.根据权利要求1至3之一所述的方法，其中，所述要素标签经由如下步骤生成：对所述原始文本聚类，得到聚类标签集；从所述聚类标签集中确定出目标聚类标签；将所述目标聚类标签确定为所述要素标签。5.根据权利要求4所述的方法，其中，对所述原始文本聚类，得到聚类标签集，包括：将预设的标点符号作为切分边界，对所述原始文本进行切分，得到短句集；将所述短句集中不符合预设条件的短句删除，得到更新后的短句集；基于所述更新后的短句集，采用预训练的特征提取模型，提取每个短句中各个词的词特征，并基于所述词特征，确定出每个短句的句特征；基于所述更新后的短句集中每个短句的句特征，采用预训练的聚类模型，确定出所述更新后的短句集中每个短句的聚类标签，得到所述聚类标签集。6.一种用于生成文本的装置，其中，包括：
接收单元，被配置成接收原始文本和要素标签；编码单元，被配置成基于所述原始文本，采用预训练的编码器生成编码文本特征向量以及所述原始文本中每个句子的编码句特征向量；解码单元，被配置成采用预训练的解码器，执行如下解码步骤：基于...
【专利技术属性】
技术研发人员：梁嘉辉，鲍军威，吴友政，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。