一种风格文本的生成方法及装置、存储介质、电子设备制造方法及图纸

本发明专利技术公开了一种风格文本的生成方法及装置、存储介质、电子设备，其中，该方法包括：根据特征词和观点词构建句法模板；根据所述句法模板提取文本特征标签组合；确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。通过本发明专利技术，解决了相关技术采用网络模型生成的文本风格单一的技术问题，本方案可用于在信息传播过程中生成更多优质内容和个性化内容，提高文本的丰富度，提升传播影响力。提升传播影响力。提升传播影响力。

【技术实现步骤摘要】
一种风格文本的生成方法及装置、存储介质、电子设备


[0001]本专利技术涉及计算机领域，更具体地，涉及一种风格文本的生成方法及装置、存储介质、电子设备。

技术介绍

[0002]相关技术中，文本生成任务是自然语言处理中非常重要的部分，由于在现实应用中存在各种不同特殊要求，在文本生成的过程中难免会有诸多约束，因此条件文本生成有了广泛的应用。条件文本生成是根据一些特定的条件生成目标文本，条件的约束大致分为两类，一类是软约束，通常通过特定的属性(如情感、主题)来对文本进行限制，生成结果需要在语义上与这些属性相关联，一般可将其转换为风格迁移类问题解决；另一类是硬约束，一般给定关键词，要求生成文本中必须包含或者屏蔽这些关键词，解决这类问题一方面需要在数据层面做好优化，另一方面需要优化模型结构使模型能学习到目标特征。根据具体任务的不同，条件文本生成在实际应用中还需考虑生成文本的多样性、个性化等。
[0003]相关技术中，被广泛采用的基于神经网络的文本生成方法绝大部分为数据驱动，但是在现实应用中却缺乏优质的标注数据，面临“数据饥渴”问题，这一问题可通过预训练模型得到一定缓解。然而经过模型生成的文本风格太过单一，缺乏个性，并且大部份预训练模型难以针对特定领域或者特定词汇生成文本，无法解决带有条件约束的文本生成问题。
[0004]针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

技术实现思路

[0005]为了解决现有技术的不足，本专利技术提供了一种风格文本的生成方法及装置、存储介质、电子设备。<br/>[0006]根据本申请实施例的一个方面，提供了一种风格文本的生成方法，包括：根据特征词和观点词构建句法模板；根据所述句法模板提取文本特征标签组合；确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。
[0007]进一步地，根据特征词和观点词构建句法模板包括：根据特征词和观点词的词性规律及依存关系构建句法模板，其中所述依存关系包括：直接正向关系、直接反向关系和间接关系。
[0008]进一步地，根据句法模板提取文本特征标签组合包括：从源数据中获取文本x
i
；识别所述文本x
i
中各个词的词性，以及相邻词之间的依存关系；将所述词性的词性标注和所述相邻词之间的依存关系输入所述句法模板，输出文本特征标签组合W
i
，其中，，其中，表示文本x
i
的第j个特征，代表文本x
i
的第j个特征对应的观点。
[0009]进一步地，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，
生成目标Bert语言表征模型，包括：通过嵌入矩阵提取所述目标写作风格的嵌入表示；确定Bert生成模型，将所述嵌入表示融合至所述Bert生成模型的标准化层，得到目标Bert语言表征模型。
[0010]进一步地，将所述嵌入表示融合至所述Bert生成模型的标准化层包括：提取所述Bert生成模型标准化层中的第一参数和第二参数，其中，所述第一参数和所述第二参数均为无条件的参数；采用第一变换矩阵将所述嵌入表示变换到与所述第一参数相同的维度之后与所述第一参数相加，得到融合条件的第一参数，采用第二变换矩阵将所述嵌入表示变换到与所述第二参数相同的维度之后与所述第二参数相加，得到融合条件的第二参数；将所述融合条件添加至所述Bert生成模型的标准化层。
[0011]进一步地，以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本，包括：将所述文本特征标签组合和所述目标风格文本进行拼接后得到模型输入特征；将所述模型输入特征输入所述目标Bert语言表征模型的，并对所述文本特征标签组合进行双向注意力编码，通过集束搜索解码生成与所述目标写作风格对应的条件文本。
[0012]进一步地，在将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中之前，所述方法还包括：获取样本风格文件的样本特征标签；将所述样本特征标签与所述样本风格文件进行拼接后得到以下输入数据Input
i
：Input
i
＝[CLS]W
i
[SEP]x
i
[SEP]；采用所述输入数据Input
i
训练初始Bert语言表征模型，得到Bert生成模型，其中，所述初始Bert语言表征模型的输入部分Input
i
使用双向注意力编码，所述初始Bert语言表征模型的输出部分x
i
[SEP]使用单向注意力解码，目标函数只计算输出部分的损失，其中，[CLS]为句首的标志位，[SEP]为相邻句的分隔标志位。
[0013]根据本申请实施例的另一方面，还提供了一种风格文本的生成装置，包括：构建模块，用于根据特征词和观点词构建句法模板；提取模块，用于根据所述句法模板提取文本特征标签组合；嵌入模块，用于确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；生成模块，用于以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。
[0014]进一步地，所述构建模块包括：构建单元，用于根据特征词和观点词的词性规律及依存关系构建句法模板，其中所述依存关系包括：直接正向关系、直接反向关系和间接关系。
[0015]进一步地，所述提取模块包括：提取单元，用于从源数据中获取文本x
i
；识别单元，用于识别所述文本x
i
中各个词的词性，以及相邻词之间的依存关系；输出单元，用于将所述词性的词性标注和所述相邻词之间的依存关系输入所述句法模板，输出文本特征标签组合W
i
，其中，表示文本x
i
的第j个特征，代表文本x
i
的第j个特征对应的观点。
[0016]进一步地，所述嵌入模块包括：提取单元，用于通过嵌入矩阵提取所述目标写作风格的嵌入表示；融合单元，用于确定Bert生成模型，将所述嵌入表示融合至所述Bert生成模型的标准化层，得到目标Bert语言表征模型。
[0017]进一步地，所述融合单元包括：提取子单元，用于提取所述Bert生成模型标准化层
中的第一参数和第二参数，其中，所述第一参数和所述第二参数均为无条件的参数；运算子单元，用于采用第一变换矩阵将所述嵌入表示变换到与所述第一参数相同的维度之后与所述第一参数相加，得到融合条件的第一参数，采用第二变换矩阵将所述嵌入表示变换到与所述第二参数相同的维度之后与所述第二参数相加，得到融合条件的第二参数；添加子单元，用于将所述融合条件添加至所述Bert生成模型的标准化层。
[0018]进一步地，所述生成模块包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风格文本的生成方法，其特征在于，包括：根据特征词和观点词构建句法模板；根据所述句法模板提取文本特征标签组合；确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。2.如权利要求1所述的方法，其特征在于，根据特征词和观点词构建句法模板包括：根据特征词和观点词的词性规律及依存关系构建句法模板，其中所述依存关系包括：直接正向关系、直接反向关系和间接关系。3.如权利要求1所述的方法，其特征在于，根据句法模板提取文本特征标签组合包括：从源数据中获取文本x
i
；识别所述文本x
i
中各个词的词性，以及相邻词之间的依存关系；将所述词性的词性标注和所述相邻词之间的依存关系输入所述句法模板，输出文本特征标签组合W
i
，其中，，其中，表示文本x
i
的第j个特征，代表文本x
i
的第j个特征对应的观点。4.如权利要求1所述的方法，其特征在于，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型，包括：通过嵌入矩阵提取所述目标写作风格的嵌入表示；确定Bert生成模型，将所述嵌入表示融合至所述Bert生成模型的标准化层，得到目标Bert语言表征模型。5.如权利要求4所述的方法，其特征在于，将所述嵌入表示融合至所述Bert生成模型的标准化层包括：提取所述Bert生成模型标准化层中的第一参数和第二参数，其中，所述第一参数和所述第二参数均为无条件的参数；采用第一变换矩阵将所述嵌入表示变换到与所述第一参数相同的维度之后与所述第一参数相加，得到融合条件的第一参数，采用第二变换矩阵将所述嵌入表示变换到与所述第二参数相同的维度之后与所述第二参数相加，得到融合条件的第二参数；将所述融合条件添加至所述Bert生成模型的标准化层。6.如权利要求1所述的方法，其特征在于，以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生...

【专利技术属性】
技术研发人员：张传新，刘春阳，张旭，解峥，付金叶，李秋丹，彭鑫，曾大军，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：