文本生成模型生成方法、文本生成方法、装置及设备制造方法及图纸

本公开实施例公开了一种文本生成模型生成方法、文本生成方法、装置及设备，其中，文本生成模型生成方法包括：利用多个语种的文本样本以及多个语种间的平行语料训练初始化语言编码器；根据初始化语言编码器的参数初始化文本生成模型，得到初始文本生成模型；基于文本样本、平行语料以及由文本样本构造生成的关键词与目标文本样本对，对初始文本生成模型进行范式训练；通过关键词与目标文本样本对，对经过范式训练的初始文本生成模型进行参数调整，得到最终的文本生成模型。本公开实施例解决了非汉语语种的文本样本数量少，不能充分利用多语种的丰富文本资源生成相关的目标文本的问题，实现了根据不同语种的关键字生成对应语种的文案。

【技术实现步骤摘要】
文本生成模型生成方法、文本生成方法、装置及设备
本公开实施例涉及计算机应用领域，尤其涉及一种文本生成模型生成方法、文本生成方法、装置及设备。
技术介绍
在产品推广的过程中，由于推广目标人群使用的语言不同，相应的推广文案就需要使用不同的语言，例如将一件产品推广给中国人就用汉语广告文案，将这件产品推广给日本人或欧美人就用日语或英语广告文案。广告平台希望能够根据广告主提供的任意语言的广告关键词，为广告主提供对应语言种类的相关且多样的广告文本。但是，在目前能够生成广告文案的神经网络模型中，仅是根据单一语言的文本样本训练得到的，不能利用到多种语言的文本样本数据，也不能直接根据关键词生成对应的广告文案，以用于广告业务中为广告主提供服务。公开内容本公开实施例提供一种文本生成模型生成方法、文本生成方法、装置及设备，以实现根据某一种语言的查询关键字生成同种语言的对应的文本。第一方面，本公开实施例提供了一种文本生成模型生成方法，该方法包括：利用多个语种的文本样本以及所述多个语种间的平行语料训练初始化语言编码器；根据所述初始化语言编码器的参数初始化文本生成模型，得到初始文本生成模型；基于所述多个语种的文本样本、所述平行语料以及由所述多个语种的文本样本构造生成的关键词与目标文本样本对，对所述初始文本生成模型进行范式训练；通过所述关键词与目标文本样本对，对经过范式训练的初始文本生成模型进行参数调整，得到最终的文本生成模型。第二方面，本公开实施例还提供了一种文本生成方法，该方法包括：获取文本生成关键字，并基于本公开任一实施例所述的文本生成模型生成方法生成文本生成模型；将所述文本生成关键字输入文本生成模型，得到目标文本。第三方面，本公开实施例还提供了一种文本生成模型生成装置，该装置包括：编码器预训练模块，用于利用多个语种的文本样本以及所述多个语种间的平行语料训练初始化语言编码器；模型初始化模块，用于根据所述初始化语言编码器的参数初始化文本生成模型，得到初始文本生成模型；模型范式训练模块，用于基于所述多个语种的文本样本、所述平行语料以及由所述多个语种的文本样本构造生成的关键词与目标文本样本对，对所述初始文本生成模型进行范式训练；模型参数确定模块，用于通过所述关键词与目标文本样本对，对经过范式训练的初始文本生成模型进行参数调整，得到最终的文本生成模型。第四方面，本公开实施例还提供了一种文本生成装置，该装置包括：数据获取模块，用于获取文本生成关键字，并基于本公开任一实施例所述的文本生成模型生成方法生成文本生成模型；文本生成模块，用于将所述文本生成关键字输入文本生成模型，得到目标文本。第五方面，本公开实施例还提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开任一实施例中所述的文本生成模型生成方法或文本生成方法。第六方面，本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开任一实施例中所述的文本生成模型生成方法或文本生成方法。本公开实施例通过将多个语种的文本样本以及多个语种间的平行语料作为模型训练数据，先训练得到一个初始化语言编码器，使初始化语言编码器在语义上学习各文本样本；然后利用初始化语言编码器的参数初始化文本生成模型，得到初始文本生成模型；进而，基于多个语种的文本样本和平行语料，对初始文本生成模型进行范式训练，使文本生成模型可根据输入的关键词而输出目标文本；最后，通过多个语种的文本样本中的关键词与目标文本样本对，对经过范式训练的初始文本生成模型进行参数调整，得到最终的文本生成模型。解决了现有技术中非汉语语种的文本样本数量少，不能充分利用多语种的丰富文本资源，不能根据不同语种关键词生成相关的目标广告的问题，实现了根据不同语种的关键字生成对应语种的目标文本。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。图1是本公开实施例一中的文本生成模型生成方法的流程图；图2是本公开实施例一中的初始化语言编码器模型的示意图；图3是本公开实施例一中的去噪自编码器模型的示意图；图4是本公开实施例一中的跨语言自编码器模型的示意图；图5是本公开实施例一中的词语预测模型的示意图；图6是本公开实施例二中的文本生成模型生成方法的流程图；图7是本公开实施例三中的文本生成方法的流程图；图8是本公开实施例四中的文本生成模型生成装置的结构示意图；图9是本公开实施例五中的文本生成装置的结构示意图图10是本公开实施例六中的电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。实施例一图1示出了本公开实施例一提供的一种文本生成模型生成方法的流程图，本公开实施例可适用于基于不同语种的文本语料进行文本生成模型训练的情况，该方法可以由文本生成模型生成装置实现，具体可通过电子设备中的软件和/或硬件来实施。如图1所示，本公开实施例中提供的文本生成模型生成方法，包括如下步骤：S110、利用多个语种的文本样本以及所述多个语种间的平行语料训练初始化语言编码器。其中，多个语种可以是获取到一本文档来自技高网...

【技术保护点】
1.一种文本生成模型生成方法，其特征在于，包括：/n利用多个语种的文本样本以及所述多个语种间的平行语料训练初始化语言编码器；/n根据所述初始化语言编码器的参数初始化文本生成模型，得到初始文本生成模型；/n基于所述多个语种的文本样本、所述平行语料以及由所述多个语种的文本样本构造生成的关键词与目标文本样本对，对所述初始文本生成模型进行范式训练；/n通过所述关键词与目标文本样本对，对经过范式训练的初始文本生成模型进行参数调整，得到最终的文本生成模型。/n

【技术特征摘要】
1.一种文本生成模型生成方法，其特征在于，包括：
利用多个语种的文本样本以及所述多个语种间的平行语料训练初始化语言编码器；
根据所述初始化语言编码器的参数初始化文本生成模型，得到初始文本生成模型；
基于所述多个语种的文本样本、所述平行语料以及由所述多个语种的文本样本构造生成的关键词与目标文本样本对，对所述初始文本生成模型进行范式训练；
通过所述关键词与目标文本样本对，对经过范式训练的初始文本生成模型进行参数调整，得到最终的文本生成模型。


2.根据权利要求1所述的方法，其特征在于，所述利用多个语种的文本样本以及所述多个语种间的平行语料训练初始化语言编码器，包括：
基于各语种文本样本，使用掩码语言模型的范式进行模型训练，获得第一双向编码器；
将每两个语种的平行语料中的两种语言文本进行拼接之后，使用所述掩码语言模型的范式，在所述第一双向编码器基础上进行模型训练得到所述初始文本生成模型。


3.根据权利要求1所述的方法，其特征在于，所述基于所述多个语种的文本样本、所述平行语料以及由所述多个语种的文本样本构造生成的关键词与目标文本样本对，对所述初始文本生成模型进行范式训练，包括：
通过各语种的文本样本对所述初始文本生成模型训练，得到一个去噪自编码器；
在所述去噪自编码器的基础上，基于所述平行语料进行模型训练得到跨语言自编码器；
利用所述关键词与目标文本样本对，对所述跨语言自编码器进行模型训练，完成所述初始文本生成模型的范式训练。


4.根据权利要求3所述的方法，其特征在于，所述通过各语种的文本样本对所述初始文本生成模型训练，得到一个去噪自编码器，包括：
将每一个文本样本中指定位置的预设长度的序列替换为掩码符号输入至所述初始文本生成模型的编码器进行模型训练，使所述初始文本生成模型的解码器输出未进行序列替换的原始文本样本。


5.根据权利要求3所述的方法，其特征在于，所述在所述去噪自编码器的基础上，基于所述平行语料进行模型训练得到跨语言自编码器，包括：
将每一个文本样本中指定位置的预设长度的序列替换为掩码符号输入至所述去噪自编码器的编码器进行模型训练，使所述去噪自编码器的解码器输出未进行序列替换的原始文本样本的平行语料。


6.根据权利要求3所述的方法，其特征在于，所述利用所述关键词与目标文本样本对，对所述跨语言自编码器进行模型训练，完成所述初始文本生成模型的范式训练，包括：
针对每个关键词与目标文本样本对，将关键词输入至所述跨语言自编码器的编码器，并将目标文本中的部分词语输入至所述跨语言自编码器的解码器进行模型训练，使所述跨语言自编码器的解码器输出所述目标文本中未被输入解码器的词语。


7.根据权利要求1所述的方法，其特征在于，所述通过所述关键词与目标文本样本对，对经过范式训练的初始文本生成模型进行参数调整，包括：
根据样本数据质量将所述关键词与目标文本样本对分为第一样本集合和第二样本集合，其中，所述第二样本集合中的样本质量优于所述第一样本集合中的样本质量；
使用所述第一样本集合中的样本数据对经过范式训练的初始文本生成模型进行初步参数调整；
在初...

【专利技术属性】
技术研发人员：宋珍巧，陈家泽，周浩，李磊，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：北京;11