文本生成模型的生成方法、装置和电子设备制造方法及图纸

本公开实施例公开了一种文本生成模型的生成方法、装置、电子设备和计算机可读存储介质。其中该文本生成模型的生成方法包括：根据第一训练文本数据集训练生成第一文本生成模型，所述第一文本生成模型用于根据第一文本生成第二文本；根据所述第一训练文本数据集、所述第一文本生成模型、第二训练文本数据集和第三训练文本数据集训练生成第二文本生成模型和第三文本生成模型，其中所述第二文本生成模型用于根据第一文本生成第三文本，所述第三文本生成模型用于根据第三文本生成第二文本。上述方法，通过一个训练好的模型来监督训练其他相关的模型，解决了现有技术中的由于训练集中的数据质量不高所导致的模型质量不高的技术问题。

【技术实现步骤摘要】
文本生成模型的生成方法、装置和电子设备
本公开涉及文本生成领域，尤其涉及一种文本生成模型的生成方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着互联网技术的发展，互联网的传播形态正在不断的变革之中，从早期的PC电脑端，到今天的智能手机端，网民接入网络的方式越来越便捷，人们进入了一个移动互联网时代，以智能手机、平板电脑等为代表的移动终端已经日益大众化，移动互联网应用逐渐渗透到人们的日常生活当中，人们可以随时随地的享受着新技术带来的便利。搜索是互联网的常用技术，通常搜索引擎在召回用户搜索的内容时会在召回的内容中插入广告，以希望用户可以点击广告。一般来说用户的搜索词和广告之间用广告关键词作为桥梁，也即是说搜索词与广告关键词有对应关系，而广告关键词和广告有对应关系，这样当用户使用搜索词进行内容搜索时，可以插入与其所对应的关键词所对应的广告。在这种情况下，产生与搜索词和广告相关的关键词是至关重要的。近年来，现有技术中通常使用深度学习的方法，自动生成所述关键词，如使用训练好的关键词生成模型，通过输入搜索词或广告生成对应的关键词，但是这种方法受制于训练数据的准确度，如从搜索词到关键词的训练数据以及从广告到关键词的数据难以获取，并且训练数据的噪音很大，因此无法训练生成好用的关键词生成模型。
技术实现思路
提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。第一方面，本公开实施例提供一种文本生成模型的生成方法，包括：根据第一训练文本数据集训练生成第一文本生成模型，所述第一文本生成模型用于根据第一文本生成第二文本；根据所述第一训练文本数据集、所述第一文本生成模型、第二训练文本数据集和第三训练文本数据集训练生成第二文本生成模型和第三文本生成模型，其中所述第二文本生成模型用于根据第一文本生成第三文本，所述第三文本生成模型用于根据第三文本生成第二文本。第二方面，本公开实施例提供一种本生成方法，其特征在于，包括：将输入文本输入根据第一方面所述文本生成模型的生成方法所生成的任一文本生成模型；所述文本生成模型根据所述输入文本生成输出文本。第三方面，本公开实施例提供一种文本生成模型的生成装置，包括：第一生成模块，用于根据第一训练文本数据集训练生成第一文本生成模型，所述第一文本生成模型用于根据第一文本生成第二文本；第二生成模块，用于根据所述第一训练文本数据集、所述第一文本生成模型、第二训练文本数据集和第三训练文本数据集训练生成第二文本生成模型和第三文本生成模型，其中所述第二文本生成模型用于根据第一文本生成第三文本，所述第三文本生成模型用于根据第三文本生成第二文本。第四方面，本公开实施例提供一种文本生成装置，其特征在于，包括：输入模块，用于将输入文本输入根据第一方面中任一项的所述文本生成模型的生成方法所生成的任一文本生成模型；输出模块，用于所述文本生成模型根据所述输入文本生成输出文本。第五方面，本公开实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面或第二方面中的任一所述的方法。第六方面，本公开实施例提供一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行前述第一方面或第二方面中的任一所述的方法。本公开实施例公开了一种文本生成模型的生成方法、装置、电子设备和计算机可读存储介质。其中该文本生成模型的生成方法包括：根据第一训练文本数据集训练生成第一文本生成模型，所述第一文本生成模型用于根据第一文本生成第二文本；根据所述第一训练文本数据集、所述第一文本生成模型、第二训练文本数据集和第三训练文本数据集训练生成第二文本生成模型和第三文本生成模型，其中所述第二文本生成模型用于根据第一文本生成第三文本，所述第三文本生成模型用于根据第三文本生成第二文本。上述方法，通过一个训练好的模型来监督训练其他相关的模型，解决了现有技术中的由于训练集中的数据质量不高所导致的模型质量不高的技术问题。上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。附图说明结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。图1为本公开实施例的应用场景示意图；图2为本公开实施例提供的文本生成模型的生成方法的流程示意图；图3为本公开实施例提供的文本生成模型的生成方法中的步骤S202的一个具体实施方式意图；图4为本公开实施例提供的文本生成模型的生成方法中的步骤S201的一个具体实施方式意图；图5为本公开实施例提供的文本生成方法的流程示意图；图6为本公开实施例提供的文本生成模型的生成装置的实施例的结构示意图；图7为本公开实施例提供的文本生成装置的实施例的结构示意图；图8为根据本公开实施例提供的电子设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这本文档来自技高网...

【技术保护点】
1.一种文本生成模型的生成方法，其特征在于，包括：/n根据第一训练文本数据集训练生成第一文本生成模型，所述第一文本生成模型用于根据第一文本生成第二文本；/n根据所述第一训练文本数据集、所述第一文本生成模型、第二训练文本数据集和第三训练文本数据集训练生成第二文本生成模型和第三文本生成模型，其中所述第二文本生成模型用于根据第一文本生成第三文本，所述第三文本生成模型用于根据第三文本生成第二文本。/n

【技术特征摘要】
1.一种文本生成模型的生成方法，其特征在于，包括：
根据第一训练文本数据集训练生成第一文本生成模型，所述第一文本生成模型用于根据第一文本生成第二文本；
根据所述第一训练文本数据集、所述第一文本生成模型、第二训练文本数据集和第三训练文本数据集训练生成第二文本生成模型和第三文本生成模型，其中所述第二文本生成模型用于根据第一文本生成第三文本，所述第三文本生成模型用于根据第三文本生成第二文本。


2.如权利要求1所述的文本生成模型的生成方法，其中所述根据所述第一训练文本数据集、所述第一文本生成模型、第二训练文本数据集和第三训练文本数据集训练生成第二文本生成模型和第三文本生成模型，包括：
获取第二文本生成模型的参数和第三文本生成模型的参数；
根据第一联合损失函数以及所述第二训练文本数据迭代更新所述第二文本生成模型的参数；
根据第一联合损失函数以及所述第三训练文本数据迭代更新所述第三文本生成模型的参数；
重复上述迭代过程直至达到收敛条件；
其中在所述第一联合损失函数中，将所述第一文本生成模型在所述第一训练文本数据集中生成的预测值作为训练所述第二文本生成模型和所述第三文本生成模型的标注值。


3.如权利要求2所述的文本生成模型的生成方法，其中所述第一联合损失函数中包括：似然损失函数和交叉熵损失函数，其中所述似然损失函数包括所述第二文本生成模型和所述第三文本生成模型的预测值，所述交叉熵损失函数包括由所述第一文本生成模型生成的标注值以及由所述第二文本生成模型和所述第三文本生成模型的预测值所表示的第一文本生成模型的预测值。


4.如权利要求1所述的文本生成模型的生成方法，其中所述根据第一训练文本数据集训练生成第一文本生成模型，还包括：
在根据所述第一训练文本数据集训练生成第一文本生成模型的同时，根据所述第一训练文本数据集训练生成第四文本生成模型，其中所述第四文本生成模型用于根据第二文本生成第一文本。


5.如权利要求4所述的文本生成模型的生成方法，其中所述在根据所述第一训练文本数据集训练生成第一文本生成模型的同时，根据所述第一训练文本数据集训练生成第四文本生成模型，包括：
获取第二文本生成模型的参数和第三文本生成模型的参数；
根据第二联合损失函数以及所述第一训练文本数据迭代更新所述第一文本生成模型的参数和所述第四文本生成模型的参数；
重复上述迭代过程直至达到收敛条件；
其中所述第二联合损失函数为表示所述第一训练文本数据中的第一训练文本和第二训练文本之间的互信息的下界的函数。


6.如权利要求4所述的文本生成本生成模型的生成方法，其中所述根据所述第一训练文本数据集、所述第一文本生成模型、第二训练文本数据集和第三训练文本数据集训练生成第二文本生成模型和第三文本生成模型，还包括：
在训练生成所述第二文本生成模型和所述第三文本生成模型的同时，还训练生成第五文本生成模型和第六文本生成模型；其中，所述第五文本生成模型用于根据第三文本生成第一文本，所述第六文本生成模型用于根据第...

【专利技术属性】
技术研发人员：宋珍巧，周浩，陈家泽，李磊，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11