【技术实现步骤摘要】
本公开涉及数据处理，尤其涉及一种文本生成方法及装置。
技术介绍
1、transformer模型在生成长文本时，通常预先设置的与预训练时数据分布契合的固定的上下文窗口存在大小的限制。对于已有的模型，若应用过程中输入输出的文本长度超过了训练时常规的文本长度，便会脱离模型能正常表现的区域。同时由于transformer模型其内部注意力机制的存在，在单次的窗口过大，内容过长时，其时间复杂度成平方增长，效率大大降低，常规的处理方式是使用滑动上下文窗口，以及使用层次结构的长文生成方法。然而这些方法的原理是在transformer模型内部进行改动，需要改变模型的结构并从头训练。由于预训练一个大模型的成本和难度都非常高，且这类方法无法复用公开的大的预训练模型及其权重，更无法与不开源或是不公开权重的预训练模型进行结合集成使用，实用性非常受限。
2、由此可见，现有技术中存在由于文本长度不适合上下文窗口大小，导致生成的文本逻辑缺乏，生成文本的效率降低的问题。
技术实现思路
1、有鉴于此，本公开实施例提供了一种文本生成方法及装置，以解决现有技术中由于文本长度不适合上下文窗口大小，导致生成的文本逻辑缺乏，生成文本的效率降低的问题。
2、本公开实施例的第一方面，提供了一种文本生成方法，包括：获取起始计划文本数据、起始短期记忆文本数据、起始长期记忆文本数据、以及起始文本数据；根据起始文本数据、起始短期记忆文本数据、起始长期记忆文本数据、以及起始计划文本数据，确定目标文本更新数据；对目标文
3、本公开实施例的第二方面，提供了一种文本生成装置，包括：获取模块，用于获取起始计划文本数据、起始短期记忆文本数据、起始长期记忆文本数据、以及起始文本数据；第一确定模块，用于根据起始文本数据、起始短期记忆文本数据、起始长期记忆文本数据、以及起始计划文本数据，确定目标文本更新数据；第一处理模块，用于对目标文本更新数据进行关键信息摘取处理，得到目标短期记忆文本数据；第二确定模块，用于根据起始长期记忆文本数据和目标文本更新数据，确定目标长期记忆文本数据；第三确定模块，用于根据目标文本更新数据和目标长期记忆文本数据，确定目标计划文本数据；第二处理模块，用于对起始文本数据和目标文本更新数据进行拼接处理，得到目标文本数据；更新模块，用于通过循环迭代的方式，更新目标文本数据。
4、本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
5、本公开实施例的第四方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
6、本公开实施例与现有技术相比存在的有益效果是：通过对起始计划文本数据、起始短期记忆文本数据、起始长期记忆文本数据、以及起始文本数据进行获取，并根据起始文本数据、起始短期记忆文本数据、起始长期记忆文本数据、以及起始计划文本数据，确定目标文本更新数据，再将目标文本更新数据中的关键信息摘取出来拼接成目标短期记忆文本数据，将目标文本更新数据插入起始长期记忆文本数据中，得到目标长期记忆文本数据，将目标长期记忆文本数据和目标文本更新数据进行拼接得到目标计划文本数据，将起始文本数据和目标文本更新数据进行拼接处理，得到目标文本数据，以循环迭代的方式，更新目标文本数据，以生成所需长度要求的文本，以此提升了文本生成的连贯性，降低了处理过程中文本遗忘的概率，增加了长短期记忆文本的可解释性，扩大了适用范围，简化了模型处理的流程。
本文档来自技高网...【技术保护点】
1.一种文本生成方法，其特征在于，包括：
2.根据权利要求1所述的文本生成方法，其特征在于，在所述根据所述起始长期记忆文本数据和所述目标文本更新数据，确定目标长期记忆文本数据之后，还包括：
3.根据权利要求1所述的文本生成方法，其特征在于，所述根据所述目标文本更新数据和所述目标长期记忆文本数据，确定目标计划文本数据，包括：
4.根据权利要求3所述的文本生成方法，其特征在于，所述基于至少一个所述候选计划文本数据，确定所述目标计划文本数据，包括：
5.根据权利要求1所述的文本生成方法，其特征在于，所述通过循环迭代的方式，更新所述目标文本数据，包括：
6.根据权利要求1所述的文本生成方法，其特征在于，所述根据所述起始文本数据、所述起始短期记忆文本数据、所述起始长期记忆文本数据、以及所述起始计划文本数据，确定目标文本更新数据，包括：
7.根据权利要求1所述的文本生成方法，其特征在于，在所述根据所述起始长期记忆文本数据和所述目标文本更新数据，确定目标长期记忆文本数据之前，还包括：
8.一种文本生成装置，其特
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
...【技术特征摘要】
1.一种文本生成方法，其特征在于，包括：
2.根据权利要求1所述的文本生成方法，其特征在于，在所述根据所述起始长期记忆文本数据和所述目标文本更新数据，确定目标长期记忆文本数据之后，还包括：
3.根据权利要求1所述的文本生成方法，其特征在于，所述根据所述目标文本更新数据和所述目标长期记忆文本数据，确定目标计划文本数据，包括：
4.根据权利要求3所述的文本生成方法，其特征在于，所述基于至少一个所述候选计划文本数据，确定所述目标计划文本数据，包括：
5.根据权利要求1所述的文本生成方法，其特征在于，所述通过循环迭代的方式，更新所述目标文本数据，包括：
6.根据权利要求1所述的文本生成方法，其特征在于，所述根据所述起始文...
【专利技术属性】
技术研发人员：袁子涵，赵淳，张文俊，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。