【技术实现步骤摘要】
本公开涉及数据处理，尤其涉及一种文本生成方法及装置。
技术介绍
1、transformer模型在生成长文本时，通常预先设置的与预训练时数据分布契合的固定的上下文窗口存在大小的限制。对于已有的模型，若应用过程中输入输出的文本长度超过了训练时常规的文本长度，便会脱离模型能正常表现的区域。同时由于transformer模型其内部注意力机制的存在，在单次的窗口过大，内容过长时，其时间复杂度成平方增长，效率大大降低，常规的处理方式是使用滑动上下文窗口，以及使用层次结构的长文生成方法。然而这些方法的原理是在transformer模型内部进行改动，需要改变模型的结构并从头训练。由于预训练一个大模型的成本和难度都非常高，且这类方法无法复用公开的大的预训练模型及其权重，更无法与不开源或是不公开权重的预训练模型进行结合集成使用，实用性非常受限。
2、由此可见，现有技术中存在由于文本长度不适合上下文窗口大小，导致生成的文本逻辑缺乏，生成文本的效率降低的问题。
技术实现思路
1、有鉴于此，本公开实施例...
【技术保护点】
1.一种文本生成方法，其特征在于，包括：
2.根据权利要求1所述的文本生成方法，其特征在于，在所述根据所述起始长期记忆文本数据和所述目标文本更新数据，确定目标长期记忆文本数据之后，还包括：
3.根据权利要求1所述的文本生成方法，其特征在于，所述根据所述目标文本更新数据和所述目标长期记忆文本数据，确定目标计划文本数据，包括：
4.根据权利要求3所述的文本生成方法，其特征在于，所述基于至少一个所述候选计划文本数据，确定所述目标计划文本数据，包括：
5.根据权利要求1所述的文本生成方法，其特征在于，所述通过循环迭代的方式，更新...
【技术特征摘要】
1.一种文本生成方法，其特征在于，包括：
2.根据权利要求1所述的文本生成方法，其特征在于，在所述根据所述起始长期记忆文本数据和所述目标文本更新数据，确定目标长期记忆文本数据之后，还包括：
3.根据权利要求1所述的文本生成方法，其特征在于，所述根据所述目标文本更新数据和所述目标长期记忆文本数据，确定目标计划文本数据，包括：
4.根据权利要求3所述的文本生成方法，其特征在于，所述基于至少一个所述候选计划文本数据，确定所述目标计划文本数据，包括：
5.根据权利要求1所述的文本生成方法，其特征在于，所述通过循环迭代的方式，更新所述目标文本数据，包括：
6.根据权利要求1所述的文本生成方法，其特征在于，所述根据所述起始文...
【专利技术属性】
技术研发人员：袁子涵，赵淳，张文俊，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。