【技术实现步骤摘要】
本申请实施例涉及处理器领域，特别涉及一种大语言模型长文本输出方法、装置、设备及存储介质。
技术介绍
1、大语言模型生成长文本是一个具有挑战性的工作之一，现阶段大语言模型生成长文本比较困难的原因有如下几个方面：
2、1.上下文理解限制：语言模型在生成文本时需要考虑前文的内容，以确保生成的文本具有连贯性和合理性。随着文本长度的增加，模型需要保持对更长的上下文进行理解和记忆，这增加了模型的复杂性和计算成本。
3、2.训练数据限制：生成长文本需要大量的训练数据来捕捉语言的复杂性和多样性。然而收集和标注长文本数据是一项昂贵和耗时的任务。当前可用的训练数据集可能相对较小，对于生成长文本的能力可能存在限制。
4、3.渐进误差累积：在生成长文本时，大语言模型的错误会逐渐累积，导致生成的文本逐渐失去准确性和连贯性。即使模型在开始时生成的文本是正确的，随着生成过程的进行，可能会出现错误的预测或不完整的句子结构，从而影响整体文本的质量。
5、4.语义一致性难以保证：生成长文本时，模型需要在整个文本中保持一致的语...
【技术保护点】
1.一种大语言模型长文本输出方法，其特征在于，所述方法包括：
2.根据权利要求1所述的大语言模型长文本输出方法，其特征在于，所述计算第i轮文本词元token前，所述方法还包括：
3.根据权利要求2所述的大语言模型长文本输出方法，其特征在于，当显存的存储余量低于最低阈值时，对显存中保存的KV集合按照文本生成顺序排序，并进行切分和过滤。
4.根据权利要求1所述的大语言模型长文本输出方法，其特征在于，所述对所述第一KV集合进行KV值过滤，将过滤后的第一KV集合和所述第二KV集合组合成为第i+1轮KV值的第i+1轮KV集合，包括：
<...【技术特征摘要】
1.一种大语言模型长文本输出方法，其特征在于，所述方法包括：
2.根据权利要求1所述的大语言模型长文本输出方法，其特征在于，所述计算第i轮文本词元token前，所述方法还包括：
3.根据权利要求2所述的大语言模型长文本输出方法，其特征在于，当显存的存储余量低于最低阈值时，对显存中保存的kv集合按照文本生成顺序排序，并进行切分和过滤。
4.根据权利要求1所述的大语言模型长文本输出方法，其特征在于，所述对所述第一kv集合进行kv值过滤，将过滤后的第一kv集合和所述第二kv集合组合成为第i+1轮kv值的第i+1轮kv集合，包括：
5.根据权利要求4所述的大语言模型长文本输出方法，其特征在于，所述第一kv集合中key序列集合和value序列...
【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：深存科技无锡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。