【技术实现步骤摘要】
本公开涉及人工智能技术，尤其是一种基于注意力机制的文本生成方法、装置和模型。
技术介绍
1、随着深度学习技术的迅速发展，大型语言模型已经成为自然语言处理领域的核心技术之一。这些大型语言模型，如生成式预训练（generative pre-trained，gpt）模型，在基于大规模数据集的训练后，能够理解和生成人类自然语言。它们通常包含数十亿甚至数千亿个参数，使得模型能够捕捉到语言的复杂特性，包括语法、语义和常识推理。
2、目前的大型语言模型在解码阶段通常使用动态计算图，即模型输入序列、键（key，k）缓存、值（value，v）缓存等张量的尺寸动态变化的计算图，为处理动态增长的数据提供强大的灵活性。然而，由于动态计算图结构的不确定性，使得模型运行所需的内存和计算资源难以预测，进而导致资源分配不当以及运行效率低下。尤其是在边缘设备上应用上述大型语言模型时，由于边缘设备的计算能力、存储空间以及电源供应等资源存在较大局限，因此大型语言模型在边缘设备上的应用存在资源管理调度困难、执行效率低等问题。
技术实现思
<本文档来自技高网...【技术保护点】
1.一种基于注意力机制的文本生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将所述键张量以覆盖所述输入序列对应的历史键缓存中预设无效值的方式写入键缓存单元中，得到当前键缓存，包括：
3.根据权利要求1所述的方法，其特征在于，将所述值张量以覆盖所述输入序列对应的历史值缓存中预设无效值的方式写入值缓存单元中，得到当前值缓存，包括：
4.根据权利要求1所述的方法，其特征在于，还包括：
5.根据权利要求1至4任一所述的方法，其特征在于，基于所述当前键缓存、所述当前值缓存和所述查询张量进行注意力计算，得到所...
【技术特征摘要】
1.一种基于注意力机制的文本生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将所述键张量以覆盖所述输入序列对应的历史键缓存中预设无效值的方式写入键缓存单元中，得到当前键缓存，包括：
3.根据权利要求1所述的方法，其特征在于，将所述值张量以覆盖所述输入序列对应的历史值缓存中预设无效值的方式写入值缓存单元中，得到当前值缓存，包括：
4.根据权利要求1所述的方法，其特征在于，还包括：
5.根据权利要求1至4任一所述的方法，其特征在于，基于所述当前键缓存、所述当前值缓存和所述查询张量进行注意力计算，得到所述当前片段对应的输出片段，包括：
6.根据权利要求5所述的方法，其特征在于，基于所述注意力输出序列，生成所述输出片段，包括：
7.根据权利要求1至4任一所述的方法，其特征在于，获取当前片段的键张量、值张量和查询张量之前，还包括：
8.一种基于注意力机制...
【专利技术属性】
技术研发人员：杨大卫，程元，袁之航，
申请(专利权)人：上海后摩集成电路有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。