一种长期对话记忆压缩与对话模型适配方法组成比例

本发明专利技术公开了一种长期对话记忆压缩与对话模型适配方法，包括以下步骤：S1、基于记忆模型的对话历史压缩：记忆模型采用Transformer架构，使记忆的更新通过重新分配注意力分配的方式进行，结合记忆与新对话信息的交叉注意力和记忆之间的全局自注意力决定注意力分配情况；S2、对话模型的记忆感知适配：在不改变原模型参数前提下，接入交叉注意力线性映射层，进行不同语义空间之间的适配；S3、注意力输出计算：结合自注意力和适配后的交叉注意力计算结果，得出最终注意力输出；该方法在对话场景中，使用压缩模型将对话内容压缩为固定尺寸的记忆，使记忆随着对话轮次增加动态地更新，可降低计算复杂度，减轻内存开销。

【技术实现步骤摘要】

本专利技术属于计算机数据处理，具体涉及一种长期对话记忆压缩与对话模型适配方法，旨在降低计算复杂度的同时增强模型对长上下文序列的处理能力。

技术介绍

1、transformer架构的出现为自然语言处理领域带来了重大变革，其独特的自注意力机制使模型能够同时关注序列中的各个位置，有效捕捉序列中长程依赖关系的同时并行地处理序列数据，强大且高效的序列建模能力使其成为当前大语言模型（llm）的主流架构。该架构包含编码器（encoder）和解码器（decoder）两部分，最初主要用于机器翻译等需要编码与解码过程的任务。随着语言模型的发展，逐渐形成了以bert为代表的encoder-only架构和以gpt为代表的decoder-only架构。encoder-only架构的编码器采用全局注意力机制，天然适配摘要等任务，常被用作嵌入模型的结构；而decoder-only架构在生成任务中展现出独特优势，成为主流大模型架构之一。

2、decoder-only模型通过因果掩码以自回归方式预测下一个词，与序列生成任务天然契合。在需要动态处理多轮对话并保持上下文连贯的对话场本文档来自技高网...

【技术保护点】

1.一种长期对话记忆压缩与对话模型适配方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种长期对话记忆压缩与对话模型适配方法，其特征在于，步骤S1的具体过程为：

3.如权利要求2所述的一种长期对话记忆压缩与对话模型适配方法，其特征在于，步骤S14的计算公式为：

4.如权利要求1所述的一种长期对话记忆压缩与对话模型适配方法，其特征在于，步骤S2的计算公式为：，，，，，，，，，其中，为序列的第个标识；为维度大小；为对进行序列自注意力查询映射的计算参数矩阵；为对进行序列自注意力键映射的计算参数矩阵；为对进行序列自注意力值映射的计算参数矩阵；为分别对、...

【技术特征摘要】

1.一种长期对话记忆压缩与对话模型适配方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种长期对话记忆压缩与对话模型适配方法，其特征在于，步骤s1的具体过程为：

3.如权利要求2所述的一种长期对话记忆压缩与对话模型适配方法，其特征在于，步骤s14的计算公式为：

4.如权利要求1所述的一种长期对话记忆压缩与对话模型适配方法，其特征在于，步骤s2的计算公式为：，，，，，，，，，其中，为序列的第个标识；为维度大小；为对进行序列自注意力查询映射的计算参数矩阵；为对进行序列自注意力键映射的计算参数矩阵；为对进行...

【专利技术属性】
技术研发人员：吴炳坤，姚锋，王筝，黄世勇，汪中，
申请(专利权)人：众数厦门信息科技有限公司，
类型：发明
国别省市：