信息处理方法及装置、设备和介质制造方法及图纸

一种信息处理方法及装置、设备和介质，该方法包括接收针对人工智能模型的第一交互引导信息，其中，第一交互引导信息用于引导人工智能模型进行响应；获取压缩规则并且基于压缩规则将第一交互引导信息压缩为第二交互引导信息，其中，第二交互引导信息包括的词元的数量少于第一交互引导信息包括的词元的数量；以及向人工智能模型发送第二交互引导信息以及与压缩规则相关的引导附加信息，以引导人工智能模型基于压缩规则和第二交互引导信息生成第一响应内容。上述方法可以在客户端与人工智能模型交互的过程中，降低模型输入的长度以及词元消耗、缓解交互过程中的上下文窗口限制、提高交互过程的传输效率。

【技术实现步骤摘要】

本公开涉及一种针对人工智能模型的交互过程的信息处理方法、装置、电子设备、计算机程序产品以及计算机可读存储介质。

技术介绍

1、近年来，诸如大型语言模型(llm)及其变种的人工智能模型在自然语言处理、代码生成、内容创作、智能问答等领域展现出强大的能力。诸如开发者的用户通常通过应用程序接口(api)调用这样的人工智能模型来完成任务。一般的，用户和人工智能模型之间交互方式包括用户将包含诸如指令、上下文信息、用户查询等的完整文本(例如，对模型的交互引导信息(提示信息))直接发送给人工智能模型。人工智能模型的计费方式一般基于输入和输出的词元(token)数量，在输入和输出包括大量词元的情况下人工智能模型的费用可能大幅上升。因此，降低对人工智能模型的费用的需求日益凸显。

技术实现思路

1、提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。>

2、本公开的本文档来自技高网...

【技术保护点】

1.一种信息处理方法，应用于与人工智能模型关联的客户端，包括：

2.根据权利要求1所述的方法，其中，所述引导附加信息包括所述压缩规则的使用引导信息；以及以下信息中至少一项：

3.根据权利要求1所述的方法，其中，所述压缩规则的使用引导信息指示所述人工智能模型基于所述压缩规则将所述第二交互引导信息解压缩为所述第一交互引导信息。

4.根据权利要求3所述的方法，其中，所述压缩规则的使用引导信息还指示所述人工智能模型基于所述压缩规则将所述人工智能模型基于解压缩得到的所述第一交互引导信息生成的第一响应内容压缩为第二响应内容。

5.根据权利要求4所述的方...

【技术特征摘要】

1.一种信息处理方法，应用于与人工智能模型关联的客户端，包括：

2.根据权利要求1所述的方法，其中，所述引导附加信息包括所述压缩规则的使用引导信息；以及以下信息中至少一项：

3.根据权利要求1所述的方法，其中，所述压缩规则的使用引导信息指示所述人工智能模型基于所述压缩规则将所述第二交互引导信息解压缩为所述第一交互引导信息。

4.根据权利要求3所述的方法，其中，所述压缩规则的使用引导信息还指示所述人工智能模型基于所述压缩规则将所述人工智能模型基于解压缩得到的所述第一交互引导信息生成的第一响应内容压缩为第二响应内容。

5.根据权利要求4所述的方法，还包括：

6.根据权利要求1所述的方法，其中，所述获取压缩规则，包括以下中的至少一项：

7.根据权利要求6所述的方法，其中，所述获取动态压缩规则，包括基于以下至少一项确定所述动态压缩规则：

8.根据权利要求1所述的方法，还包括：

9.根据权利要求1所述的方法，其中，向所述人工智能模型至少发送所述第二交互引导信息以及与所述压缩规则相关的引导附加信息，包括：

10.根据权利要求1-9中任一项所述的方法，其中，所述基于压缩规...

【专利技术属性】
技术研发人员：李春，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：