大模型推理方法、系统、计算机设备及存储介质技术方案

本发明专利技术公开了大模型推理方法、系统、计算机设备及存储介质，涉及人工智能技术领域，其中，所述方法包括：对预训练的目标大模型进行分割，得到所述目标大模型对应的输入层、中间层、以及输出层；将所述输入层与所述输出层均部署在客户端，将所述中间层部署在服务端；接收目标用户在所述客户端输入的Prompt，并通过所述输入层对所述Prompt进行编码，得到对应的数值向量；将所述数值向量上传至所述服务端，并通过所述中间层对所述数值向量进行推理，得到对应的结果向量；将所述结果向量返回至所述客户端，并通过所述输出层对所述结果向量进行解码，得到对应的结果文本。通过本发明专利技术的方法可实现对于大模型推理阶段的隐私保护。

【技术实现步骤摘要】

本专利技术涉及人工智能，具体涉及一种大模型推理方法、系统、计算机设备以及非易失性计算机可读存储介质。

技术介绍

1、目前，随着深度学习技术的突破性进展，大模型推理已经成为人工智能领域的一个热点话题。大模型，即大型语言模型(llm，large language model)，如gpt、bert等，由于其出色的性能，在自然语言处理、图像识别和复杂决策任务中得到了广泛应用。这些模型通常需要大量的数据进行预训练，以学习复杂的数据表示。一旦训练完成，模型就可以用来对新的数据进行推理，从而在各种应用中提供精准的预测或生成能力。

2、然而，在实际应用中，大模型推理面临多项挑战。首先，推理过程计算量巨大，需要高性能的硬件支持，这就要求相关的硬件和软件基础设施必须能够有效支持大规模并行计算。其次，大模型通常需要优化以适应特定任务，这可能包括微调模型参数或进行知识蒸馏以简化模型结构。此外，最重要的是，大模型推理过程必须考虑到隐私和安全性问题，尤其是针对金融领域中处理敏感数据时，保护数据的隐私格外重要。

3、基于此，如何提供一种大模型推理方法、系统、计算本文档来自技高网...

【技术保护点】

1.一种大模型推理方法，其特征在于，包括：

2.根据权利要求1所述的大模型推理方法，其特征在于，所述对预训练的目标大模型进行分割，得到所述目标大模型对应的输入层、中间层、以及输出层，包括：

3.根据权利要求2所述的大模型推理方法，其特征在于，所述将所述输入层与所述输出层均部署在客户端，将所述中间层部署在服务端，包括：

4.根据权利要求3所述的大模型推理方法，其特征在于，所述接收目标用户在所述客户端输入的Prompt，并通过所述输入层对所述Prompt进行编码，得到对应的数值向量，包括：

5.根据权利要求4所述的大模型推理方法，其特征在于，所...

【技术特征摘要】

1.一种大模型推理方法，其特征在于，包括：

2.根据权利要求1所述的大模型推理方法，其特征在于，所述对预训练的目标大模型进行分割，得到所述目标大模型对应的输入层、中间层、以及输出层，包括：

3.根据权利要求2所述的大模型推理方法，其特征在于，所述将所述输入层与所述输出层均部署在客户端，将所述中间层部署在服务端，包括：

4.根据权利要求3所述的大模型推理方法，其特征在于，所述接收目标用户在所述客户端输入的prompt，并通过所述输入层对所述prompt进行编码，得到对应的数值向量，包括：

5.根据权利要求4所述的大模型推理方法，其特征在于，所述将所述数值向量上传至所述服务端，并通过所述中间层对所述数值向量进行推理，得到对应的结果向量...

【专利技术属性】
技术研发人员：吴建汉，王健宗，黄章成，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：