【技术实现步骤摘要】
本申请涉及人工智能，特别是涉及一种基于transformer的大语言模型分布式协同推理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
技术介绍
1、随着人工智能技术的发展，基于大语言模型的应用更加广泛。在面向大众的场景中，大语言模型通常是在智算中心部署；而面向行业尤其是中小企业用户的场景中，在具体部署时，需要考虑对行业数据进行隐私保护。
2、相关技术中，进行隐私数据保护主要采用pd分离（prefill和decode分离）部署的方式。具体地，通常prefill需要算力密集资源，出于集约化考虑，部署在智算中心，而decode则部署在企业侧或者边缘节点，这样能保证输出文本在用户侧，而不在网络上传输，确保隐私信息不泄露。
3、然而，企业用户的隐私数据包括输入和输出两部分，用户输入的文本数据也包含企业的隐私信息和商业机密，因此只将解码的输出端部署在企业侧并不能完全保障隐私数据的安全。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够提高企业用户进行...
【技术保护点】
1.一种基于Transformer的大语言模型分布式协同推理方法，其特征在于，应用于智算中心侧的推理调度平台，所述推理调度平台部署有大语言模型的推理层，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述推理网关，还用于将所述标识信息与所述企业用户所属企业的预置密钥进行拼接，得到目标密钥；
3.根据权利要求1所述的方法，其特征在于，所述向量数据密文为报文形式，报头中包含有所述标识信息和加密提示信息，所述加密提示信息用于表征加密状态、以及在所述加密状态为加密时的加密算法类型；
4.根据权利要求3所述的方法，其特征在于，所述对...
【技术特征摘要】
1.一种基于transformer的大语言模型分布式协同推理方法，其特征在于，应用于智算中心侧的推理调度平台，所述推理调度平台部署有大语言模型的推理层，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述推理网关，还用于将所述标识信息与所述企业用户所属企业的预置密钥进行拼接，得到目标密钥；
3.根据权利要求1所述的方法，其特征在于，所述向量数据密文为报文形式，报头中包含有所述标识信息和加密提示信息，所述加密提示信息用于表征加密状态、以及在所述加密状态为加密时的加密算法类型；
4.根据权利要求3所述的方法，其特征在于，所述对所述推理网关发送的向量数据密文进行解密之前，还包括：
5.根据权利要求4所述的方法，其特征在于，所述对所述推理结果进行加密得到推理结果密文，包括：
6.根据权利要求...
【专利技术属性】
技术研发人员：吕航，唐静，邢文娟，周舸帆，
申请(专利权)人：中国电信股份有限公司技术创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。