【技术实现步骤摘要】
本公开涉及电子计算机及互联网，尤其涉及一种大模型推断方法、装置、电子设备、存储介质及程序产品。
技术介绍
1、本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、大模型推断是具有大规模参数和复杂计算结构的机器学习模型中进行的推理过程。这个过程涉及到使用已经训练好的模型来预测或生成新的数据，例如文本、图像等。在大模型的推断过程中，需要消耗大量的计算资源和存储空间，因此实际应用中通常采用高效的并行计算和分布式存储技术来提高推理速度和降低成本。在相关技术中的大模型推断方案中，为了进行隐私保护，通常需要采用一些加密手段。
3、然而，相关技术中应用了加密手段的大模型推断方案的传输数据量较大，计算时间较长，导致效率较低。
技术实现思路
1、有鉴于此，本公开的目的在于提出一种大模型推断方法、装置、电子设备、存储介质及程序产品，至少在一定程度上解决相关技术中的技术问题之一。
2、基于上述目的，本公开示例性...
【技术保护点】
1.一种大模型推断方法，其特征在于，应用于服务器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述向客户端发送词嵌入的嵌入矩阵，接收所述客户端发送的基于待推断词语、第一秘密共享份额和所述嵌入矩阵得到的第二密文，包括：
3.根据权利要求1所述的方法，其特征在于，所述确定第一神经网络的参数，将所述第一神经网络的参数和所述第二秘密共享份额发送到所述客户端，接收所述客户端发送的第一关联结果，所述第一关联结果是基于所述第一神经网络的参数和所述第二秘密共享份额得到的，基于所述第一关联结果和第一神经网络的参数得到第一待截断信息，通过预先构建的第...
【技术特征摘要】
1.一种大模型推断方法，其特征在于，应用于服务器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述向客户端发送词嵌入的嵌入矩阵，接收所述客户端发送的基于待推断词语、第一秘密共享份额和所述嵌入矩阵得到的第二密文，包括：
3.根据权利要求1所述的方法，其特征在于，所述确定第一神经网络的参数，将所述第一神经网络的参数和所述第二秘密共享份额发送到所述客户端，接收所述客户端发送的第一关联结果，所述第一关联结果是基于所述第一神经网络的参数和所述第二秘密共享份额得到的，基于所述第一关联结果和第一神经网络的参数得到第一待截断信息，通过预先构建的第一扰动信息对所述第一待截断信息进行截断，以完成所述第一神经网络中的矩阵乘法，基于所述矩阵乘法结果进行处理得到第一输出结果，包括：
4.根据权利要求3所述的方法，其特征在于，所述通过预先构建的第一扰动信息对所述第一待截断信息...
【专利技术属性】
技术研发人员：徐国爱，周伟润，花忠云，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。