【技术实现步骤摘要】
本说明书实施例属于人工智能，尤其涉及一种基于llm模型的推理计算方法和装置。
技术介绍
1、不同的数据持有方所持有的数据，通常可能包含用户的隐私信息，因此在不同的数据持有方之间共享数据，则可能会侵犯用户的隐私。基于此，在一些解决方案中，为了能够打通多个数据持有方之间的数据流通，避免数据孤岛现象，通常可以利用安全多方计算技术，实现不同的数据持有方之间的数据共享；例如，在实际应用中，在基于多个数据持有方持有的数据联合训练人工智能模型的应用场景中，可以利用安全多方计算技术，基于密文数据来参与训练，从而可以确保多方在模型训练过程中进行数据交互时，可以不会泄露出数据的明文内容。
2、随着llm（large language model）模型的不断发展，利用安全多方计算技术，通过联合多个数据持有方持有的数据，来共同训练一个llm模型已经逐渐变的成熟，也让llm模型在众多领域中的不同的下游任务上，都取得了非常好的效果。
技术实现思路
1、本说明书提出一种基于llm模型的推理计算方法，应用于部...
【技术保护点】
1.一种基于LLM模型的推理计算方法，应用于部署了目标LLM模型的服务设备；其中，基于所述目标LLM模型进行的推理计算包含具有预设的执行顺序的多项子计算；所述方法包括：
2.如权利要求1所述的方法，基于所述目标LLM模型进行的推理计算包含并行执行的多项推理计算；所述多项推理算中的各项推理计算分别包含具有所述预设的执行顺序的所述多项子计算。
3.如权利要求1所述的方法，所述目标LLM模型为采用LoRA方法对预训练完成的初始LLM模型进行微调训练得到的LLM模型；所述目标LLM模型的模型参数还包括低秩的LoRA参数矩阵；
4.如权利要求...
【技术特征摘要】
1.一种基于llm模型的推理计算方法，应用于部署了目标llm模型的服务设备；其中，基于所述目标llm模型进行的推理计算包含具有预设的执行顺序的多项子计算；所述方法包括：
2.如权利要求1所述的方法，基于所述目标llm模型进行的推理计算包含并行执行的多项推理计算；所述多项推理算中的各项推理计算分别包含具有所述预设的执行顺序的所述多项子计算。
3.如权利要求1所述的方法，所述目标llm模型为采用lora方法对预训练完成的初始llm模型进行微调训练得到的llm模型；所述目标llm模型的模型参数还包括低秩的lora参数矩阵；
4.如权利要求3所述的方法，基于所述第一推理结果和所述第二推理结果，生成与所述推理数据对应的推理结果，包括：
5.如权利要求1所述的方法，在所述tee中针对所述线性子计算的输入数据进行加密处理，包括：
6.如权利要求5所述的方法，所述一次性密钥为基于otp算法生成的与所述线性子计算的输入数据的长度相同的一次性随机密钥；
7.如权利要求6所述的方法，所述线性子计算的计算结果为针对所述模型参数矩阵与加密处理之后的所述线性子计算的输入数据进行矩阵乘法运算得到的矩阵运算结果；
8.如权利要求1所述的方法，所述至少一项线性子计算的输入数据为在所述tee中进行了稀疏化处理的输入数据；所述稀疏化处理之后的输入数据在所述tee中进行加密处理之后由所述tee传输至所述gpu。
9.如权利要求8所述的方法，所述至少一项线性子计算中的至少部分线性子计算的输入数据为在所述tee中进行了稀疏化处理的输入数据；其中，所述至少部分线性子计算为所述至少一项线性子计算中，将所述非线性子计算的计算结果作为输入数据的线性子计算。
10.如权利要求9所述的方法，所述至少部分线性子计算为所述至少一项线性子计算中，将所述至少一项非线性子计算中引入了激活函数的非线性子计算的计算结果作为输入数据的线性子计算。
11.如权利要求9所述的方法，
12.如权利要求11所述的方法，删除所述线性子计算的输入数据中包含的所述无效元素，包括：
13.如权利要求12所述的方法，
14.如权利要求13所述的方法，...
【专利技术属性】
技术研发人员：吴豪奇，王莹桂，王磊，
申请(专利权)人：蚂蚁科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。