【技术实现步骤摘要】
本申请涉及人工智能(artificial intelligence，ai)，具体涉及一种模型推理的方法、模型训练的方法及相应装置。
技术介绍
1、随着人工智能的发展，可以在海量的开源数据上对大语言模型(large languagemodel，llm)进行预训练，然后再使用对应领域的数据对该预训练过的llm进行二次训练。这样，训练好的llm就可以执行相应领域的任务。
2、然而，llm的参数规模非常大，每个租户的llm都会占用一份资源，导致云系统的资源利用率低下。另外，由于每个llm可能达到上百个gb，需要较长的加载时间，在冷启动llm时需要消耗较长的时间。
技术实现思路
1、本申请提供一种模型推理的方法、模型训练的方法，用于提高系统资源的利用率，以及缩短冷启动的时间，还可以保护llm隐私。本申请还提供了相应装置、计算机可读存储介质和计算机程序产品等。
2、本申请第一方面提供一种模型推理的方法，该方法应用于云系统中的目标节点，该方法包括：接收第一请求，第一请求用于指示使...
【技术保护点】
1.一种模型推理的方法，其特征在于，所述方法应用于云系统中的目标节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述微调参数有多个，不同的微调参数对应所述基础大模型实例中不同的基础参数。
4.根据权利要求2或3所述的方法，其特征在于，所述创建所述第一微调服务实例，包括：
5.根据权利要求4所述的方法，其特征在于，所述第一微调服务实例的部署位置与所述基础大模型实例的部署位置具有亲和关系。
6.根据权利要求2-5任一项所述的方法，其特征在...
【技术特征摘要】
1.一种模型推理的方法，其特征在于，所述方法应用于云系统中的目标节点，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述微调参数有多个，不同的微调参数对应所述基础大模型实例中不同的基础参数。
4.根据权利要求2或3所述的方法，其特征在于，所述创建所述第一微调服务实例，包括：
5.根据权利要求4所述的方法，其特征在于，所述第一微调服务实例的部署位置与所述基础大模型实例的部署位置具有亲和关系。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述方法还包括：
7.一种模型训练的方法，其特征在于，所述方法应用于云系统中的目标节点，所述方法包括：
8.根据权利要求7所述的方法，其特征在于，所述第一微调服务实例的所述微调参数是租户按照模型规约确定的参数，所述模型规约用于引导租户配置满足需求的微调参数。
9.根据权利要求8所述的方法，其特征在于，所述微调参数有多个，不同的微调参数对应所述基础大模型实例中不同的基础参数。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。