推理任务的处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:45436072 阅读:15 留言:0更新日期:2025-06-04 19:16
本发明专利技术提供了一种推理任务的处理方法、装置、电子设备及存储介质,涉及计算机处理技术领域,通过获取推理任务相关的第一数据;并通过处理器加载第一部分模块,推理模型用于执行推理任务;通过处理器利用第一部分模块对第一数据进行处理,得到第二数据;并通过处理器将加载的模块从第一部分模块替换为第二部分模块;通过处理器利用第二部分模块对第二数据进行处理,得到第三数据,这样,能够通过处理器分别对同一模型的不同模块进行加载,这样能够减少由于模型的参数量太大处理器无法一次支撑起其参数量导致模型加载失败进而导致推理任务失败的情况,这样能够提高推理任务的处理成功率。

【技术实现步骤摘要】

本专利技术涉及人工智能,尤其是涉及一种推理任务的处理方法、装置、电子设备及存储介质


技术介绍

1、随着人工智能的迅速发展,越来越多场景利用到人工智能进行推理任务的处理,例如进行图像任务的处理、文本任务的处理或语音任务的处理等。

2、目前,在利用人工智能进行推理任务的处理时,需要加载训练好的模型,进而利用训练好的模型进行推理任务的处理。

3、然而,随着模型的参数量越来越大,存在推理任务处理失败的情形。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种推理任务的处理方法、装置、电子设备及存储介质,以提高推理任务处理的成功率。

2、第一方面,本专利技术实施例提供了一种推理任务的处理方法,应用于终端设备,终端设备包括处理器,方法包括:获取推理任务相关的第一数据;获取推理模型的第一部分模块,并通过处理器加载第一部分模块,推理模型用于执行推理任务;通过处理器利用第一部分模块对第一数据进行处理,得到第二数据;获取推理模型的第二部分模块,并通过处理器将加载的模块从第一部分模块替换本文档来自技高网...

【技术保护点】

1.一种推理任务的处理方法,其特征在于,应用于终端设备,所述终端设备包括处理器,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述推理任务为多项,所述通过所述处理器利用所述第一部分模块对所述第一数据进行处理,得到第二数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述推理任务为多项,所述通过所述处理器利用所述第一部分模块对所述第一数据进行处理,得到第二数据,包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1-5中任...

【技术特征摘要】

1.一种推理任务的处理方法,其特征在于,应用于终端设备,所述终端设备包括处理器,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述推理任务为多项,所述通过所述处理器利用所述第一部分模块对所述第一数据进行处理,得到第二数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述推理任务为多项,所述通过所述处理器利用所述第一部分模块对所述第一数据进行处理,得到第二数据,包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1-5中任一项所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述多个预设模块的一部分预设模块存储于所述终端设备的本地,所述多个预设模块的另一部分预设模块...

【专利技术属性】
技术研发人员:魏飞韩旭
申请(专利权)人:文远京行北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1