数据处理方法、电子设备以及计算机可读存储介质技术

技术编号:40333530 阅读:24 留言:0更新日期:2024-02-09 14:24
本申请公开了一种数据处理方法、电子设备以及计算机可读存储介质,涉及大模型技术、数据处理领域。其中,该方法包括:响应接收到的多个询问请求,其中,询问请求携带有询问数据;对多个询问数据进行封装,得到批处理数据;调用多个询问请求对应的目标数据处理模型,对批处理数据进行处理,得到多个询问数据对应的答复结果。本申请解决了相关技术中对数据处理效率较低的技术问题。

【技术实现步骤摘要】

本申请涉及大模型技术、数据处理领域,具体而言,涉及一种数据处理方法、电子设备以及计算机可读存储介质


技术介绍

1、目前,在整体解决方案层面,现有的推理服务框架,主要是支持数据处理模型的服务化,但是更关注于模型服务调度和硬件加速等层面,对于底层通用的模型调用关注较少,在需要对多个数据进行处理时,一般是通过调用预先设置的模型依次对多个数据进行处理,这样会导致数据处理的效率较低。

2、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请实施例提供了一种数据处理方法、电子设备以及计算机可读存储介质,以至少解决相关技术中对数据处理效率较低的技术问题。

2、根据本申请实施例的一个方面,提供了一种数据处理方法,包括:响应接收到的多个询问请求,其中,所述询问请求携带有询问数据;对多个所述询问数据进行封装,得到批处理数据;调用多个所述询问请求对应的目标数据处理模型,对所述批处理数据进行处理,得到多个所述询问数据对应的答复结果。

3、根据本申请实施例的一个方面,还提供了一种本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,调用多个所述询问请求对应的目标数据处理模型,对所述批处理数据进行处理,得到多个所述询问数据对应的答复结果,包括:

3.根据权利要求2所述的方法,其特征在于,基于多个所述询问请求的属性信息,调用目标数据处理服务,包括:

4.根据权利要求2所述的方法,其特征在于,所述目标数据处理模型是预先部署的模型,或模型流水线中的模型。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,对多个所述询问数据进行封装...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,调用多个所述询问请求对应的目标数据处理模型,对所述批处理数据进行处理,得到多个所述询问数据对应的答复结果,包括:

3.根据权利要求2所述的方法,其特征在于,基于多个所述询问请求的属性信息,调用目标数据处理服务,包括:

4.根据权利要求2所述的方法,其特征在于,所述目标数据处理模型是预先部署的模型,或模型流水线中的模型。

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,对多个所述询问数据进行封装,得到批处理数据,包括:

7.根...

【专利技术属性】
技术研发人员:张志成刘阳周文猛
申请(专利权)人:杭州阿里云飞天信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1