大模型资源分配方法、装置、设备和介质制造方法及图纸

技术编号:43599016 阅读:21 留言:0更新日期:2024-12-11 14:47
本公开提供了一种大模型资源分配方法、装置、设备和介质,涉及人工智能技术领域,尤其涉及大模型资源分配等技术领域,能够用于生成式搜索、文档智能编辑、智能助手、虚拟助手、智能电商等应用场景。该方法包括:经由流量网关对目标业务的大模型资源请求接口进行代理;获取目标业务的第一资源量和第二资源量,第一资源量表征目标业务所申请的资源量需求,第二资源量指示目标业务的历史资源量使用情况;基于目标业务的第一资源量和第二资源量,计算目标业务的第三资源量,第三资源量表征为目标业务额外预留的资源量;以及至少基于目标业务的第二资源量和第三资源量,利用流量网关为目标业务分配大模型资源。

【技术实现步骤摘要】

本公开涉及人工智能,尤其涉及大模型资源分配等,具体涉及一种大模型资源分配方法、大模型资源分配装置、电子设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括自然语言处理技术、计算机视觉技术、语音识别技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

2、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现思路

1、本公开提供了一种大模型资源分配方法、大模型资源分配装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面,提供了一本文档来自技高网...

【技术保护点】

1.一种大模型资源分配方法,包括:

2.根据权利要求1所述的方法,其中,获取所述目标业务的第一资源量和第二资源量包括:

3.根据权利要求2所述的方法,其中,所述多个预设时间窗口是以第一时间间隔为单位进行划分得到的,并且任意两个预设时间窗口之间不重叠。

4.根据权利要求2所述的方法,其中,所述第一目标时刻是基于第一时间间隔确定的,所述方法还包括:

5.根据权利要求4所述的方法,其中,所述第二目标时刻是基于第二时间间隔确定的,所述第一时间间隔为所述第二时间间隔的整数倍,

6.根据权利要求4所述的方法,其中,基于所述预估资源量和所述第...

【技术特征摘要】

1.一种大模型资源分配方法,包括:

2.根据权利要求1所述的方法,其中,获取所述目标业务的第一资源量和第二资源量包括:

3.根据权利要求2所述的方法,其中,所述多个预设时间窗口是以第一时间间隔为单位进行划分得到的,并且任意两个预设时间窗口之间不重叠。

4.根据权利要求2所述的方法,其中,所述第一目标时刻是基于第一时间间隔确定的,所述方法还包括:

5.根据权利要求4所述的方法,其中,所述第二目标时刻是基于第二时间间隔确定的,所述第一时间间隔为所述第二时间间隔的整数倍,

6.根据权利要求4所述的方法,其中,基于所述预估资源量和所述第二资源量,确定与所述第二目标时刻对应的第四资源量包括:

7.根据权利要求1-6中任一项所述的方法,其中,基于所述目标业务的第一资源量和第二资源量,计算所述目标业务的第三资源量包括:

8.根据权利要求1-6中任一项所述的方法,其中,获取所述目标业务的第一资源量和第二资源量包括:

9.根据权利要求8所述的方法,其中,响应于确定所述多个目标业务中的至少一个目标业务各自的第二资源量多于第一资源量,基于所述空余资源量和所述至少一个目标业务各自的第一资源量,确定所述至少一个目标业务各自的第六资源量包括:

10.一种大模型资...

【专利技术属性】
技术研发人员:曹彬黄川陈竣虹
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1