System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及资源分配,尤其涉及一种资源调度方法、装置、设备以及存储介质。
技术介绍
1、随着技术的发展,需要计算及存储的数据量不断变大,单一计算节点已经不能满足运算的需要,为了处理这部分数据,往往使用多个节点分工运算的方式来解决问题。
2、传统的资源调度方法通常只根据相关服务器资源的使用情况进行资源的调度,而到了大模型时代,不同神经网络模型可能擅长的领域不同,在处理不同问题时的准确率差异显著,使用传统的资源调度方法并不能充分考虑神经网络模型的适用场景对资源调度的影响。
技术实现思路
1、本申请的主要目的在于提供一种资源调度方法、装置、设备以及存储介质,旨在解决传统的资源调度方法并不能充分考虑神经网络模型的适用场景对资源调度的影响的问题。
2、为实现上述目的,第一方面,本申请提供一种资源调度方法,包括:
3、接收资源调度请求;
4、确定出所述资源调度请求对应的多个神经网络模型;
5、确定各个神经网络模型与资源调度请求之间的场景类别适用度,以及各个神经网络模型的可用服务器资源;
6、基于场景类别适用度与可用服务器资源,从所有神经网络模型中确定出最终神经网络模型;
7、调度最终神经网络模型响应资源调度请求。
8、可选地,基于场景类别适用度与可用服务器资源,从所有神经网络模型中确定出最终神经网络模型,包括:
9、基于各个神经网络模型的场景类别适用度,确定出各个神经网络模型的适用度权重值
10、基于各个神经网络模型的可用服务器资源,确定出各个神经网络模型的资源权重值;
11、基于各个神经网络模型的适用度权重值与资源权重值,获得各个神经网络模型被调度的概率值;
12、基于各个神经网络模型的概率值的大小,从所有神经网络模型中确定出最终神经网络模型。
13、可选地,基于各个神经网络模型的适用度权重值与资源权重值,获得各个神经网络模型被调度的概率值,包括:
14、获取资源调度请求中携带的偏好信息;
15、根据偏好信息确定出适用度权重值的第一计算权重与资源权重值的第二计算权重;
16、基于各个神经网络模型的适用度权重值、第一计算权重、资源权重值与第二计算权重,获得各个神经网络模型被调度的概率值。
17、可选地,根据偏好信息确定出适用度权重值的第一计算权重与资源权重值的第二计算权重,包括:
18、若偏好信息为偏好准确度信息,则第一计算权重大于第二计算权重;
19、若偏好信息为资源偏好信息,则第二计算权重大于第一计算权重。
20、可选地,调度最终神经网络模型响应资源调度请求之后,方法还包括:
21、基于用户对各个神经网络模型的准确性的好评率,调整各个神经网络模型的适用度权重值,获得调整后的各个神经网络模型的适用度权重值。
22、可选地,接收资源调度请求之前,方法还包括:
23、获取用户提供的附加语料资源;
24、基于附加语料资源与附加语料资源对应的问题,生成问答资料;
25、将用户对附加语料资源的满意度大于预设阈值的问答资料,作为更新材料,定期调整对应的神经网络模型。
26、可选地,基于各个神经网络模型的场景类别适用度,确定出各个神经网络模型的适用度权重值,包括:
27、根据神经网络模型的适用场景类别与资源调度请求所属的使用场景之间的匹配度,确定各个神经网络模型的适用度权重值;且匹配度与适用度权重值呈正相关。
28、第二方面,为了实现上述目的,本申请继续提供一种资源调度装置,资源调度装置包括:
29、获取模块,用于接收资源调度请求;
30、多模型确定模块,用于确定出资源调度请求对应的多个神经网络模型;
31、适用度确定模块,用于确定各个神经网络模型与资源调度请求之间的场景类别适用度,以及各个神经网络模型的可用服务器资源;
32、最终确定模块,用于基于场景类别适用度与可用服务器资源,从所有神经网络模型中确定出最终神经网络模型;
33、调度模块,用于调度最终神经网络模型响应资源调度请求。
34、第三方面,为了实现上述目的,本申请继续提供一个资源调度设备,包括:处理器,存储器以及存储在存储器中的资源调度程序,资源调度程序被处理器运行时实现上述资源调度方法的步骤。
35、第四方面,为了实现上述目的,本申请继续提供一种计算机可读存储介质,计算机可读存储介质上存储有资源调度程序,资源调度程序被处理器执行时实现上述的资源调度方法。
36、不难看出,本申请结合神经网络模型的场景适用度、可用服务器资源,实现了较为高效、智能的神经网络模型调度。通过适用度和资源权重的综合考量,能够灵活地选择适合当前任务需求的神经网络模型,充分考虑了神经网络模型的适用场景对资源调度的影响,为神经网络模型处理复杂用户需求场景提供了高效而全面的解决方案。
本文档来自技高网...【技术保护点】
1.一种资源调度方法,其特征在于,所述方法包括:
2.根据权利要求1所述的资源调度方法,其特征在于,所述基于所述场景类别适用度与所述可用服务器资源,从所有所述神经网络模型中确定出最终神经网络模型,包括:
3.根据权利要求2所述的资源调度方法,其特征在于,所述基于各个神经网络模型的适用度权重值与资源权重值,获得各个神经网络模型被调度的概率值,包括:
4.根据权利要求3所述的资源调度方法,其特征在于,所述根据所述偏好信息确定出适用度权重值的第一计算权重与所述资源权重值的第二计算权重,包括:
5.根据权利要求2所述的资源调度方法,其特征在于,所述调度所述最终神经网络模型响应所述资源调度请求之后,所述方法还包括:
6.根据权利要求1所述的资源调度方法,其特征在于,所述接收资源调度请求之前,所述方法还包括:
7.根据权利要求2所述的资源调度方法,其特征在于,所述基于各个神经网络模型的场景类别适用度,确定出各个神经网络模型的适用度权重值,包括:
8.一种资源调度装置,其特征在于,所述资源调度装置包括:
...【技术特征摘要】
1.一种资源调度方法,其特征在于,所述方法包括:
2.根据权利要求1所述的资源调度方法,其特征在于,所述基于所述场景类别适用度与所述可用服务器资源,从所有所述神经网络模型中确定出最终神经网络模型,包括:
3.根据权利要求2所述的资源调度方法,其特征在于,所述基于各个神经网络模型的适用度权重值与资源权重值,获得各个神经网络模型被调度的概率值,包括:
4.根据权利要求3所述的资源调度方法,其特征在于,所述根据所述偏好信息确定出适用度权重值的第一计算权重与所述资源权重值的第二计算权重,包括:
5.根据权利要求2所述的资源调度方法,其特征在于,所述调度所述最终神经网络模型响应所述资源调度请求之后,所述方法还包括:
6....
【专利技术属性】
技术研发人员:许刚,龙榜,李晖,李天国,刘新,
申请(专利权)人:深圳市法本信息技术股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。