资源分配方法、装置、设备、介质及计算机程序产品制造方法及图纸

本公开提供了资源分配方法、装置、设备、介质及计算机程序产品，涉及计算机领域，尤其涉及分布式作业技术领域。具体实现方案为：确定待进行资源分配的神经网络模型，并确定能够为神经网络模型提供资源的设备集合；基于设备集合和神经网络模型，确定第一评估点集合；对第一评估点集合进行更新迭代，得到第二评估点集合，第二评估点集合中包括第二数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本，第二数量大于第一数量；在第二评估点集合中选择资源使用成本最小的资源分配方案，作为对神经网络模型进行资源分配的资源分配方案。通过本公开可以实现为神经网络模型分配合适的资源。现为神经网络模型分配合适的资源。现为神经网络模型分配合适的资源。

【技术实现步骤摘要】
资源分配方法、装置、设备、介质及计算机程序产品


[0001]本公开涉及计算机领域，尤其涉及分布式作业


技术介绍

[0002]深度神经网络已经在多个领域取得了重大成功，如计算机视觉、自然语言处理以及广告系统等。为了提高深度学习模型的准确性，具有大量层数、神经元以及参数的大型模型通常使用大量的数据进行训练。随着深度学习模型数据规模和模型规模的逐渐增长，网络模型训练在单个设备上可能花费大量时间而无法满足业务的需求，分布式训练成为了训练深度学习模型的基础。

技术实现思路

[0003]本公开提供了一种资源分配方法、装置、设备、介质及计算机程序产品。
[0004]根据本公开的一方面，提供了一种资源分配方法，包括：
[0005]确定待进行资源分配的神经网络模型，并确定能够为所述神经网络模型提供资源的设备集合；基于所述设备集合和所述神经网络模型，确定第一评估点集合，其中，所述第一评估点集合中包括第一数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本；对所述第一评估点集合进行更新迭代，得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源分配方法，包括：确定待进行资源分配的神经网络模型，并确定能够为所述神经网络模型提供资源的设备集合；基于所述设备集合和所述神经网络模型，确定第一评估点集合，其中，所述第一评估点集合中包括第一数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本；对所述第一评估点集合进行更新迭代，得到第二评估点集合，所述第二评估点集合中包括第二数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本，所述第二数量大于所述第一数量；在所述第二评估点集合中选择资源使用成本最小的资源分配方案，作为对所述神经网络模型进行资源分配的资源分配方案。2.根据权利要求1所述的方法，其中，所述对所述第一评估点集合进行更新迭代，得到第二评估点集合，包括：基于所述第一评估点集合更新贝叶斯算法模型所应用目标函数的概率代理模型；基于更新后的概率代理模型，随机生成观察点集合，所述观察点集合中包括第三数量的观察点，且每一观察点对应一个资源分配方案；在所述观察点集合中选择贝叶斯算法模型所应用采集函数值最小的观察点；确定所述采集函数值最小的观察点对应资源分配方案中神经网络模型的资源使用成本；将所述采集函数值最小的观察点对应资源分配方案以及对应的资源使用成本，作为更新的评估点，加入所述第一评估点集合中；重复执行上述过程，直至得到第二评估点集合。3.根据权利要求1或2所述的方法，其中，所述基于所述设备集合和所述神经网络模型，确定第一评估点集合，包括：随机生成第一数量的资源分配方案，其中，每一资源分配方案中包括有被分配的设备，以及所述设备用于执行的所述神经网络模型中网络层；确定所述第一数量的资源分配方案中每一资源分配方案对应的资源使用成本；基于所述第一数量的资源分配方案以及对应的资源使用成本，得到第一评估点集合。4.根据权利要求2所述的方法，其中，所述贝叶斯算法模型所应用目标函数为高斯过程函数。5.根据权利要求2所述的方法，其中，所述贝叶斯算法模型所应用采集函数为指数积分EI函数。6.根据权利要求1至5中任意一项所述的方法，其中，资源分配方案中所述神经网络模型的资源使用成本采用如下方式确定：确定资源分配方案与神经网络模型的资源使用成本之间的对应关系；基于所述对应关系，确定资源分配方案中所述神经网络模型的资源使用成本。7.根据权利要求6所述的方法，其中，所述确定资源分配方案与所述神经网络模型的资源使用成本之间的对应关系，包括：针对所述设备集合中的多种不同类型的设备，分别确定所述设备匹配所述资源分配方
案的设备使用数量，并确定所述设备使用数量与所述设备对应的设备使用成本之间的第一乘积值；确定所述多种不同类型的设备中各设备对应的第一乘积值之间的和值，并确定神经网络训练数据数量与所述神经网络模型对应的数据吞吐量之间的比值；确定所述和值与所述比值之间的第二乘积值，并基于所述资源分配方案与所述第二乘积值之间的对应关系，得到资源分配方案与神经网络模型的资源使用成本之间的对应关系。8.根据权利要求7所述的方法，其中，所述神经网络模型划分为不同阶段，所述不同阶段中每一阶段包含所述神经网络模型的一个或多个网络层，且每一阶段由同一类型的设备所执行；所述神经网络模型对应的数据吞吐量满足如下约束条件：所述神经网络模型的数据吞吐量小于所述阶段中各阶段对应的最小数据吞吐量；以及所述阶段中各阶段对应的数据吞吐量相等。9.一种资源分配装置，包括：确定模块，用于确定待进行资源分配的神经网络模型，并确定能够为所述神经网络模型提供资源的设备集合；以及基于所述设备集合和所述神经网络模型，确定第一评估点集合，其中，所述第一评估点集合中包括第一数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本；处理模块，用于对所述第一评估点集合进行更新迭...

【专利技术属性】
技术研发人员：刘吉，吴志华，冯丹蕾，周晨娣，张敏旭，吴鑫烜，姚雪峰，窦德景，于佃海，马艳军，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：