一种基于大数据处理的算力智能分配方法组成比例

本发明专利技术公开了一种基于大数据处理的算力智能分配方法，具体涉及算力分配领域，包括S1、算力分配区域确定，用于将目标计算服务器内数据确定为算力分配区域，并按照5s/次等时间划分方式划分为子区域，并将算力分配区域内各子区域依次编号为1，2，...，n；S2、数据采集，用于获取目标算力分配过程中的算力资源数据和任务数据，将算力资源数据输送至算力资源数据处理步骤，任务数据输送至任务数据处理步骤；本发明专利技术采用全局视角进行决策，对自身算力资源和任务需求多方面考虑分配方式，深入综合考虑任务与资源的匹配关系，从而有效避免局部最优而整体非最优的情况，显著提升系统的整体性能。

【技术实现步骤摘要】

本专利技术涉及算力分配领域，更具体地说，本专利技术涉及一种基于大数据处理的算力智能分配方法。

技术介绍

1、随着大数据技术的快速发展，数据规模呈爆炸式增长，对算力资源的需求日益增加；算力系统其在提高计算效率，支持复杂计算任务，提升计算机性能有着重要作用；因此，需要一种智能的算力分配方法来优化资源利用。

2、传统的算力分配方法包括算力分配方式、资源盘点、分配策略制定以及分配执行；算力分配方式明确计算任务所需的算力资源，了解任务的资源需求，为后续的分配提供基础依据；资源盘点对系统中现有的算力资源进行全面统计，明确可用于分配的资源总量，以便根据任务需求进行合理调配；分配策略制定根据预设的规则进行算力分配；分配执行，根据制定的分配策略，将相应的算力资源分配给各个计算任务。确保任务能够获得所需的计算能力，开始执行计算操作。

3、但是其在实际使用时，仍旧存在一些缺点，如难以应对动态变化，传统算力分配方法在面对计算任务的动态变化时，缺乏实时监测和动态调整机制，往往不能及时作出有效的分配调整，导致系统在面对变化时适应性较差；数据不全面，传统算力分配本文档来自技高网...

【技术保护点】

1.一种基于大数据处理的算力智能分配方法，其特征在于，包括：

2.根据权利要求1所述的一种基于大数据处理的算力智能分配方法，其特征在于：所述算力资源数据包括硬件资源性能影响参数、算力资源使用情况影响参数以及网络数据影响参数；任务数据包括任务复杂度影响参数和任务资源交互影响参数。

3.根据权利要求2所述的一种基于大数据处理的算力智能分配方法，其特征在于：所述硬件资源性能影响参数包括CPU核心频率，记作f；GPU显存带宽，记作b；内存读写速度，记作s；存储设备IOPS，记作S；算力资源使用情况影响参数包括CPU使用率，记作u；GPU负载，记作l；内存剩余容量，记作r；...

【技术特征摘要】

1.一种基于大数据处理的算力智能分配方法，其特征在于，包括：

2.根据权利要求1所述的一种基于大数据处理的算力智能分配方法，其特征在于：所述算力资源数据包括硬件资源性能影响参数、算力资源使用情况影响参数以及网络数据影响参数；任务数据包括任务复杂度影响参数和任务资源交互影响参数。

3.根据权利要求2所述的一种基于大数据处理的算力智能分配方法，其特征在于：所述硬件资源性能影响参数包括cpu核心频率，记作f；gpu显存带宽，记作b；内存读写速度，记作s；存储设备iops，记作s；算力资源使用情况影响参数包括cpu使用率，记作u；gpu负载，记作l；内存剩余容量，记作r；网络带宽占用率，记作o；网络数据影响参数包括网络设备丢包量，记作lr；网络路径数量，记作nr；网络节点连接点数，记作nc；任务复杂度影响参数包括算法嵌套层数，记作cl，数据依赖关系数量，记作cd，代码逻辑分支数，记作tb，调用外部函数数量，记作tf；任务资源交互影响参数包括设备读写次数，记作tr；网络协议交互数，记作tn；数据传输量，记作tc，资源互斥锁等待时间，记作t。

4.根据权利要求1所述的一种基于大数据处理的算力智能分配方法，其特征在于：所述算力资源数据处理步骤包括硬件资源性能影响系数计算步骤、算力资源使用情况影响系数计算步骤以及网络数据影响系数计算步骤。

5.根据权利要求4所述的一种基于大数据处理的算力智能分配方法...

【专利技术属性】
技术研发人员：李文斌，张滨，王广云，郭雨豪，
申请(专利权)人：哈尔滨汇源泉科技发展有限公司，
类型：发明
国别省市：