【技术实现步骤摘要】
本专利技术属于地震勘探数据处理领域，涉及容器技术和针对地震资料处理应用软件的计算资源调度方法，更具体地，涉及一种基于容器技术的提高地震资料处理集群利用率的方法、集群调度平台、电子设备及存储介质。
技术介绍
1、地震资料处理作业按资源的负载偏好分为cpu密集型和io密集型。调度平台均以单个节点为资源分配单位，通常按照cpu型号将同一类型计算资源组成一个资源池进行调度。非同一类型的异构计算资源，只能分开组成不同资源池。不同资源池之间无法进行调度。
2、调度方式采用静态管理方式和动态管理方式。静态调度方法中，任务的分配离线进行的，即在实时任务正式在处理机上调度执行前，先把任务在处理机上的分配和调度时间安排好，在任务正式开始执行后按照预先的调度方案执行。这种调度方法主要用于周期任务的调度，它的优点在于能够预先安排好调动，减少任务调度过程中的开销，而缺点在于缺乏灵活性，在实际的调度中不能够及时地根据系统资源和任务的执行情况进行及时的调整。与静态调度方法相对应的是动态调度。在实时系统中，很多任务并非都以周期方式在处理机上进行调度，更多任务，特别是非周期任务都是在资源池内随机到达系统并动态调度执行的，确保任务在到达任务的截止期之前完成。
3、非同一类型的异构计算资源在地震资料处理的过程中，并行作业需要多个同型号的节点进行计算。异构计算资源只能分开组成不同资源池，不同资源池之间无法进行调度，导致计算资源碎片化和无效浪费。
4、在不同资源偏好的负载一起执行的过程，调度平台多数采用动态调整，达到减少资源碎片造成的
技术实现思路
1、本专利技术提供一种高性能集群优化的方法，利用容器化技术，通过任务的性能预测计算资源申请量。将集群容器化，生成的性能相近的容器，并将其视为基本资源分配单位进行调度。根据各类计算资源的使用情况和系统的负载，通过动态调整节点中的容器数量进行调度，达到全局负载均衡和提高计算资源利用率的目的。
2、为实现上述目的，本专利技术提供一种提高地震资料处理集群利用率的方法，包括：
3、将处理集群容器化，生成性能相近的多个容器，并将容器作为基本资源分配单位进行调度；
4、建立并训练任务性能预测模型，利用所述任务性能预测模型计算出最大利用率下的基础容器参数；
5、处理大规模数据任务时，根据所述基础容器参数动态调整节点中容器的资源限制和数量。
6、进一步地，所述建立并训练任务性能预测模型包括：
7、分解地震资料处理任务，筛选任务流程选择部分任务片段作为基础单元，选择重要且少量基础单元作为量化单元，对地震资料任务进行量化；
8、在程序中插入信息采集代码段，通过所述信息采集代码段的执行获取训练数据特征；
9、利用所述训练数据特征训练所述任务性能预测模型。
10、进一步地，将任务流程删减成没有输入结果的串行任务流程，减少程序的运行时间的同时保留程序执行的流程，选择重要且少量基础单元作为量化单元，对地震资料任务进行量化。
11、进一步地，通过多次执行插入信息采集代码段的程序后的任务，取平均值得到进程数和量化单元频率，作为训练数据特征。
12、进一步地，在任务性能预测模型中，基本容器pi描述为pi＝(fi,mi,bi)，其中fi表示容器cpu核数，mi表示内存，bi表示带宽；
13、通过训练不断调整fi,mi,bi参数，在主机最大利用率的情况下，评估出最优基础容器参数。
14、进一步地，在处理大规模数据任务时，首先对地震资料任务进行量化，在原始程序混合插入量化单元计数器，获取大规模程序运行时的量化单元频率；
15、将获取的量化单元频率作为任务性能预测模型的输入，得到最优基础容器参数。
16、根据本专利技术的另一方面，提供一种集群调度平台，包括：
17、调度模块，用于协调所述集群调度平台的各个模块，完成容器资源匹配的调度过程；
18、策略管理模块，用于管理资源分配和公平性策略，并向所述调度模块提供各种策略支持；
19、策略调整模块，用于根据任务性能预测模型的资源推测符合度及任务完成时间信息自动调整容器资源调度策略；
20、资源管理模块，从所述策略调整模块获取容器运行中任务信息、待匹配任务信息以及当前的容器资源调度策略信息，并根据相关信息计算最大资源利用率，供所述调度模块在容器资源匹配中使用；
21、约束条件检查模块，用于保证所述调度模块的调度决策生效后，容器内所有运行中任务的服务质量约束条件都能得到满足。
22、进一步地，所述策略管理模块支持在运行时添加资源匹配、公平性策略及更改策略配置，默认的公平性策略为主资源公平。
23、根据本专利技术的另一方面，提供一种电子设备，所述电子设备包括：
24、存储器，存储有可执行指令；
25、处理器，所述处理器运行所述存储器中的所述可执行指令，以实现所述的提高地震资料处理集群利用率的方法。
26、根据本专利技术的另一方面，提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的提高地震资料处理集群利用率的方法。
27、本专利技术通过机器学习对地震处理任务性能预测，动态监控和收集系统中各节点的状态，以及各种资源的使用情况，并根据系统预先制定的调度策略，合理调整调度单元资源限制和数量，达到提高机群系统资源利用率和吞吐率的目的。同时，实现所有地震资料处理任务的性能评估，精准掌握大规模任务资源使用情况和应用峰谷规律。
本文档来自技高网...【技术保护点】
1.一种提高地震资料处理集群利用率的方法，其特征在于，包括：
2.根据权利要求1所述的提高地震资料处理集群利用率的方法，其特征在于，所述建立并训练任务性能预测模型包括：
3.根据权利要求2所述的提高地震资料处理集群利用率的方法，其特征在于，将任务流程删减成没有输入结果的串行任务流程，减少程序的运行时间的同时保留程序执行的流程，选择重要且少量基础单元作为量化单元，对地震资料任务进行量化。
4.根据权利要求2所述的提高地震资料处理集群利用率的方法，其特征在于，通过多次执行插入信息采集代码段的程序后的任务，取平均值得到进程数和量化单元频率，作为训练数据特征。
5.根据权利要求2所述的提高地震资料处理集群利用率的方法，其特征在于，在任务性能预测模型中，基本容器pi描述为pi＝(fi,mi,bi)，其中fi表示容器CPU核数，mi表示内存，bi表示带宽；
6.根据权利要求1所述的提高地震资料处理集群利用率的方法，其特征在于，在处理大规模数据任务时，首先对地震资料任务进行量化，在原始程序混合插入量化单元计数器，获取大规模程序运行时的
7.一种集群调度平台，其特征在于，包括：
8.根据权利要求7所述的集群调度平台，其特征在于，所述策略管理模块支持在运行时添加资源匹配、公平性策略及更改策略配置，默认的公平性策略为主资源公平。
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的提高地震资料处理集群利用率的方法。
...【技术特征摘要】
1.一种提高地震资料处理集群利用率的方法，其特征在于，包括：
2.根据权利要求1所述的提高地震资料处理集群利用率的方法，其特征在于，所述建立并训练任务性能预测模型包括：
3.根据权利要求2所述的提高地震资料处理集群利用率的方法，其特征在于，将任务流程删减成没有输入结果的串行任务流程，减少程序的运行时间的同时保留程序执行的流程，选择重要且少量基础单元作为量化单元，对地震资料任务进行量化。
4.根据权利要求2所述的提高地震资料处理集群利用率的方法，其特征在于，通过多次执行插入信息采集代码段的程序后的任务，取平均值得到进程数和量化单元频率，作为训练数据特征。
5.根据权利要求2所述的提高地震资料处理集群利用率的方法，其特征在于，在任务性能预测模型中，基本容器pi描述为pi＝(fi,...
【专利技术属性】
技术研发人员：张萌，尚萍平，万红霞，
申请(专利权)人：中国石油化工股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。