【技术实现步骤摘要】
本申请属于任务调度领域，特别涉及一种基于多级架构的自适应任务调度方法和装置。
技术介绍
1、随着大数据时代分布式任务调度系统的进一步发展，如何将跨地域的多个计算资源集成起来统一调度和管理成为亟须解决的问题。使用gpu对tb甚至pb级的海量数据进行处理时，传统的单个gpu集群往往很难满足效率上的需求，海量数据处理经常需要跨越多个gpu集群，甚至跨越多个地区的gpu集群进行多集群联合分布式的数据处理。因此，对于跨gpu集群的数据处理并无成熟的实现方案。而在跨gpu集群的处理过程中，会涉及大量gpu、cpu和内存的调度管理问题，以及跨集群、跨地域的数据调度和多用户管理、多任务管理问题，使得数据处理调度复杂化。
技术实现思路
1、本申请的目的在于提供一种基于多级架构的自适应任务调度方法和装置，旨在实现高效的多级数据处理和任务调度。
2、根据本申请的第一方面，提供了一种基于多级架构的自适应任务调度方法，包括：
3、利用长短期记忆模型预测待执行任务对待访问数据的访问模式，基于所...
【技术保护点】
1.一种基于多级架构的自适应任务调度方法，其特征在于，包括：
2.根据权利要求1所述的基于多级架构的自适应任务调度方法，其特征在于，所述多级数据存储架构将数据分为热数据、温数据和冷数据，其中所述热数据存储在高性能GPU内存中，所述温数据存储在SSD或高性能网络存储中，所述冷数据存储在硬盘。
3.根据权利要求1所述的基于多级架构的自适应任务调度方法，其特征在于，所述利用长短期记忆模型预测待执行任务对待访问数据的访问模式，进一步包括：
4.根据权利要求3所述的基于多级架构的自适应任务调度方法，其特征在于，所述基于所述访问模式在多级数据存...
【技术特征摘要】
1.一种基于多级架构的自适应任务调度方法，其特征在于，包括：
2.根据权利要求1所述的基于多级架构的自适应任务调度方法，其特征在于，所述多级数据存储架构将数据分为热数据、温数据和冷数据，其中所述热数据存储在高性能gpu内存中，所述温数据存储在ssd或高性能网络存储中，所述冷数据存储在硬盘。
3.根据权利要求1所述的基于多级架构的自适应任务调度方法，其特征在于，所述利用长短期记忆模型预测待执行任务对待访问数据的访问模式，进一步包括：
4.根据权利要求3所述的基于多级架构的自适应任务调度方法，其特征在于，所述基于所述访问模式在多级数据存储架构中对待访问数据的存储位置进行动态迁移，进一步包括：
5.根据权利要求1所述的基于多级架构的自适应任务调度方法，其特征在于，所述改进的粒子群优化算法引入历史最佳位置xbes...
【专利技术属性】
技术研发人员：郝东林，潘腾飞，
申请(专利权)人：北京智源人工智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。