一种任务和数据的管理方法及装置制造方法及图纸

技术编号:45094420 阅读:18 留言:0更新日期:2025-04-25 18:31
本申请提供一种任务和数据的管理方法,应用于包括多个节点的计算机系统,该方法包括获取多个节点中各个节点中访存指令的访存信息;确定线程任务与数据段之间的所有权关系;基于访存指令的访存信息,确定调优对象;基于线程任务和数据段之间的所有权关系,确定调优对象对应的目标关联域;确定关联域中各个线程任务的调度决策和各个数据段的迁移决策;将各个线程任务的调度决策发送至各个线程任务所在的第一节点,以使第一节点基于接收到的调度决策对线程任务进行调度,以及将各个数据段的迁移策略发送至各个数据段所在的第二节点,以使第二节点基于接收到的迁移策略对数据段进行迁移,实现自适应主动对任务和数据的分布调优,提高系统性能。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种任务和数据的管理方法及装置


技术介绍

1、随着关系型数据库系统等一系列并行计算场景的不断涌入,应用对系统并发操作处理能力的需求大幅增加。传统对称多处理(symmetrical multi-processing,smp)架构中(如图1所示),所有处理器通过系统总线均匀共享全部内存,当处理器数目增大时,系统总线的竞争将成为瓶颈。而非一致性内存访问(non-uniform memory access,numa)架构可以同时满足smp架构易开发和并行系统易扩展的特性,因此成为当前服务器的主流体系结构之一。

2、numa架构(如图2所示)一般具有多个节点,每个节点可以拥有多个cpu,而节点内共享同一内存管理单元(memory management unit,mmu),因此各节点相当于一个smp架构系统,节点内存对本节点所有cpu是平衡的。同时,numa架构允许cpu访问其非本地节点,通常可以分为邻居节点和远端节点,其访问速度和cpu与所访问内存间距离呈负相关。纯远端访问,相较于完全本地节点访问,性能差距可达30%+。...

【技术保护点】

1.一种任务和数据的管理方法,其特征在于,应用于计算机系统,所述计算机系统包括多个节点,所述多个节点包括管理节点,所述方法由所述管理节点执行,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取所述多个节点中各个节点中的访存指令的访存信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述硬件采样器采集到的采样数据达到预设大小时,所述硬件采样器将采集到的采样数据发送给所述管理节点。

4.根据权利要求2或3所述的方法,其特征在于,所述硬件采样器为统计分析扩展采样器,或处理器事件采样器。

5.根据权利要求1-4任一项所述的方法...

【技术特征摘要】

1.一种任务和数据的管理方法,其特征在于,应用于计算机系统,所述计算机系统包括多个节点,所述多个节点包括管理节点,所述方法由所述管理节点执行,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取所述多个节点中各个节点中的访存指令的访存信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述硬件采样器采集到的采样数据达到预设大小时,所述硬件采样器将采集到的采样数据发送给所述管理节点。

4.根据权利要求2或3所述的方法,其特征在于,所述硬件采样器为统计分析扩展采样器,或处理器事件采样器。

5.根据权利要求1-4任一项所述的方法,其特征在于,所述访存指令的访存信息包括所述访存指令执行的时间、访存地址、访存指令所属的线程任务;

6.根据权利要求5所述的方法,其特征在于,所述基于所述访存指令执行的时间、访存地址、访存指令所属的线程任务,确定当前的所述线程任务与数据段之间的所有权关系,包括:

7.根据权利要求6所述的方法,其特征在于,所述将所述若干数据页进行聚合,确定所述各个线程任务具有所有权的数据段,包括:

8.根据权利要求1-7任一项所述的方法,其特征在于,所述线程任务与数据段之间的所有权关系基于所有权关系标记信息确定,所述所有权关系标记信息标记所述多个节点中各个节点中的各个线程任务具有所有权的数据段;

9.根据权利要求1-8任一项所述的方法,其特征在于,所述确定线程任务与数据段之间的所有权关系以双向索引结构被记录在映射表中;

10.根据权利要求9所述的方法,其特征在于,所述映射表还记录有所述各个线程任务所在的节点、所述数据段所在的节点、所述各个线程任务对其具有所有权的数据段的访问频次中的一项或多项。

11.根据权利要求5-10任一项所述的方法,其特征在于,所述访存指令的访存信息还包括所述访存指令对应的cpu运行节点、访存延时、访存读写类型中的一项或多项;

12.根据权利要求11所述的方法,其特征在于,所述访存特征包括历史访存模式、节点内或节点间访存比例、访存热度、访存延时中的一项或多项。

13.根据权利要求11或12所述的方法,其特征在于,还包括:

14.根据权利要求1-13任一项所述的方法,其特征在于,所述劣化访问...

【专利技术属性】
技术研发人员:郝运张旭舟
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1