一种提升高性能计算的方法及装置制造方法及图纸

技术编号:42576768 阅读:15 留言:0更新日期:2024-08-29 00:40
本发明专利技术涉及一种提升高性能计算的方法及装置,属于高性能计算技术领域,该方法包括:将共享内存在多个计算节点中配置为dax设备;在程序启动时将dax设备映射到本进程中;进程获取dax设备的首地址的虚拟地址,初始化共享内存中的第一区域,调用so文件共享库中的malloc函数,进程在第一区域中抢占字节,计算出第一偏移量;根据dax设备在本进程中映射的首地址的虚拟地址和第一偏移量得到本次抢占到的共享内存区域在本进程中的首地址的虚拟地址;计算节点将计算结果写入共享内存区域中,得到第二偏移量;获取数据时,得到可使用的数据块的虚拟地址,以读写内存的方式进行数据交互。本发明专利技术使多个计算节点分时复用同一块共享内存。

【技术实现步骤摘要】

本专利技术属于高性能计算,尤其涉及一种提升高性能计算的方法及装置


技术介绍

1、随着信息爆炸时代的来临,高性能计算技术已经越来越多的被应用于各类科学研究或者各类企业生产之中,比如气候模拟和天气预报,石油勘探,分析基因组数据等等,越来越复杂的应用场景下,数据量也成倍数的进行增长,因此对于高性能计算技术而言内存的超大容量需求是制约其快速发展的一个关键瓶颈。

2、在动态模型训练,实时推理等动态负载的场景下,会根据负载的情况添加/休眠节点,这样可以在高负载情况下充分利用各节点的能力,在低负载情况下休眠一部分节点可以节省支出,在负载情况变化频繁时,如何快速高效的添加节点/休眠节点,从而有效提升高性能计算技术的性能是需要解决的技术问题。


技术实现思路

1、鉴于以上现有技术的不足,专利技术的目的在于提供一种提升高性能计算的方法、装置、电子设备和存储介质,本专利技术中对非弹性负载的高性能计算集群使多个计算节点分时复用同一块共享内存,对弹性负载的高性能计算集群,达到动态高效的添加/删除计算节点的效果,有效提高了高本文档来自技高网...

【技术保护点】

1.一种提升高性能计算的方法,其特征在于,应用于包括:多个计算节点通过互联总线均与共享内存连接的系统中,该方法包括:

2.根据权利要求1所述的一种提升高性能计算的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的一种提升高性能计算的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的一种提升高性能计算的方法,其特征在于,所述将共享内存在多个计算节点中配置为dax设备是通过ndctl命令配置的;

5.根据权利要求1所述的一种提升高性能计算的方法,其特征在于,所述计算结果至少包括:中间数据、输出数据以及需要交互的状态信息。...

【技术特征摘要】

1.一种提升高性能计算的方法,其特征在于,应用于包括:多个计算节点通过互联总线均与共享内存连接的系统中,该方法包括:

2.根据权利要求1所述的一种提升高性能计算的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的一种提升高性能计算的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的一种提升高性能计算的方法,其特征在于,所述将共享内存在多个计算节点中配置为dax设备是通过ndctl命令配置的;

5.根据权利要求1所述的一种提升高性能计算的方法,其特征在于,所述计算结果至少包括:中间数据、输出数据以及需要交互的状态信息。

6.根据权利要求1所述的一种提升高性能计算的方法,其特征在于,所述根据数据的虚拟地址差值和所...

【专利技术属性】
技术研发人员:韩莹艾天翔龚楠朱家桢张玉
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1