内存控制方法和装置制造方法及图纸

本申请实施例提供一种内存控制方法和装置，应用于第一节点，该方法包括：获取作业控制组包括的各作业的第一总占用内存，作业控制组包括该第一节点上未处理完毕的各作业；在第一总占用内存满足第一预设条件时，减少作业控制组包括的各作业的总占用内存，第一预设条件包括大于最大可用内存，或者，包括小于或等于该最大可用内存、且大于该最大可用内存的第一预设比例。本申请实施例中，第一节点上未处理完毕的各作业均位于同一个作业控制组中，使得第一节点可以实时的获取第一节点上的各作业的总占用内存，且在总占用内存满足上述的第一预设条件时，才减少作业控制组包括的各作业的总占用内存，在避免OOM的同时，还可以充分利用第一节点的系统内存。一节点的系统内存。一节点的系统内存。

【技术实现步骤摘要】
内存控制方法和装置


[0001]本申请涉及计算机
，由于涉及一种内存控制方法和装置。

技术介绍

[0002]高性能计算(high performance computing，HPC)服务的主要目的是提高运算速度及能力，以达到每秒万亿次级的计算速度。其可以解决大规模科学问题的计算和海量数据的处理，如气象预报、汽车模拟仿真、军事研究、生物制药、基因测序、核爆炸模拟等等。可以提供高性能计算服务的计算机可称之为“高性能计算机”或“HPC计算机”。也就是说，HPC计算机的负载较大，比如运行有大量的作业，因此对HPC计算机的内存控制具有重要的意义。
[0003]目前HPC计算机的内存控制的方法有的存在内存溢出(out of memory，简称OOM)的问题，有的存在无法充分使用HPC计算机的系统内存的问题。

技术实现思路

[0004]本申请实施例提供一种内存控制方法和装置，可以充分利用系统内存以及有效的防止内存溢出。
[0005]第一方面，本申请实施例提供一种内存控制方法，应用于第一节点，所述方法包括：获取作业控制组包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内存控制方法，其特征在于，应用于第一节点，所述方法包括：获取作业控制组包括的各作业的第一总占用内存，所述作业控制组包括所述第一节点上未处理完毕的各作业；在所述第一总占用内存满足第一预设条件时，减少所述作业控制组包括的各作业的总占用内存，所述第一预设条件包括大于最大可用内存，或者，所述第一预设条件包括小于或等于所述最大可用内存、且大于所述最大可用内存的第一预设比例。2.根据权利要求1所述的方法，其特征在于，所述获取作业控制组包括的各作业的第一总占用内存，包括：调用控制组系统监控进程，获取作业控制组包括的各作业的第一总占用内存。3.根据权利要求1或2所述的方法，其特征在于，所述作业控制组的数量为一个，所述第一节点获取到的各作业被所述第一节点添加至所述作业控制组中。4.根据权利要求1～3任一项所述的方法，其特征在于，所述减少所述作业控制组包括的各作业的总占用内存，包括：采用第一处理方式处理所述作业控制组中的第一作业对应的进程，所述第一处理方式为挂起或终止。5.根据权利要求4所述的方法，其特征在于，在所述采用第一处理方式处理所述作业控制组中的第一作业对应的进程之前，还包括：确定所述第一总占用内存小于或等于所述最大使用内存；根据所述第一总占用内存和所述最大使用内存，确定第一内存信息，所述第一内存信息指示所述第一总占用内存大于所述最大可用内存的第一预设比例。6.根据权利要求5所述的方法，其特征在于，所述第一内存信息包括：已用总内存比例大于所述第一预设比例；所述已用总内存比例为所述第一总占用内存与所述最大可用内存的比值。7.根据权利要求6所述的方法，其特征在于，还包括：读取配置文件中的所述第一预设比例。8.根据权利要求5所述的方法，其特征在于，所述第一内存信息包括：第一剩余总可用内存比例小于第二预设比例，所述第一预设比例和所述第二预设比例的和为100％；所述第一剩余总可用内存比例为第一差值与所述最大可用内存的比值，所述第一差值为所述最大可用内存与所述第一总占用内存的差值。9.根据权利要求8所述的方法，其特征在于，还包括：读取配置文件中的所述第二预设比例。10.根据权利要求5～9任一项所述的方法，其特征在于，在所述获取作业控制组包括的各作业的第一总占用内存之前，还包括：获取作业控制组包括的各作业的第二总占用内存；若所述第二总占用内存大于所述最大可用内存，则所述将所述作业控制组包括的各作业所对应的部分内存数据迁移至swap分区，以使作业控制组包括的各作业的总占用内存为所述第一总占用内存。11.根据权利要求4～10任一项所述的方法，其特征在于，所述第一作业的第一实际使用内存大于所述第一作业的第一最大可用内存且所述第一作业的内存超出比例最高；
所述第一作业的内存超出比例为第二差值与所述第一最大使用内存的比值，所述第二差值为所述第一实际使用内存与所述第一最大可用内存的差值。12.根据权利要求5～11任一项所述的方法，其特征在于，所述第一处理方式为挂起，在所述采用第一处理方式处理所述作业控制组中的第一作业对应的进程之后，还包括：获取作业控制组包括的各作业的第三总占用内存；确定所述第三总占用内存小于所述最大可用内存的第三预设比例，所述第三预设比例小于或等于所述第一预设比例；唤醒所述第一作业对应的进程。13.根据权利要求4～12任一项所述的方法，其特征在于，在采用第一处理方式处理所述作业控制组中的第一作业对应的进程之前，还包括：读取配置文件中的处理方式指示信息，所述处理方式指示信息指示所述第一处理方式。14.根据权利要求1～3任一项所述的方法，其特征在于，所述减少所述作业控制组包括的各作业的总占用内存，包括：将所述作业控制组包括的至少一个作业所对应的至少部分内存数据迁移至swap分区，以使作业控制组包括的各作业的总占用内存小于或等于所述最大可用内存。15.根据权利要求1～14任一项所述的方法，其特征在于，还包括：读取配置文件中的最大可用内存比例；根据所述最大使用内存比例和所述第一节点的总内存，确定所述最大使用内存。16.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～15中任一项所述的方法。17.一种内存控制系统，其特征在于，包括第二节点和至少一个第一节点；所述第二节点，用于向所述第一节点发送作业信息；所述第一节点，用于基于所述作业信息得到作业，以及将所述作业添加至作业控制组，所述作业控制组包括所述第一节点上未处理完毕的各作业；所述第一节点，还用于获取作业控制组包括的各作业的第一总占用内存，所述作业控制组包括所述第一节点上未处理完毕的各作...

【专利技术属性】
技术研发人员：丁肇辉，朱波，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：