访问非VMA区域文件缓存的进程调度方法和装置制造方法及图纸

本发明专利技术公开了一种访问非VMA区域文件缓存的进程调度方法和装置。上述方法包括步骤：在多核系统全部节点的CPU之中，对所述CPU上每个读写进程访问的非VMA区域的文件缓存信息进行统计；当有读写进程连续访问同一个节点对应的非VMA区域的次数超过迁移阈值时，至少基于所述节点的CPU负载大小确定迁移目标CPU；以及将所述读写进程迁移至所述迁移目标CPU。本发明专利技术一并公开了相应的装置和计算设备。一并公开了相应的装置和计算设备。一并公开了相应的装置和计算设备。

【技术实现步骤摘要】
访问非VMA区域文件缓存的进程调度方法和装置


[0001]本专利技术涉及数据调度
，尤其是一种访问非VMA区域文件缓存的进程调度方法、装置与计算设备。

技术介绍

[0002]Linux系统在读写文件时，为了提高效率，系统会先将文件读写到内存上，再刷新磁盘。随着科技的发展，服务器的CPU个数越来越多，所以就引入了NUMA(Non Uniform Memory Access，非统一内存访问)架构进行管理，NUMA架构由多个CPU节点(NODE)组成，每个NODE都有属于自己的本地内存，当访问非本地内存时，因为更多的延时导致性能变差。
[0003]如图1所示，NODE 0距离内存0的距离是10，NODE 1距离内存1的距离是10，NODE 1距离NODE 0的内存的距离是20，当进程A运行在CPU 1(NODE 0)，在读写文件A时，会将文件A载入内存0中，此时距离为10，性能最好。当进程B在CPU 4(NODE 1)，此时如果文件已加载到了内存0上，那么进程B在访问内存0中的A的文件缓存，此时距离为20，导致性能下降。尤其进程访问非VMA(Virtual Memory Area，虚拟内存空间)区域的远端文件缓存时，可能发生读写远端内存的情况发生。

技术实现思路

[0004]为此，本专利技术提供了一种访问非VMA区域文件缓存的进程调度方法、装置与计算设备，以力图解决或者至少缓解上面存在的至少一个问题。
[0005]根据本专利技术的一个方面，提供了一种访问非VMA区域文件缓存的进程调度方法，包括步骤：在多核系统全部节点的CPU之中，对所述CPU上每个读写进程访问的非VMA区域的文件缓存信息进行统计；当有读写进程连续访问同一个节点对应的非VMA区域的次数超过迁移阈值时，至少基于所述节点的CPU负载大小确定迁移目标CPU；以及将所述读写进程迁移至所述迁移目标CPU。
[0006]可选地，在根据本专利技术的调度方法中，所述对所述CPU上每个读写进程访问的非VMA区域的文件缓存信息进行统计的步骤包括：针对每个读写进程，根据所述文件缓存的存储节点信息，判断所述读写进程当前访问的文件缓存与上一次访问的文件缓存是否存储在同一个节点对应的非VMA区域，根据判断结果统计所述读写进程连续访问同一个节点对应的非VMA区域的次数。
[0007]可选地，在根据本专利技术的调度方法中，所述对所述CPU上每个读写进程访问的非VMA区域的文件缓存信息进行统计的步骤包括：针对每个读写进程，根据所述文件缓存的存储节点信息，对所述CPU所在节点与所述读写进程当前访问的文件缓存对应的节点之间的距离与距离阈值进行比较；当所述距离大于所述距离阈值时，判断所述读写进程当前访问的文件缓存与上一次访问的文件缓存是否存储在同一个节点对应的非VMA区域，根据判断结果统计所述读写进程连续访问同一个节点对应的非VMA区域的次数；当所述距离小于或者等于所述距离阈值时，继续当前访问，待当前访问结束，重新统计所述读写进程访问的非
VMA区域的文件缓存信息。
[0008]可选地，在根据本专利技术的调度方法中，统计所述读写进程连续访问同一个节点对应的非VMA区域的次数的步骤包括：如果所述读写进程当前访问的文件缓存与上一次访问的文件缓存存储在同一个节点对应的非VMA区域，统计计数加1；如果所述读写进程当前访问的文件缓存与上一次访问的文件缓存不存储在同一个节点对应的非VMA区域，统计计数清零。
[0009]可选地，在根据本专利技术的调度方法中，所述至少基于所述节点的CPU负载大小确定迁移目标CPU的步骤包括：将所述节点和距离所述节点预设距离的节点作为候选节点；在所述候选节点对应的CPU之中，将其中负载最小的CPU作为迁移目标CPU；或者确定所述候选节点中负载低于预设迁移阈值的一个CPU作为迁移目标CPU。
[0010]可选地，在根据本专利技术的调度方法中，在所述对每个CPU上读写进程访问的非VMA区域的文件缓存信息进行统计的步骤之前还包括：当进程通过mmap方式访问时，给该文件缓存设置mmap的标记；和/或，当进程通过读写方式访问时，给该文件缓存设置read/write的标记，所述标记用以区分进程访问的是否是VMA区域的文件缓存。
[0011]可选地，在根据本专利技术的调度方法中，在判断有读写进程连续访问同一个节点对应的非VMA区域的次数超过迁移阈值的步骤之后还包括：对所述CPU所在节点与所述读写进程当前访问的文件缓存对应的节点之间的距离与距离阈值进行比较；当所述距离小于或者等于所述距离阈值时，继续当前访问，待当前访问结束，重新统计所述读写进程访问的非VMA区域的文件缓存信息。
[0012]根据本专利技术的另一方面，还提供了一种访问非VMA区域文件缓存的进程调度装置，包括：统计模块，适于在多核系统全部节点的CPU之中，对所述CPU上每个读写进程访问的非VMA区域的文件缓存信息进行统计；查找模块，适于当有读写进程连续访问同一个节点对应的非VMA区域的次数超过迁移阈值时，至少基于所述节点的CPU负载大小确定迁移目标CPU；以及迁移模块，适于将所述读写进程迁移至所述迁移目标CPU。
[0013]根据本专利技术的另一方面，还提供了一种计算设备，包括：至少一个处理器和存储有程序指令的存储器；当程序指令被处理器读取并执行时，使得计算设备执行如上的访问非VMA区域文件缓存的进程调度方法。
[0014]根据本专利技术的再一方面，还提供了一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行如上的访问非VMA区域文件缓存的进程调度方法。
[0015]根据本专利技术的访问非VMA区域文件缓存的进程调度方法、装置与计算设备，能够实现以下有益效果：
[0016]本申请当进程通过read/write的方式访问非内存映射的文件时，如果进程连续多次访问相同NODE的非VMA区域文件缓存，并且文件缓存所在NODE不是当前CPU所在NODE或者距离不满足要求，主动迁移进程到文件缓存所在的NODE上，可以达到性能优化的效果。
附图说明
[0017]为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面
旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
[0018]图1示出了相关技术中NUMA架构的结构示意图；
[0019]图2示出了根据本专利技术一个实施例的计算设备200的示意图；
[0020]图3示出了根据本专利技术一个实施例的访问非VMA区域文件缓存的进程调度方法300的流程图；
[0021]图4示出了根据本专利技术一个实施例的根据每个读写进程访问的文件缓存信息确定迁移目标CPU的流程图；
[0022]图5示出了根据本专利技术另一个实施例的根据每个读写进程访问的文件缓存信息确定迁移目标CPU本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种访问非VMA区域文件缓存的进程调度方法，包括步骤：在多核系统全部节点的CPU之中，对所述CPU上每个读写进程访问的非VMA区域的文件缓存信息进行统计；当有读写进程连续访问同一个节点对应的非VMA区域的次数超过迁移阈值时，至少基于所述节点的CPU负载大小确定迁移目标CPU；以及将所述读写进程迁移至所述迁移目标CPU。2.如权利要求1所述的调度方法，其中，所述对所述CPU上每个读写进程访问的非VMA区域的文件缓存信息进行统计的步骤包括：针对每个读写进程，根据所述文件缓存的存储节点信息，判断所述读写进程当前访问的文件缓存与上一次访问的文件缓存是否存储在同一个节点对应的非VMA区域，根据判断结果统计所述读写进程连续访问同一个节点对应的非VMA区域的次数。3.如权利要求1所述的调度方法，其中，所述对所述CPU上每个读写进程访问的非VMA区域的文件缓存信息进行统计的步骤包括：针对每个读写进程，根据所述文件缓存的存储节点信息，对所述CPU所在节点与所述读写进程当前访问的文件缓存对应的节点之间的距离与距离阈值进行比较；当所述距离大于所述距离阈值时，判断所述读写进程当前访问的文件缓存与上一次访问的文件缓存是否存储在同一个节点对应的非VMA区域，根据判断结果统计所述读写进程连续访问同一个节点对应的非VMA区域的次数；当所述距离小于或者等于所述距离阈值时，继续当前访问，待当前访问结束，重新统计所述读写进程访问的非VMA区域的文件缓存信息。4.如权利要求2或3所述的调度方法，其中，统计所述读写进程连续访问同一个节点对应的非VMA区域的次数的步骤包括：如果所述读写进程当前访问的文件缓存与上一次访问的文件缓存存储在同一个节点对应的非VMA区域，统计计数加1；如果所述读写进程当前访问的文件缓存与上一次访问的文件缓存不存储在同一个节点对应的非VMA区域，统计计数清零。5.如权利要求1所述的调度方法，其中，所述至少基于所述节点的CPU负载大小确定迁移目标CPU的步骤包...

【专利技术属性】
技术研发人员：胡翔，周鹏，叶中玉，陈毅翀，
申请(专利权)人：西安统信软件技术有限公司，
类型：发明
国别省市：