分布式内存文件系统的实时动态管理方法及系统技术方案

本发明专利技术提供了一种应用在计算机集群上分布式内存文件系统的实时动态管理方法及系统，用于对计算机集群上分布式内存文件系统的内存使用量动态调整，包括以下步骤，实时收集计算机集群上每个计算节点在控制时间点的内存使用量；根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。本发明专利技术采用动态控制的系统和方法能优化计算机集群的内存的使用，从而提高计算机集群上数据密集型和计算密集型计算的效率。

Real time dynamic management method and system for distributed memory file system

The present invention provides a system for real-time and dynamic management method of distributed application on a computer cluster memory file system, used for computer cluster on distributed memory file system memory usage of dynamic adjustment, which comprises the following steps of calculation, real-time collection computer cluster node usage in the control point in time according to the calculation of the next memory; a control point for each node of the memory file system used by the memory of the collected amount of memory used to predict; judge usage by the predictions of the memory, judgment after sends out the control command, control of distributed memory file system recovery and distribution of instructions issued. The invention adopts dynamic control system and method can optimize the computer cluster memory, thereby improving the efficiency of data intensive cluster of computers and computing intensive computing.

【技术实现步骤摘要】
分布式内存文件系统的实时动态管理方法及系统
本专利技术涉及分布式内存管理和分布式文件系统
，特别涉及一种分布式内存文件系统的实时动态管理方法及系统。
技术介绍
数据密集形计算正越来越成为计算机集群的重要任务。为加速数据密集形计算，现有的大数据分析系统，比如ApacheSpark或者ApacheFlink，在计算机集群上进行数据密集型计算的时候，有很大一部分内存被用来存储数据，剩下的内存资源将用于其他计算工作。这样，内存存储就会和计算任务竞争内存空间。现有的分布式内存文件系统都是静态配置的。当部署分布式内存文件系统时，计算机集群中每一个计算节点上的分布式内存文件系统的空间就固定了，这就导致了有的时候系统内存不足而有的时候系统内存剩余。分布式内存文件系统静态配置方法存在的弊端：如果静态分配方案给内存文件系统过多的内存资源，将使得计算密集型计算的无法得到执行所需内存；如果静态分配方案给内存文件系统过少的内存资源，则无法让数据密集型计算高效率执行。因此静态分配方案不能使数据密集型和计算密集型计算同时高效地运行在计算机集群上。
技术实现思路
为解决静态配置方案不能使分布式数据密集型和计算密集本文档来自技高网...

【技术保护点】
一种分布式内存文件系统的实时动态管理方法，用于对分布式内存文件系统的内存使用量动态调整，其特征在于包括以下步骤：实时收集计算机集群上每个计算节点在控制时间点的内存使用量；根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。

【技术特征摘要】
1.一种分布式内存文件系统的实时动态管理方法，用于对分布式内存文件系统的内存使用量动态调整，其特征在于包括以下步骤：实时收集计算机集群上每个计算节点在控制时间点的内存使用量；根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令。2.根据权利要求1所述的分布式内存文件系统的实时动态管理方法，其特征在于，所述根据收集到的所述内存使用量对计算节点的下一个控制时间点内存文件系统的内存使用量进行预测的具体操作为：每个计算节点上在i个控制时间点的内存使用比例公式为：ri表示计算节点在i个控制时间点的内存使用比例，vi表示计算节点上在i个控制时间点的内存使用容量，M表示内存总容量；因此，在第i+1个控制时间点，计算节点上内存文件系统所能占用的内存使用量的计算公式：Ui+1表示计算节点上内存文件系统在第i+1个控制时间点所能占用的内存使用量，Ui表示计算节点上内存文件系统在第i个控制时间点占用的内存使用量，r0表示计算节点内存利用率的阈值，vi表示计算节点在i个控制时间点的内存使用容量，ri表示计算节点在第i个控制时间点的内存利用率；λ为控制参数。3.根据权利要求2所述的分布式内存文件系统的实时动态管理方法，其特征在于，所述通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指令的具体操作为：当内存利用率低于阈值时，则控制分布式内存文件系统发出分配指令，给第i+1个控制时间点分布式内存文件系统，给它增加分配相应的内存使用空间；当内存利用率大于阈值时，则控制分布式内存文件系统发出收回指令，给第i+1个控制时间点分布式内存文件系统，收回分布式内存文件系统的部分内存使用量。4.一种分布式内存文件系统动态实时管理系统，用于对分布式内存文件系统的内存使用量动态实时调整，其特征在于包括：收集计算模块，用于实时收集计算机集群上每个计算节点在控制时间点的内存使用量；预测模块，用于根据收集到的所述内存使用量对每个计算节点的下一个控制时间点内存文件系统的内存使用量进行预测；控制模块，用于通过预测出来的内存使用量做出判断，判断之后发出控制指令，控制分布式内存文件系统发出收回和分配指...

【专利技术属性】
技术研发人员：罗峰，宣鹏飞，陈虎，
申请(专利权)人：杭州知物数据科技有限公司，
类型：发明
国别省市：浙江,33