【技术实现步骤摘要】
201610189095
【技术保护点】
一种解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，包括内存信息反馈模块、信息采样与分析模块、决策与任务分发模块，其中：内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测，并将收集的内存信息转化后反馈给信息采样与分析模块；信息采样与分析模块用于动态调控各个工作节点信息的采样次数，并且达到指定的采样次数后对数据进行分析，计算出当前工作节点的最佳CPU与内存比例，并将结果数据提交给决策与任务分发模块；决策与任务分发模块根据分析得到的信息和当前工作节点的任务运行信息，决策控制是否分发新的任务到工作节点进行计算操作，实现对CPU与内存使用关系的有效限制。
【技术特征摘要】
1.一种解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，包括内存信息反馈模块、信息采样与分析模块、决策与任务分发模块，其中：内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测，并将收集的内存信息转化后反馈给信息采样与分析模块；信息采样与分析模块用于动态调控各个工作节点信息的采样次数，并且达到指定的采样次数后对数据进行分析，计算出当前工作节点的最佳CPU与内存比例，并将结果数据提交给决策与任务分发模块；决策与任务分发模块根据分析得到的信息和当前工作节点的任务运行信息，决策控制是否分发新的任务到工作节点进行计算操作，实现对CPU与内存使用关系的有效限制。2.根据权利要求1所述的解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，内存信息反馈模块用于对运行中的线程任务进行内存使用情况的监测，统计线程任务执行过程中消耗的内存量，同时也统计当内存不足时，从内存中溢出到磁盘的数据量，根据内存实际消耗的总量和当前的工作节点所分配的最大CPU核数，计算最佳并发度信息反馈给信息采样与分析模块。3.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，内存信息反馈模块收集的内存信息包括线程任务所使用的容器占用的内存大小，工作节点用于计算的最大内存值，内存空间不足时数据溢出到磁盘的大小，工作节点所拥有的CPU资源数。4.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，内存信息反馈模块的监测功能的实现是通过在工作节点调用大数据处理系统中与内存相关的关键函数，关键函数包括有内
\t存分配函数、内存释放函数、获取内存配置信息与CPU核数函数、获取任务运行信息函数。5.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，信息采样与分析模块通过在主节点动态调控各个工作节点信息的采样次数，在收集信息的过程中选择性地调整工作节点CPU与内存资源比例，并且在达到指定的采样次数后对收集到的数据进行处理分析，来判断工作节点整体的内存资源竞争激烈情况，并确定工作节点当前最佳的CPU与内存资源比例。6.根据权利要求1或2所述的解决大数据处理系统中内存资源激烈竞争的系统，其特征在于，决策与任务分发模块通过在主节点对原有的任务调度机制进行扩展，加入对内存资源和CPU资源的综...
【专利技术属性】
技术研发人员：石宣化，金海，裴成，张雄，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。