一种根据运行负载选择计算节点的方法技术

本发明专利技术涉及一种根据运行负载选择计算节点的方法，根据各个计算节点的运行负载选择其一充当数据服务节点，将数据服务准备工作从控制节点中分离出来，减轻控制节点的运行负载，加快系统处理速度。

【技术实现步骤摘要】
一种根据运行负载选择计算节点的方法
本专利技术属于数据处理领域，尤其涉及根据运行负载选择计算节点方法。
技术介绍
近年来随着网络技术的发展，计算系统通常可以提供多种外部服务，现有技术中对于多节点系统而言，数据服务通常是由控制节点提供，由于数据服务要耗费比较多的时间，控制节点进行数据服务工作必然会占用其相当的计算资源，由于控制节点还要进行任务的调度、分配和资源控制等，因此加重了控制节点的处理负载，对控制节点的硬件配置要求很高，如果控制节点配置达不到运行负载要求，则容易导致控制节点死机、系统瘫痪。基于上述问题，现在亟需一种新的数据服务提供方法，减轻控制节点的运行负载，加快系统处理速度。
技术实现思路
为了解决现有技术中的上述问题，本专利技术提出了一种多节点系统中数据服务方法。本专利技术采用的技术方案如下：一种根据运行负载选择计算节点的方法，其特征在于，该方法包括如下步骤：(1)控制节点中的负载监控线程对各个计算节点的运行负载进行实时监控；(2)当控制节点接收到数据服务请求时，上述负载监控线程对各个计算节点当前负载运行状态的实时监测数据进行分析和比较，选择其中最低运行负载的计算节点作为数据服务节点；(3)所述数据服务节点运行服务线程实现服务的提供。本专利技术的有益效果包括：根据各个计算节点的运行负载选择其一充当数据服务节点，将数据服务工作从控制节点中分离出来，减轻控制节点的运行负载，加快系统处理速度。【附图说明】此处所说明的附图是用来提供对本专利技术的进一步理解，构成本申请的一部分，但并不构成对本专利技术的不当限定，在附图中：图1是本专利技术系统的结构图。图2是本专利技术根据运行负载选择计算节点的方法的流程图。【具体实施方式】下面将结合附图以及具体实施例来详细说明本专利技术，其中的示意性实施例以及说明仅用来解释本专利技术，但并不作为对本专利技术的限定。参见附图1，是本专利技术所应用的多节点系统，该系统包括一个控制节点和多个计算节点。参见附图2，一种根据运行负载选择计算节点的方法，该方法包括如下步骤：(1)控制节点中的负载监控线程对各个计算节点的运行负载进行实时监控；在一个实施方式中，在步骤(1)之前还可以包含下述步骤：将系统中的节点按照性能划分为多个计算节点和一个控制节点，所述分布式系统中作为计算机资源的计算节点组成机群、提供计算机资源给控制节点，控制节点中存储有调度线程、负载监控线程、数据清洗线程，还可以存储数据挖掘线程，其中控制节点负责系统中的任务调度、各个计算节点的负载监控以及对外提供服务，在一个实施方式中，所述服务包括数据挖掘服务，在其他实施方式中，还可以包括其他对外服务；(2)当控制节点接收到数据服务请求时，在本专利技术实施例中，所述服务为数据清洗服务，在其他实施方式中，也可以是数据挖掘，数据查询等服务，上述负载监控线程对各个计算节点当前负载运行状态的实时监测数据进行分析和比较，选择其中最低运行负载的计算节点作为数据清洗节点，在一个实施方式中，假如有1个控制节点和5个计算节点，各个计算节点当前运行任务所分别占用的系统资源是60％，65％，70％，75％，80％，则选择最低运行负载60％的计算节点作为数据清洗节点；控制节点将其存储的数据清洗线程传送给上述数据清洗节点，在本专利技术实施例中是数据清洗节点，在其他实施方式中，也可以为其他数据服务节点；(3)所述数据清洗节点接收上述数据清洗线程保存在本地并运行，实现数据清洗任务，在一个实施方式中本申请的数据清洗线程由数据清洗抽象组件来实现，在一个实施方式中，清洗服务组件包括数据标准化模块、错误数据查找模块、重复数据删除模块、数据关联、数据合并、数据分析、数据增强模块，在其他实施方式中，还可以增加和设置其他的清洗服务组件。在一个实施方式中，所述数据标准化模块用于解决多来源数据标准不统一的问题，按照预先制定的数据仓库规范统一描述方式，实现全仓储数据格式标准化；所述错误数据查找模块用于查找和删除不合理数据、不合逻辑数据和矛盾数据；所述重复数据删除模块用于识别和删除相似重复数据。在一个实施方式中，所述数据分析模块用于根据用户定义的模式对原始数据进行相关分析，根据用户定义的个性化分析需求进行有针对性的分析；所述数据增强模块用于利用外部字典和规则，补充原始数据中不完整的数据、遗漏的字段或者以增加字段的方式添加额外的信息。在一个实施方式中，所述数据关联模块用于发现和识别相关数据并进行关联，比如相关于同一姓名字段的年龄、职业字段进行关联，建立关联关系；所述数据合并模块用于发现和识别同类数据并进行合并，比如同一日期下的多个购买记录进行合并，进行购买数量进行合并相加，或者一个月中同一物品的购买数量进行合并相加。通过上述方法，本专利技术根据各个计算节点的运行负载选择其一充当数据服务节点，将数据服务从控制节点中分离出来，减轻控制节点的运行负载，加快系统处理速度。以上所述仅是本专利技术的较佳实施方式，故凡依本专利技术专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本专利技术专利申请范围内。本文档来自技高网...

【技术保护点】
一种根据运行负载选择计算节点的方法，其特征在于，该方法包括如下步骤：(1)控制节点中的负载监控线程对各个计算节点的运行负载进行实时监控；(2)当控制节点接收到数据服务请求时，上述负载监控线程对各个计算节点当前负载运行状态的实时监测数据进行分析和比较，选择其中最低运行负载的计算节点作为数据服务节点；(3)所述数据服务节点运行服务线程实现服务的提供。

【技术特征摘要】
1.一种根据运行负载选择计算节点的方法，其特征在于，该方法包括如下步骤：(1)控制节点中的负载监控线程对各个计算节点的运行负载进行实时监控；(2)当控制节点接收到数据服务请求时，上述负载监控线程对各个计算节点当前负载运行状态的实时监测数据进行分析和比较，选择其中最低运行负载的计算节点作为数据服务节点；(3)...

【专利技术属性】
技术研发人员：安西民，林殷，朱巧霞，
申请(专利权)人：航天星图科技北京有限公司，
类型：发明
国别省市：北京,11