一种大数据实时处理方法及处理系统技术方案

本申请揭示了一种大数据实时处理方法以及处理系统，该实时处理方法包括如下步骤：接收实时数据；按照数据接收速度和接收总量创建N个主控节点；将数据分布到N个主控节点中；获取集群服务器的实时处理能力数据；根据集群服务器的处理能力选择N个工作节点；N个主控节点将数据发送到N个工作节点。本申请提出的大数据处理方法及其装置，可以依据数据采集速度为之提供与之匹配的数据处理速度，节约网络资源，同时缩短响应时间，为用户提供实时的数据服务。

【技术实现步骤摘要】
一种大数据实时处理方法及处理系统
本申请属于计算机
，具体而言，涉及一种大数据实时处理方法及其处理系统。
技术介绍
随着网络的迅速普及，对于数据的需求日益增多，例如在ICU重症监护室，从监护设备网关源源不断采集到病人生命体征数据、从检验工作站产生检验结果数据，这些实时数据需要迅速、准确的处理。现有的大数据处理方法局限于网络传输的能力，而使用单线程、单服务器的处理方式，从而使得数据运行周期长，降低客户体验，即使使用多处理器，也由于处理器之间协调问题，而使得处理器集群不能发挥其最大的工作能力。
技术实现思路
有鉴于此，本申请提出一种大数据实时处理方法及其系统，致力于解决现有技术中对于大数据处理能力不足、实时性不强的技术问题。为解决上述技术问题，本申请采用如下技术方案：本申请保护一种大数据实时处理方法，包括如下步骤：接收实时数据；按照数据接收速度和接收总量创建N个主控节点；将数据分布到N个主控节点中；获取集群服务器的实时处理能力数据；根据集群服务器的处理能力选择N个工作节点；N个主控节点将数据发送到N个工作节点。其中按照数据接收速度和接收总量创建N个主控节点包括如下子步骤：计算数据接收速度；按照预定时间间隔计算接收总量；评估主控节点的最小以及最大处理能力；选择最优的主控节点个数N；创建N个主控节点。其中将数据分布到N个主控节点中包括：将数据分为N份；为每份数据配置标签；将标签存储到数据分布列表中；将每份数据分配到相应的主控节点中，主控节点对其进行处理。其中获取集群服务器的实时处理能力数据包括根据集群服务器中空闲服务器的CPU处理能力以及存储器的存储容量，判断集群的实时处理能力。其中根据集群服务器的处理能力选择N个工作节点包括，对集群服务器中的每个服务器的处理能力进行排序，选择前N个作为工作节点。本申请还保护一种任务控制器，包括如下部件：接收器，用于接收实时数据；处理器，用于按照数据接收速度和接收总量创建N个主控节点；将数据分布到N个主控节点中；获取集群服务器的实时处理能力数据；根据集群服务器的处理能力选择N个工作节点；N个主控节点将数据发送到N个工作节点。其中处理器包括创建模块，用于按照数据接收速度和接收总量创建N个主控节点，创建模块包括如下子模块：速度计算单元，计算数据接收速度；接收总量计算单元，按照预定时间间隔计算接收总量；处理能力计算模块，评估主控节点的最小以及最大处理能力；选择单元，选择最优的主控节点个数N以及主控节点的处理能力；创建单元，创建N个主控节点。其中处理器包括分布模块，用于将数据分布到N个主控节点中，分布模块包括如下子部件：分割单元，将数据分为N份；标签单元，为每份数据配置标签；列表单元，将标签存储到数据分布列表中；分配单元，将每份数据分配到相应的主控节点中，主控节点对其进行处理。其中获取集群服务器的实时处理能力数据包括根据集群中空闲服务器的CPU处理能力以及存储器的存储容量，判断集群的实时处理能力。本申请还请求保护一种大数据处理系统，包括：多个客户端，用于采集实时数据；如上所述的任务控制器；集群服务器，用于处理任务控制器下发的任务数据。本申请的有益效果在于：本申请提出的大数据处理方法及其装置，可以依据数据采集速度为之提供与之匹配的数据处理速度，节约网络资源，同时缩短响应时间，为用户提供实时的数据服务。附图说明图1为本申请大数据实时处理系统的组成示意图；图2为本申请大数据实时处理方法的流程图；图3为本申请创建N个主控节点的工作流程图；图4为本申请任务控制器的结构图；图5为本申请任务控制器中处理器的结构图；图6为本申请创建模块的结构图；图7为本申请分布模块的结构图。具体实施方式本申请的大数据实时处理方法和处理系统，对实时采集的数据的传输速度和采集量进行评估，从而动态生成主控节点，并根据所连接的集群服务器的处理能力的评估创建与动态生成的主控节点相匹配的工作节点，从而通过对大数据的速度和集群服务器工作能力的综合评估，在考虑了网络情况、处理能力、数据采集能力的基础上，为用户提供性能优化的大数据实时处理方法和处理系统。其中，该系统的结构图如图1所示，包括多个客户端，客户端1到客户端N，任务控制器101，集群服务器102，其中集群服务器102中包括M个服务器，其中本领域技术人员可以理解，N、M只是概数，表示多个。其中客户端负责采集实时数据，以ICU重症监护病房为例，数据的产生源头主要有床旁监护设备和院内临床数据存储。只要是可以采集数据的设备都可作为客户端，本系统中的N个客户端连接到系统中，负责提供实时数据；任务控制器根据客户端传送数据的速度和数据总量动态创建主控节点，并根据集群服务器的实时处理能力选择相适应的工作节点，以处理主控节点发送的数据。通过该大数据处理系统实现了对大数据实时、准确、快速的处理。其中该系统的工作流程图如图2所示，该大数据处理方法包括如下步骤：S201、接收实时数据；任务控制器101接收多个客户端发送的实时任务数据，例如病人的各种医疗数据，包括生命体征、检验化验指标、治疗过程中的监测数据等，这些数据具有实时性、紧急性、数量大的特点，故称为大数据。客户端将采集的数据进行整理，以有线的或无线的方式发送到任务控制器101。S202、按照数据接收速度和接收总量创建N个主控节点。任务控制器101接收到任务数据之后，执行如图3所示的如下子步骤：S301、计算数据接收速度；可使用网速、下载速度等公知手段测量数据接收速度。S302、按照预定时间间隔计算接收总量；预先设定或每次由用户指定预定时间间隔，根据下载速度以及时间间隔，计算接收的数据总量。S303、评估主控节点的最小以及最大处理能力；根据存储器的容量和读写速度以及任务控制器101的处理能力，计算主控节点的最小以及最大处理能力，进一步地，可根据任务控制器分配给主控节点的线程数以及存储器容量评估主控节点的最小以及最大处理能力。S304、选择最优的主控节点个数N以及主控节点的处理能力。根据数据的接收速度、接收总量以及主控节点的最大和最小处理能力，选择主控节点个数N以及主控节点的处理能力，保证既能完成数据的处理，又不浪费任务控制器的线程数。其中主控节点的处理能力可根据任务控制器101分配给其的线程数以及存储器容量衡量。S305、创建N个主控节点。任务控制器101按照主控节点的个数N以及主控节点的处理能力创建N个主控节点，在每个主控节点上运行一个被称为Nimbus的后台程序。S203、将数据分布到N个主控节点中；将获得的数据分布到N个主控节点中，在分布时，考虑到数据所包含内容的连续性以及返回给客户端的响应速度，将来自于一个客户端的数据尽可能的分给一个主控节点。包括如下子步骤：S2031、将数据分为N份；任务控制器101将接收的数据分为N份，在分割数据时，将来自一个客户端的数据尽量分到一份中。S2032、为每份数据配置标签；可以按照顺序为每份数据分配标签，也可按照其他规律为每份数据配置标签，其中每份数据的标签在全网是唯一的。S2033、将标签存储到数据分布列表中；将标签保存到数据分布列表中，后续的发送、应答都需要使用到该标签。S2034、将每份数据分配到相应的主控节点中，主控节点对其进行处理；任务控制器101将每份数据分配到主控节点，其本文档来自技高网...

【技术保护点】
一种大数据实时处理方法，包括如下步骤：接收实时数据；按照数据接收速度和接收总量创建N个主控节点；将数据分布到N个主控节点中；获取集群服务器的实时处理能力数据；根据集群服务器的处理能力选择N个工作节点；N个主控节点将数据发送到N个工作节点。

【技术特征摘要】
1.一种大数据实时处理方法，包括如下步骤：接收实时数据；按照数据接收速度和接收总量创建N个主控节点；将数据分布到N个主控节点中；获取集群服务器的实时处理能力数据；根据集群服务器的处理能力选择N个工作节点；N个主控节点将数据发送到N个工作节点。2.如权利要求1所述的处理方法，其中按照数据接收速度和接收总量创建N个主控节点包括如下子步骤：计算数据接收速度；按照预定时间间隔计算接收总量；评估主控节点的最小以及最大处理能力；选择最优的主控节点个数N；创建N个主控节点。3.如权利要求1所述的处理方法，其中将数据分布到N个主控节点中包括：将数据分为N份；为每份数据配置标签；将标签存储到数据分布列表中；将每份数据分配到相应的主控节点中，主控节点对其进行处理。4.如权利要求1所述的处理方法，其中获取集群服务器的实时处理能力数据包括根据集群服务器中空闲服务器的CPU处理能力以及存储器的存储容量，判断集群的实时处理能力。5.如权利要求1所述的处理方法，其中根据集群服务器的处理能力选择N个工作节点包括，对集群服务器中的每个服务器的处理能力进行排序，选择前N个作为工作节点。6.一种任务控制器，包括如下部件：接收器，用于接收实时数据；处理器，用于按照数据接收速度和接收总量创建N个主控...

【专利技术属性】
技术研发人员：付永全，杨兴礼，胡芳俣，许文科，梁梁，雷新刚，
申请(专利权)人：荣科科技股份有限公司，
类型：发明
国别省市：辽宁,21