业务处理方法及装置制造方法及图纸

技术编号:17363508 阅读:27 留言:0更新日期:2018-02-28 13:27
本发明专利技术提供一种业务处理方法,其包括:在实际插槽集群中设置至少两个虚拟插槽集群,其中虚拟插槽集群包括实际插槽集群中的至少一个节点下的至少一个插槽;接收业务逻辑任务,并根据业务逻辑任务的数据量,确定执行业务逻辑任务的虚拟插槽集群;使用虚拟插槽集群执行业务逻辑任务。本发明专利技术还提供一种业务处理装置,本发明专利技术的业务处理方法及业务处理装置根据业务逻辑任务的数据量,确定执行业务逻辑任务的虚拟插槽集群,并可对虚拟插槽集群的插槽进行扩充处理;因此提升了业务处理装置的插槽集群的扩展能力,满足了不同优先级别的流数据业务的计算要求,且可实现不同用户的流数据业务隔离。

Business processing methods and devices

The invention provides a business processing method, which comprises: setting at least two virtual slot clusters in the actual slot in the cluster, the cluster virtual slot comprises at least one slot at least one node in the cluster under the actual slot; receiving the business logic and business logic tasks according to task data, determine the virtual slot cluster service logic execution task; virtual slot cluster service logic execution task. The invention also provides a service processing device, the invention of the service processing method and service processing device according to the business logic task data, determine the virtual slot cluster service logic execution tasks, and the virtual slot cluster expansion slot processing; therefore enhance the capacity expansion slot cluster service processing device. To meet the requirements of business data flow calculation of different priority level, and can realize data stream service isolation of different users.

【技术实现步骤摘要】
业务处理方法及装置
本专利技术涉及互联网领域,特别是涉及一种业务处理方法及装置。
技术介绍
ApacheStorm是一种分布式实时计算系统,其可用于任何编程语言,该计算系统简化了流数据业务的可靠处理,可实现实时对流数据业务进行批量处理。由于流数据业务具有不同的优先级别,分布式实时计算系统一般通过设定相互隔离的插槽集群来处理不同优先级别的流数据业务,以保证这些插槽集群上的流数据业务的隔离状态。但是现有的分布式实时计算系统的插槽集群的扩展能力较差,无法根据流数据业务的需求资源设定插槽集群中的插槽数量。每个插槽集群的调度策略单一,不能满足不同优先级别的流数据业务的计算要求。同时如不同的用户使用同一插槽集群中的插槽资源,无法实现不同用户的流数据业务的隔离。
技术实现思路
本专利技术实施例提供一种扩展能力较强,可满足不同优先级别的流数据业务的计算要求以及可实现不同用户的流数据业务隔离的业务处理方法及业务处理装置;以解决现有的业务处理方法及业务处理装置的插槽集群的扩展能力较差、无法满足不同优先级别的流数据业务的计算要求以及无法实现不同用户的流数据业务的隔离的技术问题。本专利技术实施例提供一种业务处理方法,其包括:在实际插槽集群中设置至少两个虚拟插槽集群,其中所述虚拟插槽集群包括实际插槽集群中的至少一个节点下的至少一个插槽;接收业务逻辑任务,并根据所述业务逻辑任务的数据量,确定执行所述业务逻辑任务的虚拟插槽集群;以及使用所述虚拟插槽集群执行所述业务逻辑任务。本专利技术实施例提供一种业务处理装置,其包括:虚拟插槽集群设置模块,用于在实际插槽集群中设置至少两个虚拟插槽集群,其中所述虚拟插槽集群包括实际插槽集群中的至少一个节点下的至少一个插槽;虚拟插槽集群确定模块,用于接收业务逻辑任务,并根据所述业务逻辑任务的数据量,确定执行所述业务逻辑任务的虚拟插槽集群;以及任务执行模块,用于使用所述虚拟插槽集群执行所述业务逻辑任务。相较于现有技术,本专利技术的业务处理方法及业务处理装置根据业务逻辑任务的数据量,确定执行业务逻辑任务的虚拟插槽集群,并可对虚拟插槽集群的插槽进行扩充处理;因此提升了业务处理装置的插槽集群的扩展能力,满足了不同优先级别的流数据业务的计算要求,且可实现不同用户的流数据业务隔离;解决了现有的业务处理方法及业务处理装置的插槽集群的扩展能力较差、无法满足不同优先级别的流数据业务的计算要求以及无法实现不同用户的流数据业务的隔离的技术问题。附图说明图1为本专利技术的业务处理方法的第一优选实施例的流程图;图2为本专利技术的业务处理方法的第二优选实施例的流程图;图3为本专利技术的业务处理方法的第二优选实施例的步骤203的流程图;图4为本专利技术的业务处理方法的第二优选实施例的步骤205的流程图;图5为本专利技术的业务处理方法的第二优选实施例中的插槽扩充处理的流程图;图6为本专利技术的业务处理装置的第一优选实施例的结构示意图;图7为本专利技术的业务处理装置的第二优选实施例的结构示意图;图8为本专利技术的业务处理装置的第二优选实施例的虚拟插槽集群确定模块的结构示意图;图9为本专利技术的业务处理装置的第二优选实施例的任务执行模块的结构示意图;图10为本专利技术的业务处理装置的第二优选实施例的任务执行模块的插槽扩充单元的结构示意图;图11为本专利技术的业务处理方法及业务处理装置的具体实施例的流程图;图12A至图12D为本专利技术的业务处理方法及业务处理装置的具体实施例的实施示意图;图13为本专利技术的业务处理装置所在的电子设备的工作环境结构示意图。具体实施方式请参照图式,其中相同的组件符号代表相同的组件,本专利技术的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本专利技术具体实施例,其不应被视为限制本专利技术未在此详述的其它具体实施例。在以下的说明中,本专利技术的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明,除非另有述明。因此,其将可了解到这些步骤及操作,其中有数次提到为由计算机执行,包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处,其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置,其具有由该数据格式所定义的特定特性。但是,本专利技术原理以上述文字来说明,其并不代表为一种限制,本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。本专利技术的业务处理方法及业务处理装置可设置在具有分布式实时计算系统的服务器计算机中,本专利技术的服务器计算机设定多个虚拟插槽集群,并可根据业务逻辑任务的数据量,确定执行业务逻辑任务的虚拟插槽集群;此外还可根据业务逻辑任务的数据量,对虚拟插槽集群的插槽进行扩充处理。因此提升了服务器计算机中的分布式实时计算系统的扩展能力,满足了不同优先级别的流数据业务的计算要求,且可实现不同用户的流数据业务隔离。请参照图1,图1为本专利技术的业务处理方法的第一优选实施例的流程图。本优选实施例的业务处理方法可使用上述的服务器计算机进行实施,本优选实施例的业务处理方法可包括:步骤S101,在实际插槽集群中设置至少两个虚拟插槽集群,其中虚拟插槽集群包括实际插槽集群中的至少一个节点下的至少一个插槽;步骤S102,接收业务逻辑任务,并根据业务逻辑任务的数据量,确定执行业务逻辑任务的虚拟插槽集群;步骤S103,使用虚拟插槽集群执行业务逻辑任务。下面详细说明本优选实施例的业务处理方法的各步骤的具体流程。在步骤S101中,业务处理装置在实际插槽集群中设置至少两个虚拟插槽集群,这里每个虚拟插槽集群包括实际插槽集群中的至少一个节点下的至少一个插槽。即本优选实施例中的业务处理方法中通过对每个节点下的插槽进行节点插槽定义,从而形成多个虚拟插槽集群。每个节点下的插槽同一时间只能属于某一虚拟插槽集群。同时由于虚拟插槽集群中的插槽可通过修改节点插槽定义进行即时修改,因此方便的对虚拟插槽集群中的插槽进行扩充或减少操作,提升了业务处理装置的插槽集群的扩展能力。随后转到步骤S102。在步骤S102中,业务处理装置接收用户发送的业务逻辑任务,该业务逻辑任务可为需要分布式实时计算系统进行处理的流数据任务。随后业务处理装置根据业务逻辑任务的数据量,确定执行业务逻辑任务的虚拟插槽集群。这里的虚拟插槽集群可包括对业务逻辑任务进行多节点平均分配处理的第一虚拟插槽集群以及对业务逻辑任务进行单节点分配处理的第二虚拟插槽集群。由于第一虚拟插槽集群需要对业务逻辑任务进行多节点平均分配处理,因此第一虚拟插槽集群在多个节点应具有较多的节点插槽;第二虚拟插槽集群对业务逻辑任务进行单节点分配处理,因此第二虚拟插槽集群只需要在少数节点上设置有节点插槽即可。如实际插槽集群中节点的插槽可优先设定为第一虚拟插槽集群,随后将剩下的节点插槽设置为一个或多个第二虚拟插槽集群。当业务逻辑任务的数据量较大时,业务处理装置需要将该业务逻辑任务优先部署到空闲插槽比例较大的虚拟插槽集群,以便对该业务逻辑任务进行平均资源分配;因此这里需要将数据量较大的业务逻辑任务部署至第一虚拟插槽集群,以提高该业务逻辑任务的处理效率。当业务逻辑任务的数据量较小时,业务处理装置应将该业务逻辑任务部署到剩余资源较少的节点上,从而在保本文档来自技高网...
业务处理方法及装置

【技术保护点】
一种业务处理方法,其特征在于,包括:在实际插槽集群中设置至少两个虚拟插槽集群,其中所述虚拟插槽集群包括实际插槽集群中的至少一个节点下的至少一个插槽;接收业务逻辑任务,并根据所述业务逻辑任务的数据量,确定执行所述业务逻辑任务的虚拟插槽集群;以及使用所述虚拟插槽集群执行所述业务逻辑任务。

【技术特征摘要】
1.一种业务处理方法,其特征在于,包括:在实际插槽集群中设置至少两个虚拟插槽集群,其中所述虚拟插槽集群包括实际插槽集群中的至少一个节点下的至少一个插槽;接收业务逻辑任务,并根据所述业务逻辑任务的数据量,确定执行所述业务逻辑任务的虚拟插槽集群;以及使用所述虚拟插槽集群执行所述业务逻辑任务。2.根据权利要求1所述的业务处理方法,其特征在于,所述虚拟插槽集群包括对所述业务逻辑任务进行多节点平均分配处理的第一虚拟插槽集群以及对所述业务逻辑任务进行单节点分配处理的第二虚拟插槽集群;所述根据所述业务逻辑任务的数据量,确定执行所述业务逻辑任务的虚拟插槽集群的步骤包括:判断所述业务逻辑任务的数据量是否大于等于设定值;如所述业务逻辑任务的数据量大于等于设定值,则将所述业务逻辑任务分配至所述第一虚拟插槽集群进行执行;如所述业务逻辑任务的数据量小于设定值,则将所述业务逻辑任务分配至所述第二虚拟插槽集群进行执行。3.根据权利要求1所述的业务处理方法,其特征在于,所述使用确定的所述虚拟插槽集群执行所述业务逻辑任务的步骤包括:根据所述业务逻辑任务的数据量,判断对应的虚拟插槽集群的插槽缺口的数量是否大于零;如所述虚拟插槽集群的插槽缺口的数量大于零,则对所述虚拟插槽集群的插槽进行扩充处理;以及如所述虚拟插槽集群的插槽缺口的数量等于零,使用所述虚拟插槽集群执行所述业务逻辑任务。4.根据权利要求3所述的业务处理方法,其特征在于,所述对所述虚拟插槽集群的插槽进行扩充处理的步骤包括:将其他虚拟插槽集群的空闲插槽设置到进行扩充处理的所述虚拟插槽集群中。5.根据权利要求4所述的业务处理方法,其特征在于,所述对所述虚拟插槽集群的插槽进行扩充处理的步骤还包括:获取优先级低于所述业务逻辑任务的其他虚拟插槽集群的当前业务逻辑任务;判断所述当前业务逻辑任务使用插槽和空闲插槽的数量之和是否大于等于所述插槽缺口的数量;如所述当前业务逻辑任务的使用插槽和空闲插槽的数量之和小于所述插槽缺口的数量;则将所述业务逻辑任务设置到等待队列中;如所述当前业务逻辑任务的使用插槽和空闲插槽的数量之和大于等于所述插槽缺口的数量;则对所述当前业务逻辑任务按优先级依次进行插槽资源释放,以使得空闲插槽的数量大于等于所述插槽缺口的数量;以及将其他虚拟插槽集群的空闲插槽设置到进行扩充处理的虚拟插槽集群中。6.根据权利要求1所述的业务处理方法,其特征在于,所述业务处理方法包括:按所述虚拟插槽集群中的插槽数量,对所述虚拟插槽集群进行硬件资源分配。7.根据权利要求1所述的业务处理方法,其特征在于,所述业务处理方法包括:设定所述虚拟插槽集群的用户参数;所述接收业务逻辑任务,并根据所述业务逻辑任务的数据量,确定执行所述业务逻辑任务的虚拟插槽集群的步骤具体为:接收业务逻辑任务,并根据所述业务逻辑任务的数据量以及用户参数,确定执行所述业务逻辑任务的虚拟插槽集群。8.一种业务处理装置,其特征在于,包括:虚拟插槽集群设置模块,用于在实际插槽集群中设置至...

【专利技术属性】
技术研发人员:古乐乐
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1