电商海量订单的实时流控与处理能力调整系统及方法技术方案

本发明专利技术涉及一种电商行业大促海量订单的实时流控与处理能力调整系统及方法，所述的系统包括服务治理管理平台和业务系统，所述的服务治理管理平台主要用于维护各个业务系统的基本信息以及Zookeeper参数变更，所述的业务系统是海量订单数据的处理中心，所有的订单数据都有所属的消息类型，各自的业务系统处理特定的消息类型。所述的方法是基于以上电商行业大促海量订单的实时流控与处理能力调整系统来实现的。本发明专利技术可实现对海量订单数据的实时流控调整与处理能力调整，能有效的避免在大量数据消息堆积的情况下业务系统处理无法针对数据的优先级做调整的情况。

Real time flow control and processing capability adjustment system and method for large quantity orders of electric power suppliers

The present invention relates to a real-time flow control and processing capability adjustment system and method for large order mass orders in the e-commerce industry. The system includes a service management platform and a business system. The service governance platform is mainly used to maintain basic information of various business systems and change the Zookeeper parameters, and the services described. The system is the processing center of massive order data. All order data have their own message types, and their respective business systems deal with specific message types. The method is based on the real-time flow control and processing capability adjustment system of the above electricity suppliers. This invention can adjust and adjust the real-time flow control and processing capability of mass order data, and can effectively avoid the situation that the business system processing can not adjust to the priority of the data in the case of the accumulation of a large number of data messages.

【技术实现步骤摘要】
电商海量订单的实时流控与处理能力调整系统及方法
本专利技术涉及电商行业海量订单的实时流控与业务系统能力提升处理领域，具体地说，涉及一种电商行业大促海量订单的实时流控与处理能力调整的系统及方法。
技术介绍
对于电商行业来说，双十一这类促销当天订单量是海量的，对于业务系统的处理能力要求也是极高。但即使业务系统硬件配置非常优秀，也难免抵抗不住这庞大的数据量，无法实时消费订单数据。业界通常的方式是采用消息队列进行异步化处理，能确保业务系统稳定，均衡的处理业务。但这种方法也有弊端：队列是先进先出的，无法针对堆积在消息队列中的大量数据进行优先级控制。对于SAAS平台，可能是多个租户的消息在同一个队列中，堆积的消息过多时，想优先处理某一个租户的消息就无法完成。专利文献CN102904820A，公开日2013.01.30，公开了一种带流量控制的可扩展的数据交互方法和系统，包括证券交易所和市场参与者之间以数据库/dbf文件作为实时信息交互接口，市场参与者向数据库接口提交订单数据，交易所向数据库接口提交响应数据和执行报告数据，其特征在于报盘机自适应地控制单位时间内发往交易主机的请求数目，通过流量控制和防止数据洪峰冲击及接口数据库的数据库交互方法，避免短时间内给服务器带来巨大的数据压力，与现有技术相比，该专利技术实现了流量控制、防止数据洪峰及可扩展的数据库交互方法三者的统一，提高流速，防止数据洪峰冲垮程序，实时数据监测和检查，具有高性能、可扩展、低耦合等良好特性。专利文献CN105931004A，公开日2016.09.07，公开了一种基于网页的多终端仓储电商管理系统，包括相互通讯的云仓ERP系统和多终端电商管理平台；云仓ERP系统包括：仓库管理模块：用于出入库管理，采用电子表格的操作方式；库存查询模块：用于使业务人员通过网络查询库存情况；数据报表服务管理模块：用于根据历史的出入库记录，分析在库数据和库存流量情况，并为管理决策提供数据支持；权限管理模块：用于分配不同的系统权限，同时分离操作权限和审核权限；多终端电商管理平台包括相连接的多终端展示平台和商品展示模块。该专利技术具有以下有益效果：能解决传统单机系统库存信息更新不及时、管理混乱的情况，能进行有效权限控制、能进行大数据分析并为投资决策提供依据。目前还未见能用于电商行业存在海量订单时，对电商海量订单进行实时流控与处理能力调整的系统及方法。
技术实现思路
本专利技术是针对在当前消息队列中有海量数据堆积，业务系统消费能力弱的技术问题，提供一种对订单处理优先级，实时流控调整以提升业务系统处理能力的系统及方法。第一方面，本专利技术提供了一种电商行业大促海量订单的实时流控与处理能力调整系统，包括服务治理管理平台和业务系统；所述的服务治理管理平台主要用于维护各个业务系统的基本信息以及Zookeeper参数变更；所述的业务系统是海量订单数据的处理中心，所有的订单数据都有所属的消息类型，各自的业务系统处理特定的消息类型。优选地，所述的服务治理管理平台包括以下各模块：租户管理模块，用于维护线上所有的业务系统的基础信息；租户管理的群组信息注册至Zookeeper中心；租户下的相关参数生效通知；队列管理模块，用于管理维护队列的基本信息，以及消息队列所对应的业务处理方法；群组管理模块，用于管理维护消费者组监听消息队列；根据群组名称自动匹配需监控消息队列；节点管理模块，用于节点对应租户所在的服务器地址，节点基本信息维护；配置节点监控消费者组信息；动态设置节点下相关消费者组选项数据信息；队列拆分模块，用于将消息队列拆分成若干个子队列，将大消息拆分成若干个子消息。优选地，所述的服务治理管理平台针对某一个业务的不同租户优先级调整，还针对不同业务之间的优先级调整。优选地，所述的业务系统采用的是TOMCAT容器技术。优选地，所述的业务系统采用的是dubbo微服务框架技术和zookeeper注册中心和RocketMQ消息中间件。优选地，所述的电商行业大促海量订单的实时流控与处理能力调整系统其公共服务资源包括mongodb服务、负载均衡服务。第二方面，本专利技术提供了一种电商行业大促海量订单的实时流控与处理能力调整方法，所述的方法是基于以上任一所述的电商行业大促海量订单的实时流控与处理能力调整系统来实现的。优选地，所述的方法包括以下步骤：步骤1，服务治理管理平台将队列主题拆分成主题一、主题二若干个主题，步骤2，将主题队列对应的业务逻辑处理方法赋值给主题一、主题二若干个主题，步骤3，服务治理管理平台停掉业务系统一、业务系统二若干个业务系统对队列主题的消费，同时新增一个业务系统节点，使其消费队列主题；步骤4，新增的业务系统监听消费主题的数据，按照预定表达式将消息数据拆分到队列主题一、主题二若干个主题中；步骤5，服务治理管理平台配置部分业务系统消费队列主题一的数据；配置部分业务系统消费队列主题二的数据。优选地，所述的新增的业务系统不进行业务逻辑处理。本专利技术优点在于：1、应用本专利技术的系统和方法可实现对海量订单数据的实时流控调整与处理能力调整，能有效的避免在大量数据消息堆积的情况下业务系统处理无法针对数据的优先级做调整的情况，而且这个调整是实时动态的，可以将业务系统的各个环节保持在一个合理的处理范围之内，不会出现以往时，有些环节处理特别快，但因为下游环节处理的过慢，而缺少价值的现象；2、所述的服务治理管理平台对海量订单数据的实时流控调整不仅仅针对某一个业务的不同租户优先级调整，甚至还可以针对不同业务之间的优先级调整，如当前订单创建的速度，当处理过仓的程序速度无法接受，则可以增加处理过仓业务的能力，或者是将订单创建业务的资源调拨给过仓业务的处理程序，控制订单创建业务处理程序的控制速度。附图说明附图1是本专利技术的电商行业大促海量订单的实时流控与处理能力调整系统的实施架构图。附图2是本专利技术的电商行业大促海量订单的实时流控与处理能力调整方法的海量数据实时流控示意图。附图3是本专利技术的电商行业大促海量订单的实时流控与处理能力调整系统的组成示意图。具体实施方式下面结合附图对本专利技术提供的具体实施方式作详细说明。实施例1请参见图1，图1是本专利技术的电商行业大促海量订单的实时流控与处理能力调整系统的实施架构图。所述的电商行业大促海量订单的实时流控与处理能力调整系统的实施架构包括：服务治理管理平台：提供基于http请求的web服务，用于配置业务系统的基础信息，同时实时将参数注册至Zookeeper中心。Zookeeper中心：是所有应用服务的配置管理中心，并实时通知业务系统；RocketMQ消息数据仓库(Message)：作为业务系统数据传输交互仓库；业务系统：从Zookeeper中心读取配置信息，拉取海量消息数据，完成核心业务逻辑流程。实施例2本专利技术的电商行业大促海量订单的实时流控与处理能力调整方法是基于本专利技术的电商行业大促海量订单的实时流控与处理能力调整系统来完成的。请参见图2，图2是本专利技术的电商行业大促海量订单的实时流控与处理能力调整方法的海量数据实时流控示意图。当消息队列topic有海量数据堆积，业务系统A、业务系统B处理缓慢时，此时需提升队列topic的处理能力，解放方式如下：步骤1，服务治理管理平台将队列topic拆分成topic1、topic2本文档来自技高网...

【技术保护点】
1.一种电商行业大促海量订单的实时流控与处理能力调整系统，其特征在于，包括服务治理管理平台和业务系统；所述的服务治理管理平台主要用于维护各个业务系统的基本信息以及Zookeeper参数变更；所述的业务系统是海量订单数据的处理中心，所有的订单数据都有所属的消息类型，各自的业务系统处理特定的消息类型。

【技术特征摘要】
1.一种电商行业大促海量订单的实时流控与处理能力调整系统，其特征在于，包括服务治理管理平台和业务系统；所述的服务治理管理平台主要用于维护各个业务系统的基本信息以及Zookeeper参数变更；所述的业务系统是海量订单数据的处理中心，所有的订单数据都有所属的消息类型，各自的业务系统处理特定的消息类型。2.根据权利要求1所述的电商行业大促海量订单的实时流控与处理能力调整系统，其特征在于，所述的服务治理管理平台包括以下各模块：租户管理模块，用于维护线上所有的业务系统的基础信息；租户管理的群组信息注册至Zookeeper中心；租户下的相关参数生效通知；队列管理模块，用于管理维护队列的基本信息，以及消息队列所对应的业务处理方法；群组管理模块，用于管理维护消费者组监听消息队列；根据群组名称自动匹配需监控消息队列；节点管理模块，用于节点对应租户所在的服务器地址，节点基本信息维护；配置节点监控消费者组信息；动态设置节点下相关消费者组选项数据信息；队列拆分模块，用于将消息队列拆分成若干个子队列，将大消息拆分成若干个子消息。3.根据权利要求2所述的电商行业大促海量订单的实时流控与处理能力调整系统，其特征在于，所述的服务治理管理平台针对某一个业务的不同租户优先级调整，还针对不同业务之间的优先级调整。4.根据权利要求1所述的电商行业大促海量订单的实时流控与处理能力调整系统，其特征在于，所述的业务系统采用的是TOMCAT容器技术。5.根据权...

【专利技术属性】
技术研发人员：谭坤，
申请(专利权)人：上海宝尊电子商务有限公司，
类型：发明
国别省市：上海,31