大数据业务系统和大数据业务系统构造方法技术方案

本申请公开了一种大数据业务系统和大数据业务系统构造方法，该系统包括：客户端请求层、数据总线层、数据筛选层、数据处理层和数据存储层，所述数据总线层包括Kafka集群。该大数据业务系统采用数据写入接口版本分流、产品线分流和产品线专属ETL，提高数据处理效率，并且，根据产品线拆分处理ETL使得每一个产品线对应有专属的处理ETL，可以降低后期业务开发和维护难度；该大数据业务系统还利用数据总线层的Kafka集群的削峰、缓存、解耦、冗余、健壮性保障整个大数据业务系统的稳定性和安全性。保障整个大数据业务系统的稳定性和安全性。保障整个大数据业务系统的稳定性和安全性。

【技术实现步骤摘要】
大数据业务系统和大数据业务系统构造方法


[0001]本专利技术涉及数据处理
，尤其涉及一种大数据业务系统和大数据业务系统构造方法。

技术介绍

[0002]随着人工智能(Artificial Intelligence，AI)、物联网(Internet of Things，IoT)、大数据等技术产业的发展，数据以爆炸式速度递增，数据越来越多，越来越复杂，传统的数据处理系统已经无法满足当今大数据的处理要求，数据处理效率低、数据处理系统的资源消耗高，难以保证数据信息的可以有条不紊的进行保存。

技术实现思路

[0003]鉴于上述问题，本申请提出一种大数据业务系统和大数据业务系统构造方法，以提高数据处理速度。
[0004]第一方面，本申请实施例提出一种大数据业务系统，所述系统包括：客户端请求层、数据总线层、数据筛选层和数据处理层，所述数据总线层包括Kafka集群；
[0005]所述客户端请求层，用于根据写入数据的写入接口版本将所述写入数据写入所述Kafka集群中对应的版本topic；
[0006]所述数据筛选层，用于利用第j个版本topic对应的筛选ETL根据第j个版本topic中每一条写入数据所属的产品线将所述每一条写入数据写入所述Kafka集群中对应的产品线topic，1≤j≤J，J为所述版本topic的总数；
[0007]所述数据处理层，用于利用第i个产品线对应的处理ETL对第i个产品线topic中的数据进行处理，1≤i≤I，I为所述产品线的总数。
[0008]本申请实施例所述的大数据业务系统，还包括：数据存储层，用于保存经过处理后的数据。
[0009]本申请实施例所述的大数据业务系统，还包括：数据分析层，用于对所述数据存储层中保存的数据进行统计分析和/或数据挖掘。
[0010]本申请实施例所述的大数据业务系统，还包括：数据应用层，用于根据所述统计分析的结果和/或所述数据挖掘的结果提供可视化界面。
[0011]本申请实施例所述的大数据业务系统，还包括：监控层，用于实时监控所述Kafka集群中各个节点内存的使用情况；根据所述Kafka集群中各个节点内存的使用情况自动调整所述Kafka集群中节点的总数。
[0012]本申请实施例所述的大数据业务系统，所述监控层还用于实时监控所述数据筛选层中所述筛选ETL对应的各个节点的CPU的使用情况；根据所述筛选ETL对应的各个节点的CPU的使用情况自动调整所述筛选ETL对应节点的总数。
[0013]本申请实施例所述的大数据业务系统，所述监控层还用于实时监控所述数据处理层中所述处理ETL对应的各个节点的CPU的使用情况；根据所述处理ETL对应的各个节点的
CPU的使用情况自动调整所述处理ETL对应节点的总数。
[0014]本申请实施例所述的大数据业务系统，每一个版本topic对应的筛选ETL有多个，所述利用第j个版本topic对应的筛选ETL根据第j个版本topic中每一条写入数据所属的产品线将所述每一条写入数据写入所述Kafka集群中对应的产品线topic，包括：
[0015]根据所述第j个版本topic中的数据量确定目标筛选ETL的个数；
[0016]从所述对应的筛选ETL中选择所述个数的目标筛选ETL；
[0017]利用所述个数的目标筛选ETL根据第j个版本topic中每一条写入数据所属的产品线将所述每一条写入数据写入所述Kafka集群中对应的产品线topic。
[0018]第二方面，本申请实施例还提出一种大数据业务系统构造方法，所述方法包括：
[0019]利用Kafka集群构造数据总线层；
[0020]构造客户端请求层，并使所述客户端请求层根据写入数据的写入接口版本将所述写入数据写入所述Kafka集群中对应的版本topic；
[0021]构造数据筛选层，并使所述数据筛选层利用第j个版本topic对应的筛选ETL根据第j个版本topic中每一条写入数据所属的产品线将所述每一条写入数据写入所述Kafka集群中对应的产品线topic，1≤j≤J，J为所述版本topic的总数；
[0022]构造数据处理层，并使所述数据处理层利用第i个产品线对应的处理ETL对第i个产品线topic中的数据进行处理，1≤i≤I，I为所述产品线的总数。
[0023]本申请实施例所述的大数据业务系统构造方法，还包括：构造数据存储层，并使所述数据存储层保存经过处理后的数据。
[0024]本申请提出的一种大数据业务系统，第一方面，采用数据写入接口版本分流、产品线分流和产品线专属ETL，提高数据处理效率，并且，根据产品线拆分处理ETL使得每一个产品线对应有专属的处理ETL，可以降低后期业务开发和维护难度；第二方面，利用数据总线层的Kafka集群的削峰、缓存、解耦、冗余、健壮性保障整个大数据业务系统的稳定性和安全性。
附图说明
[0025]为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对本专利技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
[0026]图1示出了本申请实施例提出的一种大数据业务系统的结构示意图；
[0027]图2示出了本申请实施例提出的另一种大数据业务系统的结构示意图；
[0028]图3示出了本申请实施例提出的一种大数据业务系统构造方法的流程示意图；
[0029]图4示出了本申请实施例提出的另一种大数据业务系统构造方法的流程示意图。
具体实施方式
[0030]下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0031]通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求
保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0032]在下文中，可在本专利技术的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
[0033]此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0034]除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本专利技术的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据业务系统，其特征在于，所述系统包括：客户端请求层、数据总线层、数据筛选层和数据处理层，所述数据总线层包括Kafka集群；所述客户端请求层，用于根据写入数据的写入接口版本将所述写入数据写入所述Kafka集群中对应的版本topic；所述数据筛选层，用于利用第j个版本topic对应的筛选ETL根据第j个版本topic中每一条写入数据所属的产品线将所述每一条写入数据写入所述Kafka集群中对应的产品线topic，1≤j≤J，J为所述版本topic的总数；所述数据处理层，用于利用第i个产品线对应的处理ETL对第i个产品线topic中的数据进行处理，1≤i≤I，I为所述产品线的总数。2.根据权利要求1所述的大数据业务系统，其特征在于，还包括：数据存储层，用于保存经过处理后的数据。3.根据权利要求2所述的大数据业务系统，其特征在于，还包括：数据分析层，用于对所述数据存储层中保存的数据进行统计分析和/或数据挖掘。4.根据权利要求3所述的大数据业务系统，其特征在于，还包括：数据应用层，用于根据所述统计分析的结果和/或所述数据挖掘的结果提供可视化界面。5.根据权利要求1所述的大数据业务系统，其特征在于，还包括：监控层，用于实时监控所述Kafka集群中各个节点内存的使用情况；根据所述Kafka集群中各个节点内存的使用情况自动调整所述Kafka集群中节点的总数。6.根据权利要求1所述的大数据业务系统，其特征在于，还包括：监控层，用于实时监控所述数据筛选层中所述筛选ETL对应的各个节点的CPU的使用情况；根据所述筛选ETL对应的各个节点的CPU的使用情况自动调整所述筛选ETL对应节点的总数。7.根据权利要求1所述的大数据业务系统，其特征在于，还包括：...

【专利技术属性】
技术研发人员：黄开清，粟德森，舒密永，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：