大数据业务系统和大数据业务系统构造方法技术方案

本申请公开了一种大数据业务系统和大数据业务系统构造方法，该系统包括：客户端请求层、数据总线层、数据筛选层、数据处理层和数据存储层，所述数据总线层包括Kafka集群。该大数据业务系统采用数据写入接口版本分流、产品线分流和产品线专属ETL，提高数据处理效率，并且，根据产品线拆分处理ETL使得每一个产品线对应有专属的处理ETL，可以降低后期业务开发和维护难度；该大数据业务系统还利用数据总线层的Kafka集群的削峰、缓存、解耦、冗余、健壮性保障整个大数据业务系统的稳定性和安全性。保障整个大数据业务系统的稳定性和安全性。保障整个大数据业务系统的稳定性和安全性。

【技术实现步骤摘要】
大数据业务系统和大数据业务系统构造方法


[0001]本专利技术涉及数据处理
，尤其涉及一种大数据业务系统和大数据业务系统构造方法。

技术介绍

[0002]随着人工智能(Artificial Intelligence，AI)、物联网(Internet of Things，IoT)、大数据等技术产业的发展，数据以爆炸式速度递增，数据越来越多，越来越复杂，传统的数据处理系统已经无法满足当今大数据的处理要求，数据处理效率低、数据处理系统的资源消耗高，难以保证数据信息的可以有条不紊的进行保存。

技术实现思路

[0003]鉴于上述问题，本申请提出一种大数据业务系统和大数据业务系统构造方法，以提高数据处理速度。
[0004]第一方面，本申请实施例提出一种大数据业务系统，所述系统包括：客户端请求层、数据总线层、数据筛选层和数据处理层，所述数据总线层包括Kafka集群；
[0005]所述客户端请求层，用于根据写入数据的写入接口版本将所述写入数据写入所述Kafka集群中对应的版本topic；
[0006]所述数据筛选层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据业务系统，其特征在于，所述系统包括：客户端请求层、数据总线层、数据筛选层和数据处理层，所述数据总线层包括Kafka集群；所述客户端请求层，用于根据写入数据的写入接口版本将所述写入数据写入所述Kafka集群中对应的版本topic；所述数据筛选层，用于利用第j个版本topic对应的筛选ETL根据第j个版本topic中每一条写入数据所属的产品线将所述每一条写入数据写入所述Kafka集群中对应的产品线topic，1≤j≤J，J为所述版本topic的总数；所述数据处理层，用于利用第i个产品线对应的处理ETL对第i个产品线topic中的数据进行处理，1≤i≤I，I为所述产品线的总数。2.根据权利要求1所述的大数据业务系统，其特征在于，还包括：数据存储层，用于保存经过处理后的数据。3.根据权利要求2所述的大数据业务系统，其特征在于，还包括：数据分析层，用于对所述数据存储层中保存的数据进行统计分析和/或数据挖掘。4.根据权利要求3所述的大数据业务系统，其特征在于，还包括：数据应用层，用于根据所述统计分析的结果和/或所述数据挖掘的结果提供可视化界面。5.根据权利要求1所述的大数据业务系统，其特征在于，还包括：监控层，用于实时监控所述Kafka集群中各个节点内存的使用情况；根据所述Kafka集群中各个节点内存的使用情况自动调整所述Kafka集群中节点的总数。6.根据权利要求1所述的大数据业务系统，其特征在于，还包括：监控层，用于实时监控所述数据筛选层中所述筛选ETL对应的各个节点的CPU的使用情况；根据所述筛选ETL对应的各个节点的CPU的使用情况自动调整所述筛选ETL对应节点的总数。7.根据权利要求1所述的大数据业务系统，其特征在于，还包括：...

【专利技术属性】
技术研发人员：黄开清，粟德森，舒密永，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：