一种大数据的数据接入统一管理平台制造技术

本申请提供了一种大数据的数据接入统一管理平台，其特征在于：包括高可用+负载均衡模块、分布式协同模块、数据采集集群模块、数据计算集群模块、WEB统一管理调度平台。通过设置统一的接入管理平台，可以针对具有不同输入、输出方式的处理功能及对应数据进行统一管理，不再需要各数据采集环节分别编写独立程序或脚本，有效降低开发、维护难度，也显著提高了平台的性能及稳定性。的性能及稳定性。的性能及稳定性。

【技术实现步骤摘要】
一种大数据的数据接入统一管理平台


[0001]本申请涉及大数据
，具体而言，涉及一种大数据的数据接入统一管理平台。

技术介绍

[0002]随着大数据技术与应用的逐渐普及，越来越多的公司在面对日益增多的业务和数据增长时选择拥抱大数据。但是随着公司的发展，业务不断扩展，数据呈现爆炸式增长态势，数据采集工作作为大数据工作的基础，变得尤为重要，同时也面临着更多问题与挑战。
[0003]虽然文件存储和计算已采用分布式集群方案，但是数据采集环节多为编写独立程序或脚本，甚至BS架构的采集工具。由此便产生了一系列的问题，如单点故障，性能、稳定性一般，计算资源分配、利用不合理，难于统一维护管理等一系列问题。例如：
[0004]1)数据输入输出多为本地磁盘或RDBMS，方式相对单一。随着业务变得越来越复杂，需要不断的开发适配不同输入、输出方式的处理功能，开发、维护难度不断增加。
[0005]2)现有架构下，各组件之间相对独立，结构松散。每个组件需要各自维护，且组件间关联、依赖关系维护困难，复杂业务场景下更是很难维护且容易误操作。
[0006]3)数据采集过程中，缺少必要的稽核统计。缺乏对数据资产的管理，且数据出现问题时不易发现和排查。
[0007]4)容错能力差。当发生网络波动、中断或者其它情况导致数据采集异常，数据容易发生缺失或者产生脏数据，数据质量下降。

技术实现思路

[0008]针对上述技术问题，本申请提供了一种大数据的数据接入统一管理平台。
[0009]一种大数据的数据接入统一管理平台，包括高可用+负载均衡模块、分布式协同模块、数据采集集群模块、数据计算集群模块、WEB统一管理调度平台；
[0010]其中，所述高可用+负载均衡模块连接所述数据采集集群模块，所述数据采集集群模块连接所述数据计算集群模块，所述分布式协同模块输出端连接所述数据采集集群模块及所述数据计算集群模块，所述WEB统一管理调度平台连接所述高可用+负载均衡模块、所述数据采集集群模块及所述数据计算集群模块。
[0011]可选地，所述高可用+负载均衡模块为两层结构的负载均衡架构，即第一层的LVS处理模块和第二层的Nginx负载均衡模块，中间通过Redirect联通两层架构。
[0012]可选地，所述分布式协同模块，用于所述数据采集集群模块和所述数据计算集群模块的协同。
[0013]可选地，所述分布式协同模块基于Zookeeper组件实现所述协同。
[0014]可选地，所述数据采集集群模块包括若干流式数据采集器A和若干批处理数据采集器B。
[0015]可选地，所述数据采集集群模块，用于根据配置和业务需求，启动一个或多个采集
服务，并根据所述分布式协同模块中的配置和注册的计算服务进行数据分发；发送日志数据到消息队列；接受消息队列中的补传消息，生成补传任务，作为批处理任务，对数据进行补传。
[0016]可选地，所述数据计算集群模块，用于根据配置和业务需求，启动相应的计算服务，并将信息注册到所述分布式协同模块，接受采集集群发送的数据，经过计算后，根据配置发送到数据仓库或其他组件；发送日志数据到消息队列。
[0017]可选地，所述平台还包括容错识别模块，所述容错识别模块用于从消息队列调取日志数据进行分析、统计。
[0018]可选地，所述平台还包括执行单元和服务接口；所述执行器用于控制服务的启停、配置的下发以及集群监控；所述服务接口，用于为前端设备提供接口，以及通过与所述执行单元交互来执行用户操作。
[0019]可选地，所述WEB统一管理调度平台，用于为用户提供统一管理调度平台，以实现对整个服务的维护。
[0020]本专利技术的有益效果在于：
[0021]本申请提供的一种大数据的数据接入统一管理平台包括高可用+负载均衡模块、分布式协同模块、数据采集集群模块、数据计算集群模块、WEB统一管理调度平台。通过设置统一的接入管理平台，可以针对具有不同输入、输出方式的处理功能及对应数据进行统一管理，不再需要各数据采集环节分别编写独立程序或脚本，有效降低开发、维护难度，也显著提高了平台的性能及稳定性。
[0022]另外，通过设置高可用+负载均衡模块作为服务集群的入口，可以显著提高管理平台对集群数据的高可用和负载均衡能力；分布式协同模块能够根据实时的需要来优化采集集群和计算集群的协同作业，显著提高管理平台的数据处理效率。
[0023]另外，本申请中的管理平台还包括容错识别模块，其可以对采集集群和计算集群传输到消息队列中的日志数据进行分系统计，从而可以及时发现冲突、错误及异常数据，充分保障数据质量，也更容易对异常数据及原因进行排查和原因分析。
附图说明
[0024]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0025]图1是本申请实施例公开的一种大数据的数据接入统一管理平台的结构示意图；
[0026]图2是本申请实施例二公开的改进的一种大数据的数据接入统一管理平台的结构示意图；
[0027]图3是本申请实施例三公开的另一种改进的大数据的数据接入统一管理平台的结构示意图。
具体实施方式
[0028]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例
中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0029]因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0030]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0031]在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
[0032]此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0033]需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
[0034]虽然现有技术中已经采用了分布式集群方案来实现文件的存储和计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据的数据接入统一管理平台，其特征在于：包括高可用+负载均衡模块、分布式协同模块、数据采集集群模块、数据计算集群模块、WEB统一管理调度平台；其中，所述高可用+负载均衡模块连接所述数据采集集群模块，所述数据采集集群模块连接所述数据计算集群模块，所述分布式协同模块输出端连接所述数据采集集群模块及所述数据计算集群模块，所述WEB统一管理调度平台连接所述高可用+负载均衡模块、所述数据采集集群模块及所述数据计算集群模块。2.根据权利要求1所述的平台，其特征在于：所述高可用+负载均衡模块为两层结构的负载均衡架构，即第一层的LVS处理模块和第二层的Nginx负载均衡模块，中间通过Redirect联通两层架构。3.根据权利要求1所述的平台，其特征在于：所述分布式协同模块，用于所述数据采集集群模块和所述数据计算集群模块的协同。4.根据权利要求1所述的平台，其特征在于：所述分布式协同模块基于Zookeeper组件实现所述协同。5.根据权利要求1所述的平台，其特征在于：所述数据采集集群模块包括若干流式数据采集器A和若干批处理数据采集器B。6.根据权利要求5所述的...

【专利技术属性】
技术研发人员：丁武，胡泉，李林，陈学志，于洋，
申请(专利权)人：辽宁长江智能科技股份有限公司，
类型：发明
国别省市：