支持自定义插件的动态配置多数据库分布式持久化方法技术

本发明专利技术是一种支持自定义插件的动态配置多数据库分布式持久化方法，对多数据库引擎的海量数据存储提供自动化、可配置、统一化的高效数据接入。本发明专利技术方法包括：搭建包含多种存储引擎、配置生成工具loadtool、数据持久化工具Pasca、Zookeeper和Kafka集群的数据平台；loadtool实现自动化配置，上传配置文件到Zookeeper；Pasca监控Zookeeper以动态更新配置；将接入的实时数据或离线数据发往Kafka集群，Pasca启动数据持久化通道，对接入的数据持久化。本发明专利技术具有自动化、动态配置、统一化优点，能方便的简单、灵活、高效的持久化数据，充分利用大数据集群的存储和计算资源。分利用大数据集群的存储和计算资源。分利用大数据集群的存储和计算资源。

【技术实现步骤摘要】
支持自定义插件的动态配置多数据库分布式持久化方法


[0001]本专利技术属于计算机
，具体涉及一种支持自定义插件的动态配置多数据库引擎分布式持久化技术。

技术介绍

[0002]随着计算机的不断发展和信息化程度的不断提高，数据量迅速增长，面向海量数据灵活采集应用也随之蓬勃发展。Mysql、Hive、HBase、ElasticSearch等存储引擎存储了结构化、半结构化、非结构化、文本等多种格式的海量数据，但随着多数据库引擎存储需求的迅猛提升，需要更加高效灵活全面的分布式数据持久化技术。
[0003]数据持久化认为每条数据都是有价值的，随着数据规模的增大，保证数据在采集和存储阶段的一致性，保障数据的高效流转，提高系统资源的使用率，实现不同格式数据的处理，在多种数据库引擎的存储落地，减少数据在流转过程中的价值损失，使数据在持久化的各个阶段中实现资源利用的最大化。因为随着数据规模的增大，数据落地需求的增多，高效数据持久化服务容灾能力有限，不同场景下数据采集的手动配置，多种数据格式的定制化二次开发，极大的限制了数据持久化的安全性、灵活性，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持自定义插件的动态配置多数据库分布式持久化方法，其特征在于，包括：步骤1，搭建大数据基础平台，包括存储引擎、配置生成工具loadtool、数据持久化工具Pasca、Zookeeper以及Kafka集群；其中，配置生成工具loadtool接收到自动配置指令后，读取标准配置文件，对配置进行增加、删除、修改或查询操作；loadtool将标准配置文件上传至Zookeeper，同时也存入Mysql数据库备份；Pasca从Zookeeper读取配置文件；所述的标准配置文件包括配置文件kakaserver和loadserver，其中，kafkaserver用于配置要读取的Kafka topic的信息以及数据持久化通道要发往的数据库；配置文件loadserver用于配置Hive的认证，数据存储的数据库名称和表名称，以及持久化数据的周期；步骤2，监控Zookeeper以动态更新配置；当对配置进行增加操作时，loadtool创建Kafka Topic，注册数据Schema，数据持久化工具Pasca生成相应存储引擎的数据持久化通道；当配置中出现新数据格式的配置时，Pasca根据自动配置指令中记载的数据类型jar包全路径名称，搜索调用对应的jar包，进行数据校验处理；当对配置进行修改操作时，从Mysql数据库中查询相应的配置文件并修改，上传更新后的配置文件到Zookeeper；当对配置进行删除操作时，从Mysql数据库中查询相应的配置文件并删除；当对配置进行查询操作时，从Mysql数据库中查询相应的配置的库表信息返回；步骤3，进行持久化数据接入，接入的数据类型包括实时数据和离线数据；设置多个实时数据接入服务端，以支持实时数据并行接入；步骤4，数据持久化工具Pasca启动数据持久化通道，对接入的数据持久化。2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，存储引擎包括Hive、HBase、ElasticSearch以及Mysql。3.根据权利要求1所述的...

【专利技术属性】
技术研发人员：谢铭，郑佳星，蒲路，
申请(专利权)人：北京赛思信安技术股份有限公司，
类型：发明
国别省市：