【技术实现步骤摘要】
本专利技术涉及大数据处理，具体地说是一种流批一体化数据同步的方法及系统。
技术介绍
1、将“数据”纳入生产要素，标志着以数据为关键要素的数字经济进入新时代，数据是信息感知、传递、共享、处理和决策的基础，是发挥数据要素价值的关键。随着大数据时代的到来，数据同步已成为各类业务场景中的重要一环，传统数据同步方法存在信息孤岛，数据一致性低，处理效率低。
技术实现思路
1、本专利技术的技术任务是针对以上不足之处，提供一种流批一体化数据同步的方法及系统，解决传统数据同步方法面临的痛点，提高数据一致性和处理效率。
2、本专利技术解决其技术问题所采用的技术方案是：
3、一种流批一体化数据同步的方法，通过配置数据源和目标系统，适配各种类型的数据来源和数据存储需求，安装和配置数据采集、数据传输、数据同步功能模块，提供同构、异构数据源流式数据、批式数据的批量、增量数据同步，实现多源异构数据同步；具体实现过程如下：
4、1)、配置数据源和目标系统：根据业务需求，确定需要同步的数据源和目标系统，并对数据进行相应的配置；
5、2)、安装和配置数据采集模块：根据数据源类型，选择合适的数据采集工具，并对其进行安装和配置，以确保能够正确地捕获数据；
6、3)、安装和配置数据传输模块：根据数据类型和特点，选择合适的数据传输协议和工具，并对其进行安装和配置，以确保数据能够高效地传输到目标系统或平台；
7、4)、安装和配置数据同步模块：根据目标系统的
8、5)、启动数据同步任务：在完成安装和配置后，启动数据同步任务，任务启动后，数据采集、传输和同步模块将自动运行，并实时监控数据变动，以确保数据的准确性和实时性。
9、本方法提供同构、异构数据源流式数据、批式数据的批量、增量数据同步服务，实现多源异构数据集成，打破数据孤岛。适用于政务服务领域组织数据、感知数据的同步与汇集。
10、优选的，所述通过配置数据源和目标系统适配各种类型的数据来源和数据存储需求，适配各种类型的结构化数据库、半结构化数据库、非结构化数据库和时序数据库，为数据同步提供满足多源异构数据来源管理和按需存储管理功能。
11、优选的，所述数据源指需要进行同步的数据来源，其数据类型包括以库表结构、接口、文件、消息队列和其他形式的数据；在进行数据源配置管理操作时，根据数据的类型，选择不同的驱动程序和对应的语法结构；
12、同时配置数据源名称、主机名/ip地址、连接端口、用户名及密码信息，根据数据同步要求及规则，设定同步策略及相关参数。
13、优选的，所述目标系统是指对同步的数据进行存储的介质，包括数据库或文件系统；
14、目标系统配置操作过程与数据源配置类似，需要设定目标库名称，记录主机名/ip地址、连接端口、用户名及密码等信息。
15、优选的，所述数据源与目标库为物理集中或隔离，或为逻辑隔离，根据数据量、存储大小确定。
16、优选的，所述安装和配置数据采集模块，数据采集模块负责连接数据源，配置流式数据和批式数据的采集工作；数据采集配置流程如下：
17、s2.1、根据需要同步的数据源的数据类型，判定数据格式是流式数据还是批式数据，批式数据需要设定数据的采集模式，包括全量采集、增量采集；
18、s2.2、选择流式数据、批式数据的采集工具；
19、s2.3、根据业务需求判断是否需要对数据进行过滤，如果需要过滤则设定过滤条件；
20、s2.4、判断是否需要生成唯一标识，如果需要生成则系统自动生成通用唯一标识码uuid(universally unique identifier)；
21、s2.5、判断是否需要生成数据采集时间戳，如果需要则由系统自动生成；
22、s2.6、选择目标系统，接收并存储数据。
23、优选的，所述安装和配置数据传输模块，数据传输模块负责对流式数据和批式数据的传输协议适配与转换、数据格式转换、数据压缩和加密功能；数据传输配置如下：
24、根据流式数据、批式数据的通信协议，对其语义和格式进行解析，适配相应的传输协议进行数据传输，包括tcp/ip、soap、restful；
25、对流式数据、批式数据进行结构化格式转换，设置数据存储结构，建立源端数据和目标系统数据之间的关联和映射关系；
26、数据传输过程中，采用基于字典编码技术的lzw无损数据压缩算法对数据进行无损压缩，对敏感数据采用对称加密算法对相关信息进行加密处理。
27、优选的，所述安装和配置数据同步模块，数据同步模块负责将传输过来的数据与目标系统进行同步，确保数据的一致性和实时性；
28、数据同步模块支持多种同步策略，在配置过程中，需要选择增量同步、全量同步、按需同步的不同类型，设置数据同步执行超时时间、告警时间阀值、告警次数阀值，及数据同步失败后重试次数，数据传输过程中阻塞处理策略，以满足不同业务场景的需要。
29、优选的，所述启动数据同步任务，数据同步任务采用cron时间表达式方式，定期执行流式数据、批式数据的同步任务。
30、本专利技术还要求保护一种流批一体化数据同步的系统，通过配置数据源和目标系统，适配各种类型的数据来源和数据存储需求，安装和配置数据采集、数据传输、数据同步功能模块，提供同构、异构数据源流式数据、批式数据的批量、增量数据同步，实现多源异构数据同步；其中，
31、安装和配置数据采集模块，根据数据源类型，选择适用的数据采集工具，对其进行安装和配置，以确保能够正确捕获数据；
32、安装和配置数据传输模块，根据数据类型和特点，选择合适的数据传输协议和工具，对其进行安装和配置，确保数据能够高效的传输到目标系统；
33、安装和配置数据同步模块，根据待同步数据的特点，分别构建流式数据、批式数据同步任务，设定执行策略、路由策略，选择执行脚本，建立源端与目标端数据连接任务；
34、在完成以上安装和配置后，启动数据同步任务，任务启动后，数据采集、数据传输、数据同步各模块将自动运行，并实时监控数据变动，确保数据的准确性和实时性；
35、该系统实现上述的流批一体化数据同步方法。
36、本专利技术的一种流批一体化数据同步的方法及系统与现有技术相比，具有以下有益效果：
37、本方法可实现多源异构数据同步集成，打破数据孤岛。
38、采用高效的数据传输协议和数据同步策略，降低数据传输和处理时间，提高数据处理效率，降低时间成本。
39、支持多种数据格式和数据传输协议，具备良好的扩展性，可灵活本文档来自技高网...
【技术保护点】
1.一种流批一体化数据同步的方法，其特征在于，通过配置数据源和目标系统，适配各种类型的数据来源和数据存储需求，安装和配置数据采集、数据传输、数据同步功能模块，提供同构、异构数据源流式数据、批式数据的批量、增量数据同步，实现多源异构数据同步；具体实现过程如下：
2.根据权利要求1所述的一种流批一体化数据同步的方法，其特征在于，所述通过配置数据源和目标系统适配各种类型的数据来源和数据存储需求，适配各种类型的结构化数据库、半结构化数据库、非结构化数据库和时序数据库，为数据同步提供满足多源异构数据来源管理和按需存储管理功能。
3.根据权利要求1或2所述的一种流批一体化数据同步的方法，其特征在于，所述数据源指需要进行同步的数据来源，其数据类型包括以库表结构、接口、文件、消息队列和其他形式的数据；在进行数据源配置管理操作时，根据数据的类型，选择不同的驱动程序和对应的语法结构；
4.根据权利要求3所述的一种流批一体化数据同步的方法，其特征在于，所述目标系统是指对同步的数据进行存储的介质，包括数据库或文件系统；
5.根据权利要求4所述的一种流批一体
6.根据权利要求1所述的一种流批一体化数据同步的方法，其特征在于，所述安装和配置数据采集模块，数据采集模块负责连接数据源，配置流式数据和批式数据的采集工作；数据采集配置流程如下：
7.根据权利要求1或6所述的一种流批一体化数据同步的方法，其特征在于，所述安装和配置数据传输模块，数据传输模块负责对流式数据和批式数据的传输协议适配与转换、数据格式转换、数据压缩和加密功能；数据传输配置如下：
8.根据权利要求7所述的一种流批一体化数据同步的方法，其特征在于，所述安装和配置数据同步模块，数据同步模块负责将传输过来的数据与目标系统进行同步，确保数据的一致性和实时性；
9.根据权利要求8所述的一种流批一体化数据同步的方法，其特征在于，所述启动数据同步任务，数据同步任务采用CRON时间表达式方式，定期执行流式数据、批式数据的同步任务。
10.一种流批一体化数据同步的系统，其特征在于，通过配置数据源和目标系统，适配各种类型的数据来源和数据存储需求，安装和配置数据采集、数据传输、数据同步功能模块，提供同构、异构数据源流式数据、批式数据的批量、增量数据同步，实现多源异构数据同步；其中，
...【技术特征摘要】
1.一种流批一体化数据同步的方法，其特征在于，通过配置数据源和目标系统，适配各种类型的数据来源和数据存储需求，安装和配置数据采集、数据传输、数据同步功能模块，提供同构、异构数据源流式数据、批式数据的批量、增量数据同步，实现多源异构数据同步；具体实现过程如下：
2.根据权利要求1所述的一种流批一体化数据同步的方法，其特征在于，所述通过配置数据源和目标系统适配各种类型的数据来源和数据存储需求，适配各种类型的结构化数据库、半结构化数据库、非结构化数据库和时序数据库，为数据同步提供满足多源异构数据来源管理和按需存储管理功能。
3.根据权利要求1或2所述的一种流批一体化数据同步的方法，其特征在于，所述数据源指需要进行同步的数据来源，其数据类型包括以库表结构、接口、文件、消息队列和其他形式的数据；在进行数据源配置管理操作时，根据数据的类型，选择不同的驱动程序和对应的语法结构；
4.根据权利要求3所述的一种流批一体化数据同步的方法，其特征在于，所述目标系统是指对同步的数据进行存储的介质，包括数据库或文件系统；
5.根据权利要求4所述的一种流批一体化数据同步的方法，其特征在于，所述数据源与目标库为物理集中或隔离，或为逻辑隔离...
【专利技术属性】
技术研发人员：郑孝青，赵伟，李松，刘圣楠，
申请(专利权)人：山东浪潮新基建科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。