一种基于任务切分的微服务水利数据共享交换方法技术

本发明专利技术公开了一种基于任务切分的微服务水利数据共享交换方法。它包括如下步骤，步骤S1，配置动态配置发布方及接收方的数据源及数据源链接；步骤S2，基于数据交换模块建立数据同步任务；步骤S3，数据交换模块进行任务分片、监听、及任务委派；数据交换模块包括任务分片单元、任务监听单元、任务执行单元；任务分片单元根据不同的源端切分策略，将步骤S2中涉及的较大数据同步任务进行分片形成较小的数据同步任务，并由任务监听单元监听后委派给不同的任务执行单元进行数据同步工作；步骤S4，开放接口；步骤S5，执行同步。本发明专利技术具有能实现跨地区，跨机构共享水利数据，提高数据同步效率的优点。优点。优点。

【技术实现步骤摘要】
一种基于任务切分的微服务水利数据共享交换方法


[0001]本专利技术涉及大数据与云计算领域，具体地说它是一种基于任务切分的微服务水利数据共享交换方法。

技术介绍

[0002]水利数据是指水利行业产生的数据，主要包括水利业务和水利政务数据。通过对水利数据的有效管理和挖掘，可以大力推进和实现水利业务的精细化管理，提高水利工作的决策效率和科学化程度。近年来，水利行业以“水利信息化带动水利现代化”速度明显加快，但由于建设时期及所属项目类别、管理单位地域的差异，各系统数据库技术不一、各系统间数据兼容和集成度低，由此形成了一个个信息孤岛，既影响了现有系统的有效运行，也影响了各地域间相互配合做出科学的水利工作决策的效率；水利业务数据通过部署在现场或生产环境的传感器、闸站监控等设备获得，由于这些设备时刻以秒、分钟为单位记录数据，因此水利数据具有海量巨大、时效性强等特点；现有方法多是基于批次号进行全量或批量离线复制以及单纯线上同步方法（如JDBC同步、接口同步方式），但由于不同地区、不同机构间路途遥远且可能应用多种不同的数据库管理系统，如Mysql、Oracle本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于任务切分的微服务水利数据共享交换方法，其特征在于：基于同步任务切片及微服务技术，并发处理同步任务，通过任务分片将大任务切分成多个可以并发执行的小任务，经过负载均衡算法在多台服务器上并发执行，实现信息互联互通、实现跨地区、跨机构实时共享水利数据，提高数据同步效率；具体方法，包括如下步骤，步骤S1，配置动态配置发布方及接收方的数据源及数据源链接；步骤S2，基于数据交换模块建立数据同步任务；本过程中接受数据的是接收方，提供数据的是发布方；数据交换模块针对步骤S1中所涉及的库表构建主动触发的数据同步任务；步骤S3，数据交换模块进行任务分片、监听、及任务委派；数据交换模块包括任务分片单元、任务监听单元、任务执行单元；任务分片单元根据不同的源端切分策略，将步骤S2中涉及的较大数据同步任务进行分片形成较小的数据同步任务，并由任务监听单元监听后委派给不同的任务执行单元进行数据同步工作；在步骤S3中，任务监听单元进行任务监听，具体方法为：任务监听单元接收任务分片单元处理好的分片任务，并将拆分成的子任务压入到任务队列重新组合，组装成任务组；当一个任务的工作组建立完毕后，即进行任务委派；步骤S4，开放接口；将数据同步过程封装为支持动态配置的Api接口，以供数据接收方进行调用，将数据同步过程封装成接口，以Http Json api服务的形式进行请求；步骤S5，执行同步；接收方启动定时任务，定时请求步骤S4中涉及接口拉取发布方数据或接收方主动请求接口拉取发布方数据；任务启动后，使用阅读器Reader从发布方源数据库读取数据后执行步骤S3经任务分片、监听、委派，最后使用写入器Writer将数据库写入接收方目标数据库。2.根据权利要求1所述的基于任务切分的微服务水利数据共享交换方法，其特征在于：在步骤S1中，配置动态配置发布方及接收方的数据源及数据源链接，具体方法包括：当一个新的数据发布方或接受方接入系统时，将其数据库链接方式及数据库配置项注册并写入到数据交换平台中；配置项包括数据库类型、数据库端口、数据库用户和访问密码；当完成此配置后，该新加入的数据发布方或接收方的数据源为可用状态。3.根据权利要求1或2所述的基于任务切分的微服务水利数据共享交换方法，其特征在于：在步骤S2中，数据同步任务包括：数据传输任务：数据交换模块即时从数据发布方源数据库...

【专利技术属性】
技术研发人员：李金平，刘伟，张恒飞，喻淼，唐光辉，方超，潘美成，刘浩，崔俊杰，
申请(专利权)人：长江信达软件技术武汉有限责任公司，
类型：发明
国别省市：