基于分布式数据库视图模式建设的数据共享交换平台及其共享交换方法技术

本发明专利技术公开一种基于分布式数据库视图模式建设的数据共享交换平台及其共享交换方法。所述政务系统生产环境包括数据发布方及数据订阅方，所述数据发布方将数据上传后，数据共享单元发布数据并将数据写入共享交换前置区；所述数据订阅方将订阅消息发送到数据交换单元，再根据订阅需求在共享交换前置区创建视图，创建的视图对写入共享交换前置区的数据进行映射，并将其映射后的数据传输回订阅方。用以解决数据更新周期慢，数据传输链路长及多次执行的数据交换任务，造成更新不及时和数据不一致的问题。一致的问题。一致的问题。

【技术实现步骤摘要】
基于分布式数据库视图模式建设的数据共享交换平台及其共享交换方法


[0001]本专利技术属于大数据与云计算领域，具体涉及一种基于分布式数据库视图模式建设的数据共享交换平台及其共享交换方法。

技术介绍

[0002]当前政务领域的结构化数据共享，采用ETL工具将共享数据上传到私有前置库，大量的数据上传任务，占用较多的业务数据库资源，同时存在数据更新周期慢，数据传输链路长等问题，影响数据共享效率。
[0003]目前涉及跨地区，跨领域，跨行业共享数据的交换，基于批次号进行全量或批量离线复制，当共享的源端数据发生变化时，对多次执行的数据交换任务，造成更新不及时和数据不一致的问题，影响数据应用结果。

技术实现思路

[0004]本专利技术提供一种基于分布式数据库视图模式建设的数据共享交换平台及其共享交换方法，用以解决数据更新周期慢，数据传输链路长及多次执行的数据交换任务，造成更新不及时和数据不一致的问题。
[0005]本专利技术通过以下技术方案实现：
[0006]一种基于分布式数据库视图模式建设的数据共享交换平台，所述数据共享交换平台包括政务系统生产环境单元、数据共享单元、数据交换单元和共享交换前置区；
[0007]所述政务系统生产环境包括数据发布方及数据订阅方，所述数据发布方将数据上传后，数据共享单元发布数据并将数据写入共享交换前置区；
[0008]所述数据订阅方将订阅消息发送到数据交换单元，再根据订阅需求在共享交换前置区创建视图，创建的视图对写入共享交换前置区的数据进行映射，并将其映射后的数据传输回订阅方。
[0009]一种基于分布式数据库视图模式建设的数据共享交换平台，所述数据共享单元包括日志同步模块和消息队列，所述日志同步模块用于日志传输与日志解析；
[0010]所述消息队列，用于缓存日志同步模块解析后的信息，被消费程序写入前置库。
[0011]一种基于分布式数据库视图模式建设的数据共享交换平台，所述数据交换单元包括视图创建模块、加密规则模块和过滤规则模块；所述视图创建模块，用于根据订阅方数据需求，在订阅方前置库创建SQL逻辑视图。
[0012]所述加密规则模块，用于数据发布方对共享数据的加密规则配置和维护。
[0013]所述过滤规则模块，用于数据发布方对共享数据的筛选规则配置和维护。
[0014]4.根据权利要求1所述一种基于分布式数据库视图模式建设的数据共享交换平台，所述共享交换前置区具体为，数据发布方将数据在共享交换前置区进行共享；数据订阅方订阅的部分数据形成视图，在共享交换前置区根据数据订阅方的视图找到相应的数据发
布方上传的共享数据进行视图映射，数据订阅方访问共享交换前置区内的视图映射的数据。
[0015]一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述数据共享交换方法包括以下步骤：
[0016]步骤1：数据发布方进行共享数据的发布；
[0017]步骤2：发布的共享数据经过日志接入存储数据到共享交换平台；
[0018]步骤3：共享交换平台根据数据订阅的需求将存储的数据进行视图创建；
[0019]步骤4：创建的视图对发布的数据根据订阅方需求进行共享数据的视图映射，给订阅方查看。
[0020]一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤1具体为，数据发布方将共享的结构化数据库表信息发布到数据共享交换平台，并开启数据库日志。
[0021]一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤2具体为，数据共享交换平台接入数据发布方的数据库日志，利用TidbDM解析并转化为实时结构化数据；
[0022]数据共享交换平台将转化后结构化数据，存储到预先分配给数据发布方的分布式关系数据库实例。
[0023]一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤3具体为，数据订阅方在数据共享交换平台申请共享已经发布的数据资源，并完成数据共享申请的审批流程；
[0024]数据共享交换平台根据数据订阅方的订阅请求，完成创建视图的数据加密和数据过滤的规则封装。
[0025]一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述步骤4具体为，数据共享交换平台在预先分配给数据订阅方的分布式关系数据库实例中完成视图创建，源端为数据发布方的共享数据；
[0026]数据订阅方登录订阅前置库，查询订阅完成的逻辑视图，返回从发布前置库共享的订阅结果数据。
[0027]一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，所述日志接入，采集共享数据库的实时变化日志，并解析为可存储的结构化数据；
[0028]所述数据存储，平台数据集中存储到分布式数据库，单个用户独立分配数据库和账号，单表数据按逻辑或物理主键切分，均匀分布在多个数据库节点；集群服务按存储和计算分离部署，数据按分布式三副本模式，分布到不同的机柜和节点；
[0029]所述视图创建，在数据订阅方前置库创建加密SQL视图，将发布数据中涉及的敏感信息进行加密，同一业务含义敏感信息的加密规则统一；
[0030]所述逻辑映射，数据订阅方可查询订阅前置库的视图表，但无法修改视图数据，仅限查看和筛选加密后的数据，数据发布方可修改发布前置库的明文数据，并利用视图映射关系，实时转化到订阅前置库的订阅视图表。
[0031]本专利技术的有益效果是：
[0032]本专利技术的数据复制技术，对数据的实时同步达到毫秒级延迟。
[0033]本专利技术的数据交换方式，可减少资源重复使用，提高数据共享效率。
[0034]本专利技术对交换的数据保持强一致性，保障业务方应用结果一致。
[0035]本专利技术的数据加密和脱敏能力，保证数据安全使用，防止泄露。
附图说明
[0036]图1是本专利技术的模块示意图。
[0037]图2是本专利技术的方法流程图。
具体实施方式
[0038]下面将结合本专利技术实施例中的附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0039]一种基于分布式数据库视图模式建设的数据共享交换平台，所述数据共享交换平台包括政务系统生产环境单元、数据共享单元、数据交换单元和共享交换前置区；
[0040]所述政务系统生产环境包括数据发布方及数据订阅方，所述数据发布方将数据上传后，数据共享单元发布数据并将数据写入共享交换前置区；
[0041]所述数据订阅方将订阅消息发送到数据交换单元，再根据订阅需求在共享交换前置区创建视图，创建的视图对写入共享交换前置区的数据进行映射，并将其映射后的数据传输回订阅方。
[0042]一种基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式数据库视图模式建设的数据共享交换平台，其特征在于，所述数据共享交换平台包括政务系统生产环境单元、数据共享单元、数据交换单元和共享交换前置区；所述政务系统生产环境包括数据发布方及数据订阅方，所述数据发布方将数据上传后，数据共享单元发布数据并将数据写入共享交换前置区；所述数据订阅方将订阅消息发送到数据交换单元，再根据订阅需求在共享交换前置区创建视图，创建的视图对写入共享交换前置区的数据进行映射，并将其映射后的数据传输回订阅方。2.根据权利要求1所述一种基于分布式数据库视图模式建设的数据共享交换平台，其特征在于，所述数据共享单元包括日志同步模块和消息队列，所述日志同步模块用于日志传输与日志解析；所述消息队列，用于缓存日志同步模块解析后的信息，被消费程序写入前置库。3.根据权利要求1所述一种基于分布式数据库视图模式建设的数据共享交换平台，其特征在于，所述数据交换单元包括视图创建模块、加密规则模块和过滤规则模块；所述视图创建模块，用于根据订阅方数据需求，在订阅方前置库创建SQL逻辑视图。所述加密规则模块，用于数据发布方对共享数据的加密规则配置和维护。所述过滤规则模块，用于数据发布方对共享数据的筛选规则配置和维护。4.根据权利要求1所述一种基于分布式数据库视图模式建设的数据共享交换平台，其特征在于，所述共享交换前置区具体为，数据发布方将数据在共享交换前置区进行共享；数据订阅方订阅的部分数据形成视图，在共享交换前置区根据数据订阅方的视图找到相应的数据发布方上传的共享数据进行视图映射，数据订阅方访问共享交换前置区内的视图映射的数据。5.根据权利要求1
‑
4所述一种基于分布式数据库视图模式建设的数据共享交换平台的数据共享交换方法，其特征在于，所述数据共享交换方法包括以下步骤：步骤1：数据发布方进行共享数据的发布；步骤2：发布的共享数据经过日志接入存储数据到共享交换平台；步骤3：共享交换平台根据数据订阅的需求将存储的数据进行视图创建；步骤4：创建的视图对发布的数据根据订阅方需求进行共享数据的视图映射，给订阅方查看。6.根据权利要求3所述一种基于分...

【专利技术属性】
技术研发人员：赵阳，张弘力，曲延兵，葛振兴，婧春雨，李超，
申请(专利权)人：吉林省吉林祥云信息技术有限公司，
类型：发明
国别省市：