基于分布式思想的高性能高可靠数据共享系统及方法技术方案

技术编号:26259301 阅读:62 留言:0更新日期:2020-11-06 17:53
本发明专利技术公开了基于分布式思想的高性能高可靠数据共享系统及方法,属于信息技术领域,要解决的技术问题为大规模数据共享效率低且不安全,同时存在数据共享难以管理、共享方式不直观及共享内容难监控,技术方案为:系统包括数据库连接管理单元、定时任务管理单元、任务日志管理单元、任务统计单元、任务监控单元及失败报告单元。方法如下:S1、配置启动数据共享任务,任务定时的从源数据库并通过定义的规则抽取数据形成数据文本文件并对文件进行压缩、加密后上传到文档中心并记录访问链接;S2、对外提供数据共享接口,使用方通过数据共享接口获取到下载链接;S3、调用下载链接去文档中心下载加密文件,并通过事先分配好的密钥进行解密从而获取数据。

【技术实现步骤摘要】
基于分布式思想的高性能高可靠数据共享系统及方法
本专利技术涉及信息
,主要涉及多信息系统间高效、安全的数据抽取与数据共享技术,具体地说是一种基于分布式思想的高性能高可靠数据共享系统及方法。
技术介绍
目前各个企业的信息化建设都达到了一定的规模,沉淀了大量的具有极高价值的数据,数据是一个企业的重要资产,是企业赖以生存和持久发展的灵魂,通常各个系统开发商(以下简称开发商)之间存在着各种原因导致这些数据资源被各个开发商独占。但企业内数据的分析又需要不同开发商之间开放一些数据来配合。为了使各个开发商能够方便快捷的共享数据,目前企业一般采用三种方式共享数据:第一种方式:企业通常需要协调各个开发商以接口的形式共享数据,这种方式可以解决小量的数据共享问题,但对于数据量比较大的数据就束手无策了。例如每天需要同步全国烟草行业零售终端销售单数据(每天约千万订单)到烟草营销分析系统,普通的方法就捉襟见肘了。况且接口一般由各个开发商自己开发,自己持有,企业一般无法做到共享数据的实时管理与监控。第二种方式:企业需要协调开发商,开放数据库只读权限以达本文档来自技高网...

【技术保护点】
1.一种基于分布式思想的高性能高可靠数据共享系统,其特征在于,该数据共享系统包括,/n数据库连接管理单元,用于新增待共享的源数据库并修改或删除数据库连接;/n定时任务管理单元,用于新增、修改、启动、停止、删除以及手动补偿定时任务;/n任务日志管理单元,用于查看每个历史任务的详细执行过程、每个历史任务的执行过程以及生成的加密数据文件在文档中心的存放位置,同时提供查看SQL、删除日志以及高级操作;/n任务统计单元,用于对每个任务执行过程进行统计;/n任务监控单元,用于对任何一个任务进行实时监控,通过可视化图表的形式查看分析任务运行状态,为管理员提供全方位的数据共享任务监控信息;/n失败报告单元,用...

【技术特征摘要】
1.一种基于分布式思想的高性能高可靠数据共享系统,其特征在于,该数据共享系统包括,
数据库连接管理单元,用于新增待共享的源数据库并修改或删除数据库连接;
定时任务管理单元,用于新增、修改、启动、停止、删除以及手动补偿定时任务;
任务日志管理单元,用于查看每个历史任务的详细执行过程、每个历史任务的执行过程以及生成的加密数据文件在文档中心的存放位置,同时提供查看SQL、删除日志以及高级操作;
任务统计单元,用于对每个任务执行过程进行统计;
任务监控单元,用于对任何一个任务进行实时监控,通过可视化图表的形式查看分析任务运行状态,为管理员提供全方位的数据共享任务监控信息;
失败报告单元,用于对失败的任务生成报告,管理员直观的看到失败的任务出问题的环节。


2.根据权利要求1所述的基于分布式思想的高性能高可靠数据共享系统,其特征在于,所述数据库连接管理单元包括,
数据库连接新增模块,用于通过数据库连接管理功能新增待共享的源数据库,同时提供测试连接按钮,随时测试数据库连通性并管理多种数据库连接;
数据库连接修改删除模块,用于随时修改或删除已有的数据库连接。


3.根据权利要求2所述的基于分布式思想的高性能高可靠数据共享系统,其特征在于,所述待共享的源数据库新增的内容包括连接名称、连接地址、连接端口号、数据库名称、数据库用户名、数据库密码以及数据库类型。


4.根据权利要求1所述的基于分布式思想的高性能高可靠数据共享系统,其特征在于,所述定时任务管理单元包括,
定时任务新增模块,用于通过定时任务管理的新增功能新增定时任务;
定时任务修改模块,用于对已经存在的数据共享定时任务进行修改;
定时任务启动、停止或删除模块,用于对已经存在的数据共享定时任务进行相应的启动、停止或删除操作;
手动补偿任务模块,用于迅速、自由的对历史数据进行手动补偿。


5.根据权利要求4所述的基于分布式思想的高性能高可靠数据共享系统,其特征在于,所述新增定时任务需要维护的信息包括任务名称、约定表名、连接名称、cron表达式、任务步长、抽取时格式、抽取起始时间、时间偏移量、密钥类型、SQL类型、任务SQL以及时间戳字段全名;
其中,约定表名用于保护开发商底层设计而设计的策略,开发商随意填写该字段;
cron表达式是指linux操作系统下常用的时间指令表达式;
任务步长是指执行本次任务时需要从源数据库取多长时间的数据,以分钟计量;
时间偏移量是指选取任务步长时需要往前偏移多久,用于解决使用数据库事务处理复杂业务时,数据入库延时问题;
密钥类型是指对文件进行加密时能够选择不同的公私钥密钥对进行加密;
SQL类型允许系统管...

【专利技术属性】
技术研发人员:丁怀雷李振
申请(专利权)人:浪潮软件股份有限公司
类型:发明
国别省市:山东;37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1