【技术实现步骤摘要】
基于分布式思想的高性能高可靠数据共享系统及方法
本专利技术涉及信息
,主要涉及多信息系统间高效、安全的数据抽取与数据共享技术,具体地说是一种基于分布式思想的高性能高可靠数据共享系统及方法。
技术介绍
目前各个企业的信息化建设都达到了一定的规模,沉淀了大量的具有极高价值的数据,数据是一个企业的重要资产,是企业赖以生存和持久发展的灵魂,通常各个系统开发商(以下简称开发商)之间存在着各种原因导致这些数据资源被各个开发商独占。但企业内数据的分析又需要不同开发商之间开放一些数据来配合。为了使各个开发商能够方便快捷的共享数据,目前企业一般采用三种方式共享数据:第一种方式:企业通常需要协调各个开发商以接口的形式共享数据,这种方式可以解决小量的数据共享问题,但对于数据量比较大的数据就束手无策了。例如每天需要同步全国烟草行业零售终端销售单数据(每天约千万订单)到烟草营销分析系统,普通的方法就捉襟见肘了。况且接口一般由各个开发商自己开发,自己持有,企业一般无法做到共享数据的实时管理与监控。第二种方式:企业需要协调开发商,开 ...
【技术保护点】
1.一种基于分布式思想的高性能高可靠数据共享系统,其特征在于,该数据共享系统包括,/n数据库连接管理单元,用于新增待共享的源数据库并修改或删除数据库连接;/n定时任务管理单元,用于新增、修改、启动、停止、删除以及手动补偿定时任务;/n任务日志管理单元,用于查看每个历史任务的详细执行过程、每个历史任务的执行过程以及生成的加密数据文件在文档中心的存放位置,同时提供查看SQL、删除日志以及高级操作;/n任务统计单元,用于对每个任务执行过程进行统计;/n任务监控单元,用于对任何一个任务进行实时监控,通过可视化图表的形式查看分析任务运行状态,为管理员提供全方位的数据共享任务监控信息; ...
【技术特征摘要】
1.一种基于分布式思想的高性能高可靠数据共享系统,其特征在于,该数据共享系统包括,
数据库连接管理单元,用于新增待共享的源数据库并修改或删除数据库连接;
定时任务管理单元,用于新增、修改、启动、停止、删除以及手动补偿定时任务;
任务日志管理单元,用于查看每个历史任务的详细执行过程、每个历史任务的执行过程以及生成的加密数据文件在文档中心的存放位置,同时提供查看SQL、删除日志以及高级操作;
任务统计单元,用于对每个任务执行过程进行统计;
任务监控单元,用于对任何一个任务进行实时监控,通过可视化图表的形式查看分析任务运行状态,为管理员提供全方位的数据共享任务监控信息;
失败报告单元,用于对失败的任务生成报告,管理员直观的看到失败的任务出问题的环节。
2.根据权利要求1所述的基于分布式思想的高性能高可靠数据共享系统,其特征在于,所述数据库连接管理单元包括,
数据库连接新增模块,用于通过数据库连接管理功能新增待共享的源数据库,同时提供测试连接按钮,随时测试数据库连通性并管理多种数据库连接;
数据库连接修改删除模块,用于随时修改或删除已有的数据库连接。
3.根据权利要求2所述的基于分布式思想的高性能高可靠数据共享系统,其特征在于,所述待共享的源数据库新增的内容包括连接名称、连接地址、连接端口号、数据库名称、数据库用户名、数据库密码以及数据库类型。
4.根据权利要求1所述的基于分布式思想的高性能高可靠数据共享系统,其特征在于,所述定时任务管理单元包括,
定时任务新增模块,用于通过定时任务管理的新增功能新增定时任务;
定时任务修改模块,用于对已经存在的数据共享定时任务进行修改;
定时任务启动、停止或删除模块,用于对已经存在的数据共享定时任务进行相应的启动、停止或删除操作;
手动补偿任务模块,用于迅速、自由的对历史数据进行手动补偿。
5.根据权利要求4所述的基于分布式思想的高性能高可靠数据共享系统,其特征在于,所述新增定时任务需要维护的信息包括任务名称、约定表名、连接名称、cron表达式、任务步长、抽取时格式、抽取起始时间、时间偏移量、密钥类型、SQL类型、任务SQL以及时间戳字段全名;
其中,约定表名用于保护开发商底层设计而设计的策略,开发商随意填写该字段;
cron表达式是指linux操作系统下常用的时间指令表达式;
任务步长是指执行本次任务时需要从源数据库取多长时间的数据,以分钟计量;
时间偏移量是指选取任务步长时需要往前偏移多久,用于解决使用数据库事务处理复杂业务时,数据入库延时问题;
密钥类型是指对文件进行加密时能够选择不同的公私钥密钥对进行加密;
SQL类型允许系统管...
【专利技术属性】
技术研发人员:丁怀雷,李振,
申请(专利权)人:浪潮软件股份有限公司,
类型:发明
国别省市:山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。