【技术实现步骤摘要】
内外网数据交换系统、方法、装置、计算机设备和介质
本申请涉及计算机
,特别是涉及一种内外网数据交换系统、方法、装置、计算机设备和存储介质。
技术介绍
在业务系统架构中,数据库主要用于持久化数据、保存数据变更集、记录状态转换关系,是现在业务系统中不可或缺的一部分。企业多采用内外网隔离的方式部署企业内网,目的是为了保护企业内部敏感数据,防止黑客攻击。但由于企业经营的需要,还是不可避免地需要与外网进行信息交互。例如企业与外界的交易数据的传输需要在外网和内网同时建立数据库进行交易数据的存储和交互。目前,业务系统之间的数据交换一般通过socket方式传输数据报文,且数据报文常以json格式和xml格式为主,但这种通过socket方式传输数据报文的方式需要网络互通才能进行数据交换,因此目前的数据传输方式不适合内外网两机房网络隔离的业务系统。
技术实现思路
基于此,有必要针对上述技术问题,提供一种内外网数据交换系统、方法、装置、计算机设备和存储介质。一种内外网数据交换系统,包括:外网数据同 ...
【技术保护点】
1.一种内外网数据交换系统,其特征在于,包括:外网数据同步服务器、数据交换系统以及内网数据同步客户端;所述数据交换系统包括外网消息队列、外网文件同步服务器、内外网交换平台、内网文件同步客户端和内网消息队列;其中,/n所述外网数据同步服务器,用于采集数据库操作日志,根据所述数据库操作日志生成预设格式的同步数据,将所述同步数据发送至所述外网消息队列存储;/n所述数据交换系统,用于通过所述外网文件同步服务器从所述外网消息队列读取所述同步数据,并写入同步数据文件,将所述同步数据文件上传至所述内外网交换平台存储;/n通过所述内网文件同步客户端从所述内外网交换平台下载所述同步数据文件, ...
【技术特征摘要】
1.一种内外网数据交换系统,其特征在于,包括:外网数据同步服务器、数据交换系统以及内网数据同步客户端;所述数据交换系统包括外网消息队列、外网文件同步服务器、内外网交换平台、内网文件同步客户端和内网消息队列;其中,
所述外网数据同步服务器,用于采集数据库操作日志,根据所述数据库操作日志生成预设格式的同步数据,将所述同步数据发送至所述外网消息队列存储;
所述数据交换系统,用于通过所述外网文件同步服务器从所述外网消息队列读取所述同步数据,并写入同步数据文件,将所述同步数据文件上传至所述内外网交换平台存储;
通过所述内网文件同步客户端从所述内外网交换平台下载所述同步数据文件,读取所述同步数据文件中的所述预设格式的同步数据,将所述同步数据发送至所述内网消息队列存储;
所述内网数据同步客户端,用于从所述内网消息队列读取所述同步数据,基于所述同步数据进行同步数据入库。
2.根据权利要求1所述的系统,其特征在于,所述外网数据同步服务器,进一步用于按照针对数据库的预设表白名单、表字段白名单、表黑名单和表字段黑名单,对采集得到的所述数据库操作日志进行过滤,并根据过滤后的数据库操作日志生成所述预设格式的同步数据。
3.根据权利要求1所述的系统,其特征在于,所述内网数据同步客户端,进一步用于从所述内网消息队列读取所述同步数据,根据所述同步数据匹配对应的数据库并生成对应的数据库执行语句,根据所述数据库执行语句执行针对所述对应的数据库的数据入库操作。
4.根据权利要求1至3任一项所述的系统,其特征在于,所述预设格式为json格式;所述同步数据文件为所述json格式的同步数据文件;所述外网消息队列和所述内网消息队列基于kafka服务器构建。
5.一种内外网数据交换方法,其特征在于,应用于数据交换系统,所述数据交换系统包括外网消息队列、外网文件同步服务器、内外网交换平台、内网文件同步客户端和内网消息队列,所述方法包括:
通过外网消息队列接收并存储外网数据同步服务器发送的预设格式的同步数据;所述预设格式的同步数据是由外网数据同步服务器采集数据库操作日志,并根据所述数据库操作日志生成的预设格式的同步数据;
通过外网文件同步服务器从所述外网消息队列读取所述同步数据,并写入同步数据文件,将所述同步数据文件上传至所述内外网交换平台存储;
通过内网文...
【专利技术属性】
技术研发人员:赵文猛,周华锋,顾慧杰,许丹莉,朱文,梁彦杰,
申请(专利权)人:中国南方电网有限责任公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。