基于网闸的数据摆渡方法技术

本申请提供一种基于网闸的数据摆渡方法

【技术实现步骤摘要】
基于网闸的数据摆渡方法、装置及系统


[0001]本申请涉及数据传输
，尤其涉及一种基于网闸的数据摆渡方法
、
装置及系统
。

技术介绍

[0002]网闸是一种信息安全设备，其通过带有多种控制功能的固态开关读写介质连接两个独立的系统
。
这两个独立的系统之间不存在直接的物理通路，可以分别连接安全网络和非安全网络，并通过网闸以数据文件形式进行无协议的数据摆渡
。
因此，网闸技术可以在物理上隔离对安全网络存在潜在攻击可能性的网络连接，保证内部系统的安全可靠性
。
[0003]相关技术提供的网闸系统支持文件传输协议
(file transfer protocol
，
FTP)
服务器和我的结构化查询语言
(my structured query language
，
MySQL)
数据库的数据摆渡能力
。
两个独立的系统均设置有
FTP
服务器和
/
或
MySQL
数据库，网闸基于预先配置的数据摆渡映射关系进行两个独立的系统的
FTP
服务器或者
MySQL
数据库之间的数据摆渡
。
[0004]业务在运行过程中会产生业务数据的生产和消费，但是
FTP
服务器和
MySQL
数据库对业务数据的存储过程较为复杂，并且难以实现业务数据的多方消费和多方生产
。

技术实现思路

[0005]本申请提供一种基于网闸的数据摆渡方法
、
装置及系统，解决了相关技术中
FTP
服务器和
MySQL
数据库对业务数据的存储过程较为复杂，且难以实现业务数据的多方消费和多方生产的问题，能够直接基于消息中间件进行业务数据的生产和消费，在实现了结构化的业务数据快速摆渡的同时，实现了业务组件对数据的实时以及无感知的多方生产和多方消费
。
[0006]第一方面，本申请提供一种基于网闸的数据摆渡方法，该方法包括：获取第一子系统的数据摆渡关系，数据摆渡关系用于指示第一子系统的消息中间件中目标数据所在的源集合；从源集合中获取目标数据；将目标数据写入第一存储模块，以使得网闸将目标数据摆渡至第二存储模块，第一存储模块属于第一子系统，第二存储模块属于第二子系统
。
[0007]数据摆渡关系可以由存在摆渡需求的业务组件向第一网闸代理组件或者网闸注册得到
。
目标数据可以包括结构化数据
。
[0008]其有益效果是通过数据摆渡关系可以直接基于消息中间件进行业务数据的生产和消费，无需基于
FTP
服务器或数据库构建复杂的生产消费模型，业务组件无需感知
FTP
服务器或数据库的存在，在实现了结构化的业务数据快速摆渡的同时，实现了业务组件对数据的实时以及无感知的多方生产和多方消费
。
此外，通过数据摆渡关系
、FTP
服务器的目录以及数据库的数据表的预先设定，建立了两个子系统之间的消息中间件数据摆渡关系，通过网闸代理组件或者网闸进行两个子系统的数据摆渡，使得业务组件仅需确定所在子系统的消息中间件中数据的生产和消费情况，对于业务组件来说，只需要从消息中间件中获取数据，无需感知数据是否在业务组件所在的子系统，生产者和消费者相当于在同一子系统
中，相较于相关技术提高了开发效率
。
[0009]在一种可能的实现方式中，数据摆渡关系还用于指示目标数据的传输模式，传输模式包括批量传输模式和非批量传输模式，该方法还包括：当目标数据的传输模式为批量传输模式时，将第一子系统中的第一
FTP
服务器确定为第一存储模块，第二存储模块为第二子系统中的第二
FTP
服务器；当目标数据的传输模式为非批量传输模式时，将第一子系统中的第一数据库确定为第一存储模块，第二存储模块为第二子系统中的第二数据库
。
[0010]其有益效果是
FTP
服务器是通过文件形式传输数据，适用于非实时数据量大的传输场景
。
数据库通过数据表形式传输数据，适用于近实时数据量小的传输场景
。
业务组件可以根据目标数据的传输诉求以及
FTP
服务器和数据库的传输特性，实现不同数据类别
、
不同性能和不同可靠性的数据传输模式，提高了数据摆渡性能和灵活性
。
并且该过程中业务组件只需要从消息中间件中获取数据即可，屏蔽了业务组件对数据传输可靠性和传输性能的感知，相较于相关技术提高了开发效率
。
[0011]在一种可能的实现方式中，目标数据的传输模式为批量传输模式，数据摆渡关系还用于指示目标数据的类型和批量传输条件，第一
FTP
服务器的每个预设目录对应有数据的类型，将目标数据写入第一存储模块的过程包括：基于批量传输条件对目标数据进行打包压缩，得到压缩数据；将压缩数据写入第一
FTP
服务器的目标目录下，以使得网闸将压缩数据摆渡至第二
FTP
服务器的目标目录下，第一
FTP
服务器的目标目录对应目标数据的类型
。
[0012]批量传输条件可以包括批量投递周期和批量投递最大值
。
示例地，在获取目标数据的过程中，若当前时刻达到批量投递周期，则第一网闸代理组件对当前从源集合中获取到的数据进行打包压缩
。
若当前从源集合中获取到的数据大小达到批量投递最大值，则对当前获取到的数据进行打包压缩
。
直至获取到目标数据，即获取到源集合中的所有数据
。
由此可知，压缩数据包括至少一个压缩包
。
[0013]可选地，数据摆渡关系还可以用于指示目标数据的投递策略，第一网闸代理组件基于投递策略将压缩数据写入第一
FTP
服务器的目标目录下
。
投递策略可以包括但不限于：高可靠模式
、
高性能模式和最多发一次模式
。
[0014]当目标数据的投递策略为高可靠模式时，第一网闸代理组件可以将多个压缩包一个一个写入第一
FTP
服务器的目标目录下
。
当目标数据的投递策略为高性能模式时，第一网闸代理组件可以将多个压缩包批量写入第一
FTP
服务器的目标目录下
。
并且对于高可靠模式和高性能模式，第一网闸代理组件可以监测是否存在丢失的压缩包，当存在丢失的压缩包时，可以重新写入丢失的压缩包
。
当目标数据的投递策略为最多发一次模式时，第一网闸代理组件可以将多个压缩包批量或者一个一个写入第一
FTP
服务器的目标目录下，并且在写入一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于网闸的数据摆渡方法，其特征在于，所述方法包括：获取第一子系统的数据摆渡关系，所述数据摆渡关系用于指示所述第一子系统的消息中间件中目标数据所在的源集合；从所述源集合中获取所述目标数据；将所述目标数据写入第一存储模块，以使得所述网闸将所述目标数据摆渡至第二存储模块，所述第一存储模块属于所述第一子系统，所述第二存储模块属于第二子系统
。2.
根据权利要求1所述的方法，其特征在于，所述数据摆渡关系还用于指示所述目标数据的传输模式，所述传输模式包括批量传输模式和非批量传输模式，所述方法还包括：当所述目标数据的传输模式为所述批量传输模式时，将所述第一子系统中的第一文件传输协议
FTP
服务器确定为所述第一存储模块，所述第二存储模块为所述第二子系统中的第二
FTP
服务器；当所述目标数据的传输模式为所述非批量传输模式时，将所述第一子系统中的第一数据库确定为所述第一存储模块，所述第二存储模块为所述第二子系统中的第二数据库
。3.
根据权利要求2所述的方法，其特征在于，所述目标数据的传输模式为所述批量传输模式，所述数据摆渡关系还用于指示所述目标数据的类型和批量传输条件，第一
FTP
服务器的每个预设目录对应有数据的类型，所述将所述目标数据写入第一存储模块，包括：基于所述批量传输条件对所述目标数据进行打包压缩，得到压缩数据；将所述压缩数据写入所述第一
FTP
服务器的目标目录下，以使得所述网闸将所述压缩数据摆渡至所述第二
FTP
服务器的所述目标目录下，所述第一
FTP
服务器的目标目录对应所述目标数据的类型
。4.
根据权利要求2或3所述的方法，其特征在于，所述目标数据的传输模式为所述非批量传输模式，所述将所述目标数据写入第一存储模块，包括：将所述目标数据写入所述第一数据库中的本侧实时数据传输表中，以使得所述网闸将所述目标数据摆渡至所述第二数据库的对侧实时数据传输表中
。5.
一种基于网闸的数据传输方法，其特征在于，所述方法包括：获取第一子系统的数据摆渡关系，所述数据摆渡关系用于指示第二子系统中消息中间件的目的集合；基于目标存储模块获取目标数据；将所述目标数据写入所述目的集合
。6.
根据权利要求5所述的方法，其特征在于，所述数据摆渡关系还用于指示所述目标数据的传输模式，所述传输模式包括批量传输模式和非批量传输模式，所述方法还包括：当所述目标数据的传输模式为所述批量传输模式时，将所述第二子系统中的文件传输协议
FTP
服务器确定为所述目标存储模块；当所述目标数据的传输模式为所述非批量传输模式时，将所述第二子系统中的数据库确定为所述目标存储模块

【专利技术属性】
技术研发人员：叶梁枫，梁明，岳晓明，
申请(专利权)人：深圳华为云计算技术有限公司，
类型：发明
国别省市：