一种数据共享交换平台库表资源的订阅方法和系统技术方案

一种数据共享交换平台库表资源的订阅方法和系统，包括：数据发送端前置系统获取数据资料，将数据资料打包并进行加密，得到加密数据包；将加密数据包推送到数据接收端前置系统的任务队列中，并生成接收任务；数据接收端前置系统接收任务队列中的加密数据包，对加密数据包进行解密，得到数据资料。本申请实施例采用端到端的部署方式，通过对交换数据的抽取形成标准化数据文件加密后以分包形式发送到数据发送端前置系统，再合包、解密、解析入库，最终完成数据共享服务，本申请无需对外开放所有数据库端口，保证了数据的存储安全，采用前置系统方式进行订阅服务，有效地隔离了双方数据库，保证了业务系统和数据库的独立性。

【技术实现步骤摘要】
一种数据共享交换平台库表资源的订阅方法和系统
本申请涉及数据库，尤其涉及一种数据共享交换平台库表资源的订阅方法和系统。
技术介绍
目前，市场上数据共享交换平台库表资源的订阅主要是依托于ETL(Extract-Transform-Load，数据仓库技术)工具，在使用过程中要求各数据库节点处于同一网络环境，订阅时采用库对库直连方式进行传输，ETL数据同步分为四步：1、用A驱动连接A数据库；2、用B驱动连接B数据库；3、将A库中的数据读到内存中；4、将内存中的数据写入B库中。由于在同一网络环境，读、写都是基于内存中的数据，且存在时间很短，因此基本不做加密处理。这种方法有如下限制：1需要源端和目标端开放数据库端口；2、同步过程中通常没有对数据进行加密；3、ETL服务器需要访问到同步双方的数据库，缺乏有效地隔离。
技术实现思路
本申请提供一种数据共享交换平台库表资源的订阅方法和系统。根据本申请的第一方面，本申请提供一种数据共享交换平台库表资源的订阅方法，包括：数据发送端前置系统根据订阅信息从数据源中获取数据资料，将所述数据资料打包并进行加密，得到加密数据包；所述数据发送端前置系统将所述加密数据包推送到数据接收端前置系统的任务队列中，并在所述数据接收端前置系统中生成接收任务；所述数据接收端前置系统根据所述接收任务接收所述任务队列中的所述加密数据包，对所述加密数据包进行解密，得到所述数据资料。进一步地，所述数据发送端前置系统将所述加密数据包推送到数据接收端前置系统的任务队列中，包括：将所述加密数据包添加到消息中，增加消息属性；记录当前所述加密数据包的大小和在整个数据包中的位置，记录已发送字节数；将所述消息推送到所述数据接收端前置系统的任务队列中。进一步地，所述数据接收端前置系统根据所述接收任务接收所述任务队列中的所述加密数据包，对所述加密数据包进行解密，得到所述数据资料，包括：获取所述消息属性，根据所述消息属性进行数据包组装，写入本地文件；修改所述任务队列中对应的任务消息状态。进一步地，所述数据发送端前置系统将所述加密数据包推送到数据接收端前置系统的任务队列中生成接收任务，包括：所述数据接收端前置系统发现所述任务队列中存在数据接收任务后，生成数据接收工作线程。进一步地，所述发送端前置系统和所述接收端前置系统部署在不同的服务器中，所述发送端前置系统和所述接收端前置系统各自设有自己独立的共享数据库，所述共享数据库只开放对本节点的所述发送端前置系统的访问权限。根据本申请的第二方面，本申请提供一种数据共享交换平台库表资源的订阅系统，包括数据发送端前置系统和数据接收端前置系统，所述数据发送端前置系统包括采集模块和推送模块，所述数据接收端前置系统包括处理模块；所述采集模块，用于根据订阅信息从数据源中获取数据资料，将所述数据资料打包并进行加密，得到加密数据包；所述推送模块，用于将所述加密数据包推送到数据接收端前置系统的任务队列中，并在所述数据接收端前置系统中生成接收任务；所述处理模块，用于根据所述接收任务接收所述任务队列中的所述加密数据包，对所述加密数据包进行解密，得到所述数据资料。进一步地，所述推送模块，包括：添加单元，用于将所述加密数据包添加到消息中，增加消息属性；记录单元，用于记录当前所述加密数据包的大小和在整个数据包中的位置，记录已发送字节数；推送单元，用于将所述消息推送到所述数据接收端前置系统的任务队列中。进一步地，所述处理模块，包括：第一处理单元，用于获取所述消息属性，根据所述消息属性进行数据包组装，写入本地文件；修改单元，用于修改所述任务队列中对应的任务消息状态。进一步地，所述处理模块还包括：第二处理单元，用于在发现所述任务队列中存在数据接收任务后，生成数据接收工作线程。根据本申请的第三方面，本申请提供一种数据共享交换平台库表资源的订阅系统，包括：存储器，用于存储程序；处理器，用于通过执行所述存储器存储的程序以实现上述的方法。由于采用了以上技术方案，使本申请具备的有益效果在于：本申请实施例提供的方法和装置，包括：数据发送端前置系统根据订阅信息从数据源中获取数据资料，将所述数据资料打包并进行加密，得到加密数据包；所述数据发送端前置系统将所述加密数据包推送到数据接收端前置系统的任务队列中，并在所述数据接收端前置系统中生成接收任务；所述数据接收端前置系统根据所述接收任务接收所述任务队列中的所述加密数据包，对所述加密数据包进行解密，得到所述数据资料，本申请实施例采用端到端的部署方式，通过对交换数据的抽取形成标准化数据文件加密后以分包形式发送到数据发送端前置系统，再合包、解密、解析入库，最终完成数据共享服务，本申请无需对外开放所有数据库端口，保证了数据的存储安全，传输过程中对数据进行加密，保证了数据的传输安全，采用前置系统方式进行订阅服务，有效地隔离了双方数据库，保证了业务系统和数据库的独立性。附图说明图1为本申请实施例一中的方法在一种实施方式中的流程图；图2为本申请实施例一中的方法在一种具体应用例中的数据发送过程的流程图；图3为本申请实施例一中的方法在一种具体应用例中的数据接收过程的流程图；图4为本申请实施例二中的系统在一种实施方式中的程序模块示意图；图5为本申请实施例二中的系统在另一种实施方式中的程序模块示意图。具体实施方式下面通过具体实施方式结合附图对本专利技术作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。本申请实施例在一种实施方式中可应用于政府部门间数据落地共享的场景。将订阅划分为发送端前置系统和接收端前置系统，其中发送端前置系统的主要功能是实现对待发送数据的格式化打包、加密、分包发送，接收端前置系统的主要功能为分包数据接收、整合、解密、解析入库。本申请实施例运行逻辑为发送端前置系统和接收端前置系统部署在不同的服务器中，发送端前置系统和接收端前置系统各自设有自己本文档来自技高网...

【技术保护点】
1.一种数据共享交换平台库表资源的订阅方法，其特征在于，包括：/n数据发送端前置系统根据订阅信息从数据源中获取数据资料，将所述数据资料打包并进行加密，得到加密数据包；/n所述数据发送端前置系统将所述加密数据包推送到数据接收端前置系统的任务队列中，并在所述数据接收端前置系统中生成接收任务；/n所述数据接收端前置系统根据所述接收任务接收所述任务队列中的所述加密数据包，对所述加密数据包进行解密，得到所述数据资料。/n

【技术特征摘要】
1.一种数据共享交换平台库表资源的订阅方法，其特征在于，包括：
数据发送端前置系统根据订阅信息从数据源中获取数据资料，将所述数据资料打包并进行加密，得到加密数据包；
所述数据发送端前置系统将所述加密数据包推送到数据接收端前置系统的任务队列中，并在所述数据接收端前置系统中生成接收任务；
所述数据接收端前置系统根据所述接收任务接收所述任务队列中的所述加密数据包，对所述加密数据包进行解密，得到所述数据资料。


2.如权利要求1所述的方法，其特征在于，所述数据发送端前置系统将所述加密数据包推送到数据接收端前置系统的任务队列中，包括：
将所述加密数据包添加到消息中，增加消息属性；
记录当前所述加密数据包的大小和在整个数据包中的位置，记录已发送字节数；
将所述消息推送到所述数据接收端前置系统的任务队列中。


3.如权利要求2所述的方法，其特征在于，所述数据接收端前置系统根据所述接收任务接收所述任务队列中的所述加密数据包，对所述加密数据包进行解密，得到所述数据资料，包括：
获取所述消息属性，根据所述消息属性进行数据包组装，写入本地文件；
修改所述任务队列中对应的任务消息状态。


4.如权利要求1所述的方法，其特征在于，所述数据发送端前置系统将所述加密数据包推送到数据接收端前置系统的任务队列中生成接收任务，包括：
所述数据接收端前置系统发现所述任务队列中存在数据接收任务后，生成数据接收工作线程。


5.如权利要求1所述的方法，其特征在于，所述发送端前置系统和所述接收端前置系统部署在不同的服务器中，所述发送端前置系统和所述接收端前置系统各自设有自己独立的共享数据库，所述共享数据库只开放对...

【专利技术属性】
技术研发人员：李晓林，刘亮，
申请(专利权)人：航天广通科技深圳有限公司，
类型：发明
国别省市：广东;44