一种基于数据缓冲区的跨域数据按需交换方法与系统技术方案

本发明专利技术公开了一种基于数据缓冲区的跨域数据按需交换方法与系统。本方法为：在高保护等级区域和一般保护等级区域之间建立一个数据缓冲区，其包含用于缓存数据的缓冲区数据库及其数据服务接口；在缓冲区数据库中建立若干个用于存储交换数据的数据库表，各数据库表均包含字段ETL_TIME，用于记录数据到达所述数据缓冲区的时间；在高保护等级区域的网络区间内设置ETL交换装置并将其外部访问地址信息发送给数据缓冲区，将数据缓冲区设置为对ETL交换装置单向开放访问权限，以实现数据从高保护等级区域经数据缓冲区到一般保护等级区域的单向流动；数据服务接口设置为对应用端提供服务；数据缓冲区按照设定规则对交换数据进行删除。除。除。

【技术实现步骤摘要】
一种基于数据缓冲区的跨域数据按需交换方法与系统


[0001]本专利技术属于数据信息处理
，涉及一种基于数据缓冲区的跨域数据按需交换方法与系统，适用于大数据背景下，不同安全等级区域间的数据信息安全交换。

技术介绍

[0002]随着大数据技术的发展，企事业单位建了许多的安全等级要求不同的大数据中心；如何在尽可能保证数据安全的前提下，在不同安全等级保护区域之间进行数据交换是个需要解决的问题。
[0003]目前的系统数据交换大部分基于ETL的方式，直接双向互联，在需要数据交换的两端进行数据交换，当两端处于不同的安全等级保护区域时，存在着安全方面的隐患。因此迫切需要一种结构简单、方便实施，不依赖与单向网闸等硬件的数据交换方法。

技术实现思路

[0004]针对现有技术中存在的问题，本专利技术的目的在于提供一种基于数据缓冲区的跨域数据按需交换方法与系统。本专利技术在高保护等级区域和一般保护等级区域之间建立一个数据缓冲区，数据缓冲区包含用于缓存数据的缓冲区数据库和相应的数据服务的接口。缓冲区数据库中存储交换数据的数据库表命名以“data_exchange_”前缀开始，以和其他的表相区分，并且这些数据表都有一个共同的交换时间标记字段：ETL_TIME，记录数据到达数据缓冲区的时间，方便定时程序扫描数据。缓冲区中的数据服务接口为应用端服务，应用端可以通过服务接口向缓冲区中的数据库写入要请求数据的特征参数，通过服务接口获取ETL根据请求数据的特征参数写入缓冲区的数据。
[0005]在高保护等级区域一端的网络区间内设置ETL交换装置并将其对外访问的地址信息发送给所述数据缓冲区，缓冲区数据库对ETL交换装置单向开放访问权限，以实现数据从高保护等级区域到一般保护等级区域的单向流动。缓冲区中有数据库，用于存储要交换数据的特征参数和要交换的数据；缓冲区中还有数据服务接口，数据服务接口为应用端服务，应用端可以通过数据服务接口向缓冲区中写入要请求数据的特征参数，通过数据服务接口获取ETL写入缓冲区的数据。
[0006]缓冲区既是缓存交换数据，也可以存储特征参数的。应用端通过缓冲区的接口将参数存入到缓冲区的表中。由于单项授权的原因，缓冲区并不能主动的将参数发送到高保护区里的ETL装置，而是等ETL装置定时来读取，并根据参数特征将满足条件的数据写入到缓冲区中。具体方法为：应用端通过调用缓冲区服务接口将所请求的交换数据的特征参数发送到缓冲区数据库，ETL装置获取特征参数确定数据交换范围，并所确定数据交换范围内的数据发送到所述数据缓冲区；应用端通过缓冲区数据服务接口获取所请求数据。
[0007]应用端获取交换数据后按照规则通过缓冲区服务接口触发数据下载完成通知机制，通知数据缓冲区及时删除已完成下载的交换数据；同时交换到缓冲区的数据表(表名以data_exchange_前缀开始来标记)，通过统一命名的交换时间标记字段ETL_TIME记录数据
交换到缓冲区中的时间，系统按照设置针对每个表设置的数据记录最长保存时间进行定时删除，删除超过限定交换时间的数据。
[0008]本专利技术的技术方案为：
[0009]一种基于数据缓冲区的跨域数据按需交换方法，其步骤包括：
[0010]1)在高保护等级区域和一般保护等级区域之间建立一个数据缓冲区，所述数据缓冲区包含用于缓存数据的缓冲区数据库及其数据服务接口；在所述缓冲区数据库中建立若干个用于存储交换数据的数据库表，各所述数据库表均包含交换时间标记字段ETL_TIME，用于记录数据到达所述数据缓冲区的时间；
[0011]2)在所述高保护等级区域的网络区间内设置ETL交换装置并将其外部访问地址信息发送给所述数据缓冲区，将所述数据缓冲区设置为对所述ETL交换装置单向开放数据访问权限，以实现数据从所述高保护等级区域经所述数据缓冲区到一般保护等级区域的单向流动；所述数据服务接口设置为对应用端提供服务；
[0012]3)所述一般保护等级区域中的应用端通过所述数据服务接口将所请求的交换数据A的特征参数发送到所述数据缓冲区；所述ETL交换装置定期从所述数据缓冲区中获取应用请求数据的特征参数，并且根据所述特征参数确定数据交换范围，将所述交换数据A发送到所述数据缓冲区；所述数据缓冲区将所述交换数据A存储到一所述数据库表中并在其交换时间标记字段ETL_TIME中记录所述交换数据A交换到所述数据缓冲区中的时间；
[0013]4)所述应用端通过所述数据服务接口获取所述交换数据A；所述应用端下载完所述交换数据A后通过所述数据服务接口触发数据下载完成通知机制，通知所述数据缓冲区删除已完成下载的交换数据A；
[0014]5)所述数据缓冲区按照设定规则对各所述数据库表中的交换数据进行删除。
[0015]进一步的，所述设定规则为：a)监测各所述数据库表中的交换时间标记字段ETL_TIME中的时间，如果所述时间距离当前时间超过设定时长，则删除对应的交换数据；b)定期删除各所述数据库表中交换数据保存最长且已完成下载的交换数据。
[0016]进一步的，所述数据库表的名称包含设定前缀“data_exchange_”，用于与其他表区分。
[0017]进一步的，所述数据缓冲区内设置一定时任务程序，用于每隔一段时间扫描名称为设定前缀“data_exchange_”的数据库表，并在表中查找交换时间标记字段ETL_TIME中时间符合删除条件的记录。
[0018]进一步的，所述数据缓冲区内设置立即删除机制，用于对所述数据缓冲区的交换数据进行人工干预，删除相应交换数据。
[0019]进一步的，所述数据服务接口为Rest接口。
[0020]一种基于数据缓冲区的跨域数据按需交换系统，其特征在于，包括高保护等级区域、一般保护等级区域和数据缓冲区；
[0021]所述数据缓冲区包含用于缓存数据的缓冲区数据库及其数据服务接口；所述缓冲区数据库中包括若干个用于存储交换数据的数据库表，各所述数据库表均包含交换时间标记字段：ETL_TIME，用于记录数据到达所述数据缓冲区的时间；所述高保护等级区域的网络区间内设置ETL交换装置，所述数据缓冲区设置为对所述ETL交换装置单向开放数据访问权限，以实现数据从所述高保护等级区域经所述数据缓冲区到一般保护等级区域的单向流
动；所述数据服务接口设置为对应用端提供服务；
[0022]所述数据服务接口用于接收所述一般保护等级区域中的应用端所请求的交换数据A的特征参数并将其发送到所述数据缓冲区；所述数据缓冲区将所述特征参数发送到所述ETL交换装置；
[0023]所述ETL交换装置定期从所述数据缓冲区中获取应用请求数据的特征参数，并且根据所述特征参数确定数据交换范围，将所述交换数据A发送到所述数据缓冲区；
[0024]所述数据缓冲区将所述交换数据A存储到一所述数据库表中并在其交换时间标记字段ETL_TIME中记录所述交换数据A交换到所述数据缓冲区中的时间；
[0025]所述应用端通过所述数据服务接口获取所述交换本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据缓冲区的跨域数据按需交换方法，其步骤包括：1)在高保护等级区域和一般保护等级区域之间建立一个数据缓冲区，所述数据缓冲区包含用于缓存数据的缓冲区数据库及其数据服务接口；在所述缓冲区数据库中建立若干个用于存储交换数据的数据库表，各所述数据库表均包含交换时间标记字段ETL_TIME，用于记录数据到达所述数据缓冲区的时间；2)在所述高保护等级区域的网络区间内设置ETL交换装置并将其外部访问地址信息发送给所述数据缓冲区，将所述数据缓冲区设置为对所述ETL交换装置单向开放数据访问权限，以实现数据从所述高保护等级区域经所述数据缓冲区到一般保护等级区域的单向流动；所述数据服务接口设置为对应用端提供服务；3)所述一般保护等级区域中的应用端通过所述数据服务接口将所请求的交换数据A的特征参数发送到所述数据缓冲区；所述ETL交换装置定期从所述数据缓冲区中获取应用请求数据的特征参数，并且根据所述特征参数确定数据交换范围，将所述交换数据A发送到所述数据缓冲区；所述数据缓冲区将所述交换数据A存储到一所述数据库表中并在其交换时间标记字段ETL_TIME中记录所述交换数据A交换到所述数据缓冲区中的时间；4)所述应用端通过所述数据服务接口获取所述交换数据A；所述应用端下载完所述交换数据A后通过所述数据服务接口触发数据下载完成通知机制，通知所述数据缓冲区删除已完成下载的交换数据A；5)所述数据缓冲区按照设定规则对各所述数据库表中的交换数据进行删除。2.根据权利要求1所述的方法，其特征在于，所述设定规则为：a)监测各所述数据库表中的交换时间标记字段ETL_TIME中的时间，如果所述时间距离当前时间超过设定时长，则删除对应的交换数据；b)定期删除各所述数据库表中交换数据保存最长且已完成下载的交换数据。3.根据权利要求1或2所述的方法，其特征在于，所述数据库表的名称包含设定前缀“data_exchange_”，用于与其他表区分。4.根据权利要求3所述的方法，其特征在于，所述数据缓冲区内设置一定时任务程序，用于每隔一段时间扫描名称为设定前缀“data_exchange_”的数据库表，并在表中查找交换时间标记字段ETL_...

【专利技术属性】
技术研发人员：刘学敏，李翀，何晓涛，张士波，王安宇，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：