数据网关装置和大数据系统制造方法及图纸

本发明专利技术公开了数据网关装置和大数据系统。其中，数据网关装置包括：用户管理模块，其用于管理用户信息；服务管理模块，其用于管理向用户开放的数据服务的信息；规则管理模块，其用于针对不同用户和不同的数据服务设置不同合规检查规则；取数管理模块，其用于接收用户发出的服务的取数请求，向数据中心发出相应的取数请求，并接受数据中心返回的源数据；以及数据脱敏处理模块，其用于根据规则管理模块设置的规则，对数据中心返回的源数据进行合规检查，从而生成服务数据，所述服务数据为满足合规检查的数据，其中所述取数管理模块还用于将数据脱敏处理模块生成的服务数据提供给用户。

Data gateway device and large data system

The invention discloses a data gateway device and a large data system. The data gateway device includes: user management module, which is used for the management of user information; service management module, which is used for data management and open to the user service information; rule management module, which is used to set different compliance inspection rules for different users and different data services; data management module, which is used for the number of requests receiving user service, take the number of requests issued corresponding to the data center, data center and accept the source of return; and the data processing module for desensitization, according to rule management module set rules, compliance inspection of the source data center returns, thereby generating the data service, data service in order to meet the compliance inspection data, wherein the data management module is also used to provide data service data processing module to generate desensitization Households.

【技术实现步骤摘要】

本专利技术属于数据处理
，具体涉及一种数据网关(Gateway)装置和一种包括该数据网关装置的大数据系统，其可保障大数据的安全运营。
技术介绍
在大数据时代，盘活数据资产、开放共享数据已成为大势所趋。开放数据服务、实现大数据的运营和变现是当前大数据发展的热点问题。然而，在大数据的运营或者变现过程中，如何保证数据的合规性、避免敏感信息的泄漏、对交易数据进行计量或者计费以及对数据进行审计等成为了当前亟需解决的问题。
技术实现思路
本专利技术的目的是提供一种数据网关装置和一种包括该数据网关装置的大数据系统，其可以解决现有技术中存在的上述至少一个问题。为实现本专利技术的目的，根据本专利技术的一方面，提供了一种数据网关装置，其包括：用户管理模块，其用于管理用户信息；服务管理模块，其用于管理向用户开放的数据服务的信息；规则管理模块，其用于针对不同用户和不同的数据服务设置不同合规检查规则；取数管理模块，其用于接收用户发出的服务的取数请求，向数据中心发出相应的取数请求，并接受数据中心返回的源数据；以及数据脱敏处理模块，其用于根据规则管理模块设置的规则，对数据中心返回的源数据进行合规检查，从而生成服务数据，所述服务数据为满足合规检查的数据，其中所述取数管理模块还用于将数据脱敏处理模块生成的服务数据提供给用户。可选地，所述规则管理模块还可以用于针对不同用户和不同的数据服务设置不同的数据过滤脱敏规则，并且所述数据脱敏处理模块可以用于对数据中心返回的源数据进行过滤脱敏，然后再对过滤脱敏的数据进行合规检查。可选地，所述取数模块还可以用于对输出的服务数据进行计量和计费。可选地，所述规则管理模块还可以用于设置用户的服务数据的输出行数，当满足合规检查的数据的总行数大于所述设置的服务数据的输出行数时，所述数据脱敏处理模块还可以用于根据所述规则管理模块设置的服务数据的输出行数，对满足合规检查的数据，从首行开始，顺序截取一定行数的数据，来生成所述服务数据，其中所述行数＝服务数据的输出行数。可选地，所述取数管理模块还可以用于针对用户的取数请求生成取数任务，并提供取数任务的查看功能。可选地，所述用户管理模块还可以用于对不同类型的用户的权限进行配置，所述权限包括功能菜单访问权限。所述合规检查规则可以包括：数据字典匹配、数值范围检查和字段长度检查。所述数据过滤脱敏规则可以包括：服务输出字段筛选、字段的条件过滤和字段内容处理。可选地，所述数据网关装置还可以包括存储单元，其用于缓存数据中心返回的源数据和数据脱敏处理模块生成的服务数据，其中所述取数管理模块配置为：首先判断所述存储单元中是否存在客户所请求的数据，如果所请求的数据已缓存在存储单元中，则将缓存在存储单元中的所请求的数据作为服务数据提供给客户，否则向数据中心发出相应的取数请求。可选地，所述数据网关装置还可以包括安全审计模块，其用于记录操作日志和取数日志，并将操作日志和取数日志存档。可选地，所述数据网关装置还可以包括工单管理模块，其用于处理系统工单任务，所述工单任务包括工单创建和工单查看。可选地，所述数据网关装置还可以包括系统管理模块，其用于配置系统的基础数据，所述基础数据包括数据周期和定时器，所述数据周期为数据中心返回的源数据和所述数据脱敏处理模块生成的服务数据在数据网关装置中的缓存周期。根据本专利技术的另一方面，还提供了一种客户端可访问的大数据系统，其包括数据中心和数据网关装置，所述数据网关装置通过接口与所述数据中心连接，其中所述数据网关装置为上述任意一种数据网关装置，并且所述数据网关装置配置为能够通过接口与客户端连接。所述数据网关装置与所述数据中心可以通过数据服务信息同步更新接口、取数申请接口、服务数据生成通知接口和服务数据同步接口来实现数据连接，其中，通过所述服务信息同步更新接口，所述数据网关装置的服务管理模块中的数据服务的信息与所述数据中心开放的数据服务保持一致；通过所述取数申请接口，所述数据网关装置的取数管理模块向所述数据中心发出服务的取数请求，并且，当所述服务为实时服务时，所述数据中心通过所述取数申请接口向所述数据网关装置的取数管理模块返回源数据，当所述服务为周期服务且所述服务的帐期为历史帐期时，所述数据中心通过所述取数申请接口向所述数据网关装置的取数管理模块返回所请求源数据的存储信息，当所述服务为周期服务且所述服务的帐期为未来帐期时，所述数据中心通过所述取数申请接口向所述网关装置的取数管理模块返回帐期未到消息；通过所述服务数据生成通知接口，所述数据中心通知所述数据网关装置的取数管理模块所请求源数据准备就绪并返回所请求源数据的存储信息；以及通过所述服务数据同步接口，所述数据网关装置的取数管理模块根据所请求源数据的存储信息获取数据。所述数据服务信息同步更新接口、取数申请接口、服务数据生成通知接口可以通过WebService接口实现；所述服务数据同步接口可以通过FTP接口实现。数据网关装置还配置为可以通过取数申请接口和服务数据推送接口来与客户端数据连接，其中，通过取数申请接口，数据网关装置的取数管理模块接受客户端发出的服务的取数请求，并且数据网关装置的取数管理模块向用户提供所请求的服务数据；通过服务数据推送接口，数据网关装置的取数管理模块将所请求的服务数据推送到指定位置。所述取数申请接口可以通过WebService接口实现；所述服务数据推送接口可以通过FTP接口实现。本专利技术提供的数据网关装置和大数据系统中，针对不同用户和不同的数据类型，利用不同的合规检查规则对数据中心提供的源数据进行审核，保证了提供给用户的服务数据的规范性；对于定义的数据中的敏感信息，根据设置的规则进行过滤脱敏，保障交易输出的数据(即，服务数据)中无敏感内容；对于合规的脱敏后的输出数据，按照不同用户、交易输出的数据量大小和数据价值属性进行计量和计费；此外，数据输出或者交易过程中，对数据输出对象(即，交易用户)、输出数据的时间以及输出数据的格式等进行永久性存档，以便于未来的运营合规性审计。附图说明图1为本专利技术一个实施例提供的数据网关装置的示意图；图2为本专利技术另一个实施例提供的数据网关装置的示意图；图3为本专利技术实施例提供的数据网关装置的工本文档来自技高网...

【技术保护点】
一种数据网关装置，包括：用户管理模块，其用于管理用户信息；服务管理模块，其用于管理向用户开放的数据服务的信息；规则管理模块，其用于针对不同用户和不同的数据服务设置不同合规检查规则；取数管理模块，其用于接收用户发出的服务的取数请求，向数据中心发出相应的取数请求，并接受数据中心返回的源数据；以及数据脱敏处理模块，其用于根据规则管理模块设置的规则，对数据中心返回的源数据进行合规检查，从而生成服务数据，所述服务数据为满足合规检查的数据，其中所述取数管理模块还用于将数据脱敏处理模块生成的服务数据提供给用户。

【技术特征摘要】
1.一种数据网关装置，包括：
用户管理模块，其用于管理用户信息；
服务管理模块，其用于管理向用户开放的数据服务的信息；
规则管理模块，其用于针对不同用户和不同的数据服务设置
不同合规检查规则；
取数管理模块，其用于接收用户发出的服务的取数请求，向
数据中心发出相应的取数请求，并接受数据中心返回的源数据；
以及
数据脱敏处理模块，其用于根据规则管理模块设置的规则，
对数据中心返回的源数据进行合规检查，从而生成服务数据，所
述服务数据为满足合规检查的数据，其中
所述取数管理模块还用于将数据脱敏处理模块生成的服务
数据提供给用户。
2.根据权利要求1所述的数据网关装置，所述规则管理模
块还用于针对不同用户和不同的数据服务设置不同的数据过滤脱
敏规则，并且所述数据脱敏处理模块用于对数据中心返回的源数
据进行过滤脱敏，然后再对过滤脱敏的数据进行合规检查。
3.根据权利要求1所述的数据网关装置，其中，所述取数
模块还用于对输出的服务数据进行计量和计费。
4.根据权利要求3所述的数据网关装置，其中，所述规则
管理模块还用于设置用户的服务数据的输出行数，当满足合规检
查的数据的总行数大于所述设置的服务数据的输出行数时，所述
数据脱敏处理模块还用于根据所述规则管理模块设置的服务数据
的输出行数，对满足合规检查的数据，从首行开始，顺序截取一
定行数的数据，来生成所述服务数据，其中所述行数＝服务数据的
输出行数。
5.根据权利要求1所述的数据网关装置，其中，所述合规
检查规则包括：数据字典匹配、数值范围检查和字段长度检查。
6.根据权利要求1所述的数据网关装置，其中，所述过滤
脱敏规则包括：服务输出字段筛选、字段的条件过滤和字段内容
处理。
7.根据权利要求1-6中任一项所述的数据网关装置，还包
括：
存储单元，其用于缓存数据中心返回的源数据和数据脱敏处
理模块生成的服务数据，其中所述取数管理模块配置为：首先判
断所述存储单元中是否存在客户所请求的数据，如果所请求的数
据已缓存在存储单元中，则将缓存在存储单元中的所请求的数据
作为服务数据提供给客户，否则向数据中心发出相应的取数请求。
8.根据权利要求1-6中任一项所述的数据网关装置，还包括：
安全审计模块，其用于记录操作日志和取数日志，并将操作
日志和取数日志存档。
9.根据权利要求1-6中任一项所述的数据网关装置，还包括：
系统管理模块，其用于配置系统的基础数据，所述基础数据
...

【专利技术属性】
技术研发人员：李卫，魏进武，张基恒，张呈宇，霍玉嵩，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：北京;11