一种数据仓库系统技术方案

本发明专利技术提供了一种数据仓库系统，包括一数据手机单元、一数据存储单元和一数据访问单元。通过本技术方案，能够向企业，特别是互联网企业的内部各业务系统提供安全的数据存储和访问服务，各业务系统相关的业务数据都可以上送到数据仓库系统，由数据仓库系统进行统一的清洗和存储，各业务系统访问这些数据时会进行统一的鉴权处理，并具备多种防窃取的数据交互方式，一方面能够实现企业内部系统最大限度的数据共享，另一方面能够满足对外隐私数据的最大保护需求，具有极佳的适用性和可推广性。

【技术实现步骤摘要】
一种数据仓库系统
本专利技术涉及数据存储管理领域，尤其涉及一种数据仓库系统。
技术介绍
随着网络爬虫、撞库等黑客技术盛行，各类企业，特别是互联网企业的移动端应用程序、网站、公众号、小程序内的隐私数据缺都乏统一有效的管控。大多数企业的数据都是存储在Oracle或MySQL等关系型数据库中，前端应用程序只是进行了简单是用户身份校验后，就可以访问几乎所有的用户数据和业务数据，很容易被不法分子窃取和利用，进而损害企业和企业用户的权益，如何提高数据仓库存储调用过程中的安全性是目前亟需解决的主要问题。CN102411599A提出了一种数据仓库中异常行为的处理方法及监测服务器，通过检测服务器根据数据仓库中系统表中记录的人物信息来判断ETL过程是否出现异常，并在出现异常时将异常行为信息记录到数据仓库的异常信息表中并将异常行为信息发送到运维监测设备，以使运维人员及时获取到异常行为信息，进而及时采取相应处理措施。该技术方案与现有技术相比虽然无需运维人员频繁地去查询数据仓库就可以及时获知异常行为信息，一定程度上提升了数据仓库的安全性，但运维人员仅能通过该技术方案获悉异常行为信息，系统无法针对异常行为信息给出自动化解决方案并进行处理，难以及时有效地对异常行为做出有效响应。于现有技术的基础上，为了有效地解决上述现有问题，需要提供一种高效安全的数据存储管理系统，一方面能够统一进行数据的清洗存储和访问控制，在保障日常数据存储效率的同时极大程度上增加不法分子窃取数据的难度，另一方面能够实现对数据访问轨迹有效追溯，在数据发生泄露时能够第一时间进行排查和跟踪，针对不同应用场景制定多种防窃取的数据交互方式，进一步提升数据仓库的智能化和安全性。
技术实现思路
针对现有技术中存在的上述问题，现提供一种数据仓库系统，具体技术方案如下所示：一种数据仓库系统，该种数据仓库系统分别远程连接多个外部的业务系统，业务系统包括线上交易系统、网络请求系统和风险管控系统；数据仓库系统包括：一数据接收单元，用于收集每个业务系统上传的业务数据，并对业务数据进行预处理，输出相应的待存储数据；一数据存储单元，连接数据接收单元，数据存储单元包括多个子存储模块，每个子存储模块对应一预设的存储类别，数据存储单元用于接收待存储数据并作为存储数据存储至相应的子存储模块中；一数据访问单元，连接数据存储单元，数据访问单元预先设置有多个不同的数据交互模型，用于根据业务系统发布的数据访问请求指令，从数据存储单元提取相应的存储数据并选择相应的数据交互模型进行数据交互。优选的，该种数据仓库系统，其中数据接收单元进一步包括：代理模块，用于接收并解析业务数据；缓存模块，连接代理模块，用于对业务数据进行分类缓存和并发输出，缓存模块包括多个数据队列，每个数据队列对应一存储类别，业务数据缓存于对应的数据队列中；清洗模块，连接缓存模块，清洗模块包括多个清洗子模块，每个清洗子模块对应一存储类别，用于对数据队列中的业务数据进行数据清洗，输出待存储数据。优选的，该种数据仓库系统，其中清洗模块采用Flink流式计算进行数据清洗。优选的，该种数据仓库系统，其中数据接收单元还包括一通知模块；通知模块连接清洗模块，当清洗模块输出待存储数据时向预先订阅通知的业务系统发送数据收集完成通知。优选的，该种数据仓库系统，其中数据接收单元对业务数据的接收支持套接字传输协议和/或超文本传输协议和/或日志收集传输协议和/或文件传输协议。优选的，该种数据仓库系统，其中业务数据包括业务系统收集的用户数据和订单数据。优选的，该种数据仓库系统，其中数据存储单元进一步包括：一快照模块，用于获取待存储数据对应的数据快照；一搜索模块，连接快照模块，用于存储数据快照，并可根据外部的用户指令对数据快照进行提取和分析。优选的，该种数据仓库系统，其中数据访问单元进一步包括：一第二存储模块，用于存储多个数据交互模型；一鉴权模块，用于对数据访问请求指令进行访问权限鉴权，并输出一鉴权结果；一数据交互模块，分别连接鉴权模块和第二存储模块，用于根据鉴权结果，当鉴权结果为通过时，根据数据访问请求指令提取相应的存储数据和数据交互模型并使用数据交互模型对存储数据进行数据交互。优选的，该种数据仓库系统，其中数据访问单元提供统一的API接口供每个业务系统发起数据访问请求指令。优选的，该种数据仓库系统，其中数据交互模型包括：加密传输模型，用于对待数据交互的存储数据进行动态加密；阅后即焚模型，用于将待数据交互的存储数据转化为图片格式数据进行输出并于初次访问后的一预设时间后删除图片格式数据；脱敏模型，用于对待数据交互的存储数据进行脱敏处理；高频拦截模型，用于判断一用户设备或IP地址的访问频次是否高于一预设阈值，并当访问频次高于预设阈值时切断于用户设备或IP地址的访问连接。上述技术方案具有如下优点或有益效果：通过本技术方案，能够向企业，特别是互联网企业的内部各业务系统提供安全的数据存储和访问服务，各业务系统相关的业务数据都可以上送到数据仓库系统，由数据仓库系统进行统一的清洗和存储，各业务系统访问这些数据时会进行统一的鉴权处理，并具备多种防窃取的数据交互方式，一方面能够实现企业内部系统最大限度的数据共享，另一方面能够满足对外隐私数据的最大保护需求，具有极佳的适用性和可推广性。附图说明图1为本专利技术一种数据仓库系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面结合附图和具体实施例对本专利技术作进一步说明，但不作为本专利技术的限定。针对现有技术中存在的上述问题，现提供一种数据仓库系统，具体技术方案如下所示：一种数据仓库系统，如图1所示，该种数据仓库系统分别远程连接多个外部的业务系统0，业务系统包括线上交易系统、网络请求系统和风险管控系统；数据仓库系统1包括：一数据接收单元11，用于收集每个业务系统上传的业务数据，并对业务数据进行预处理，输出相应的待存储数据；一数据存储单元12，连接数据接收单元11，数据存储单元12包括多个子存储模块120，每个子存储模块120对应一预设的存储类别，数据存储单元12用于接收待存储数据并作为存储数据存储至相应的子存储模块120中；一数据访问单元13，连接数据存储单元12，数据访问单元13预先设置有多个不同的数据交互模型，用于根据业务系统发布的数据访问请求指令，从数据存储单元12提取相应的存储数据并选择相应的数据交互模型进行数据本文档来自技高网...

【技术保护点】
1.一种数据仓库系统，其特征在于，所述数据仓库系统分别远程连接多个外部的业务系统，所述业务系统包括线上交易系统、网络请求系统和风险管控系统；/n所述数据仓库系统包括：/n一数据接收单元，用于收集每个所述业务系统上传的业务数据，并对所述业务数据进行预处理，输出相应的待存储数据；/n一数据存储单元，连接所述数据接收单元，所述数据存储单元包括多个子存储模块，每个所述子存储模块对应一预设的存储类别，所述数据存储单元用于接收所述待存储数据并作为存储数据存储至相应的所述子存储模块中；/n一数据访问单元，连接所述数据存储单元，所述数据访问单元预先设置有多个不同的数据交互模型，用于根据所述业务系统发布的数据访问请求指令，从所述数据存储单元提取相应的存储数据并选择相应的数据交互模型进行数据交互。/n

【技术特征摘要】
1.一种数据仓库系统，其特征在于，所述数据仓库系统分别远程连接多个外部的业务系统，所述业务系统包括线上交易系统、网络请求系统和风险管控系统；
所述数据仓库系统包括：
一数据接收单元，用于收集每个所述业务系统上传的业务数据，并对所述业务数据进行预处理，输出相应的待存储数据；
一数据存储单元，连接所述数据接收单元，所述数据存储单元包括多个子存储模块，每个所述子存储模块对应一预设的存储类别，所述数据存储单元用于接收所述待存储数据并作为存储数据存储至相应的所述子存储模块中；
一数据访问单元，连接所述数据存储单元，所述数据访问单元预先设置有多个不同的数据交互模型，用于根据所述业务系统发布的数据访问请求指令，从所述数据存储单元提取相应的存储数据并选择相应的数据交互模型进行数据交互。


2.如权利要求1所述的数据仓库系统，其特征在于，所述数据接收单元进一步包括：
代理模块，用于接收并解析所述业务数据；
缓存模块，连接所述代理模块，用于对所述业务数据进行分类缓存和并发输出，所述缓存模块包括多个数据队列，每个所述数据队列对应一所述存储类别，所述业务数据缓存于对应的所述数据队列中；
清洗模块，连接所述缓存模块，所述清洗模块包括多个清洗子模块，每个清洗子模块对应一所述存储类别，用于对所述数据队列中的所述业务数据进行数据清洗，输出所述待存储数据。


3.如权利要求2所述的数据仓库系统，其特征在于，所述清洗模块采用Flink流式计算进行数据清洗。


4.如权利要求2所述的数据仓库系统，其特征在于，所述数据接收单元还包括一通知模块；
所述通知模块连接所述清洗模块，当所述清洗模块输出所述待存储数据时向预先订阅通知的业务系统发送数据收集完成通知。


5.如权利要求1所述的数据仓库系统，其特征在于，所述数据...

【专利技术属性】
技术研发人员：王颂，
申请(专利权)人：上海瀚之友信息技术服务有限公司，
类型：发明
国别省市：上海;31