基于混合云部署的数据处理系统技术方案

本申请公开了基于混合云部署的数据处理系统

【技术实现步骤摘要】
基于混合云部署的数据处理系统、方法、装置及网关节点


[0001]本申请涉及数据处理
，尤其涉及基于混合云部署的数据处理系统
、
方法
、
装置及网关节点
。

技术介绍

[0002]开放平台网关承接了许多重点业务接口对外开放，例如营销开放接口
、
征信类数据接口等
。
由于开放平台网关需支撑一些业务的弹性需求，或者面临突发大流量访问场景，需要扩容成倍的机器，但若系统只部署在私有云机房中，短时间内无法快速完成扩容，处于降本增效考虑也不会长期预留太多机器
。
公有云具备灵活性高
、
可扩展性强
、
计算能力强等特征，基于混合云部署的
API
网关应用成为上述问题的最佳解决方案
。
但是公有云对于数据的安全性存储保障较差
。
[0003]因此，在混合云部署模式中，如何保证数据的安全存储和高效的数据处理，是目前亟需解决的技术问题
。

技术实现思路

[0004]本申请提供了基于混合云部署的数据处理系统
、
方法
、
装置及网关节点，用以解决在混合云部署模式中，如何保证数据的安全存储和高效的数据处理的问题
。
[0005]第一方面，本申请提供了一种基于混合云部署的数据处理系统，所述系统包括：在私有云部署的第一
API
网关节点
、
第一数据存储模块和边缘模块，在公有云部署的第二
API
网关节点和第二数据存储模块；
[0006]所述第一数据存储模块，用于存储全量的用户敏感信息类数据
、
服务配置类数据和系统衍生类数据；所述第二数据存储模块，用于存储全量的有状态数据
、
服务配置类数据和公有云产生的系统衍生类数据；
[0007]所述第一
API
网关节点，用于接收第一
API
请求，从所述第一数据存储模块获取处理所述第一
API
请求所需的用户敏感信息类数据和服务配置类数据；将处理所述第一
API
请求所需的有状态数据的数据要素发送至所述第二
API
网关节点，使所述第二
API
网关节点根据所述数据要素进行数据处理后对所述第二数据存储模块存储的有状态数据进行更新；
[0008]所述第二
API
网关节点，用于接收第二
API
请求，通过所述边缘模块从所述第一数据存储模块获取处理所述第二
API
请求所需的用户敏感信息类数据，从所述第二数据存储模块获取处理所述第二
API
请求所需的服务配置类数据，处理所述第二
API
请求后对所述第二数据存储模块存储的有状态数据进行更新
。
[0009]第二方面，本申请提供了一种基于混合云部署的数据处理方法，应用于私有云部署的第一
API
网关节点，包括：
[0010]接收第一
API
请求，从私有云部署的第一数据存储模块获取处理所述第一
API
请求所需的用户敏感信息类数据和服务配置类数据；将处理所述第一
API
请求所需的有状态数据的数据要素发送至公有云部署的第二
API
网关节点，使所述第二
API
网关节点根据所述数
据要素进行数据处理后对公有云部署的第二数据存储模块存储的有状态数据进行更新
。
[0011]第三方面，本申请提供了一种基于混合云部署的数据处理方法，应用于公有云部署的第二
API
网关节点，包括：
[0012]接收第二
API
请求，通过私有云部署的边缘模块从私有云部署的第一数据存储模块获取处理所述第二
API
请求所需的用户敏感信息类数据，从公有云部署的第二数据存储模块获取处理所述第二
API
请求所需的服务配置类数据，处理所述第二
API
请求后对所述第二数据存储模块存储的有状态数据进行更新
。
[0013]第四方面，本申请提供了一种基于混合云部署的数据处理装置，包括：
[0014]第一数据处理单元，用于接收第一
API
请求，从私有云部署的第一数据存储模块获取处理所述第一
API
请求所需的用户敏感信息类数据和服务配置类数据；将处理所述第一
API
请求所需的有状态数据的数据要素发送至公有云部署的第二
API
网关节点，使所述第二
API
网关节点根据所述数据要素进行数据处理后对公有云部署的第二数据存储模块存储的有状态数据进行更新
。
[0015]第五方面，本申请提供了一种基于混合云部署的数据处理装置，所述装置包括：
[0016]第二数据处理单元，用于接收第二
API
请求，通过私有云部署的边缘模块从私有云部署的第一数据存储模块获取处理所述第二
API
请求所需的用户敏感信息类数据，从公有云部署的第二数据存储模块获取处理所述第二
API
请求所需的服务配置类数据，处理所述第二
API
请求后对所述第二数据存储模块存储的有状态数据进行更新
。
[0017]第六方面，本申请提供了一种
API
网关节点，包括处理器
、
通信接口
、
存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0018]存储器，用于存放计算机程序；
[0019]处理器，用于执行存储器上所存放的程序时，实现所述的方法步骤
。
[0020]第七方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法步骤
。
[0021]本申请提供了基于混合云部署的数据处理系统
、
方法
、
装置及网关节点，所述系统包括：在私有云部署的第一
API
网关节点
、
第一数据存储模块和边缘模块，在公有云部署的第二
API
网关节点和第二数据存储模块；所述第一数据存储模块，用于存储全量的用户敏感信息类数据
、
服务配置类数据和系统衍生类数据；所述第二数据存储模块，用于存储全量的有状态数据
、
服务配置类数据和公有云产生的系统衍生类数据；所述第一
API
网关节点，用于接收第一
API
请求，从所述第一数据存储模块获取处理所述第一
API
请求所需的用户敏感信息类数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于混合云部署的数据处理系统，其特征在于，所述系统包括：在私有云部署的第一
API
网关节点
、
第一数据存储模块和边缘模块，在公有云部署的第二
API
网关节点和第二数据存储模块；所述第一数据存储模块，用于存储全量的用户敏感信息类数据
、
服务配置类数据和系统衍生类数据；所述第二数据存储模块，用于存储全量的有状态数据
、
服务配置类数据和公有云产生的系统衍生类数据；所述第一
API
网关节点，用于接收第一
API
请求，从所述第一数据存储模块获取处理所述第一
API
请求所需的用户敏感信息类数据和服务配置类数据；将处理所述第一
API
请求所需的有状态数据的数据要素发送至所述第二
API
网关节点，使所述第二
API
网关节点根据所述数据要素进行数据处理后对所述第二数据存储模块存储的有状态数据进行更新；所述第二
API
网关节点，用于接收第二
API
请求，通过所述边缘模块从所述第一数据存储模块获取处理所述第二
API
请求所需的用户敏感信息类数据，从所述第二数据存储模块获取处理所述第二
API
请求所需的服务配置类数据，处理所述第二
API
请求后对所述第二数据存储模块存储的有状态数据进行更新
。2.
如权利要求1所述的系统，其特征在于，所述系统包括：在所述私有云部署的管理模块，在所述公有云中部署的有状态数据管理模块和无状态数据处理引擎；所述管理模块，用于将所述用户敏感信息类数据
、
服务配置类数据更新至所述第一数据存储模块进行存储，并读取存储在第一数据存储模块的系统衍生类数据；所述无状态数据处理引擎，用于定时通过所述边缘模块读取所述第一数据存储模块中的服务配置类数据，更新至所述第二数据存储模块进行存储；并定时读取所述第二数据存储模块中的系统衍生类数据，通过所述边缘模块更新至所述第一数据存储模块进行存储；所述有状态数据管理模块，用于接收所述数据要素进行数据处理后对所述第二数据存储模块存储的有状态数据进行更新
。3.
如权利要求1所述的系统，其特征在于，所述第一
API
网关节点包括第一缓存和第一数据更新引擎；所述第一
API
网关节点，用于接收到所述第一
API
请求后，根据所述第一
API
请求中携带的用户标识信息确定所需的第一用户敏感信息类数据；若所述第一缓存中不存在所述第一用户敏感信息类数据，通过所述第一数据更新引擎从所述第一数据存储模块中读取所述第一用户敏感信息类数据，并存储至所述第一缓存中，若所述第一缓存中存在所述第一用户敏感信息类数据，从所述第一缓存中读取所述第一用户敏感信息类数据
。4.
如权利要求1所述的系统，其特征在于，所述第二
API
网关节点包括第二缓存和第二数据更新引擎；所述第二
API
网关节点，用于接收到所述第二
API
请求后，根据所述第二
API
请求中携带的用户标识信息确定所需的第二用户敏感信息类数据；若所述第二缓存中不存在所述第二用户敏感信息类数据，通过所述第二数据更新引擎和所述边缘模块从所述第一数据存储模块中读取所述第二用户敏感信息类数据，并存储至所述第二缓存中，若所述第二缓存中存在所述第二用户敏感信息类数据，从所述第二缓存中读取所述第二用户敏感信息类数据
。5.
如权利要求3所述的系统，其特征在于，第一
API
网关节点，用于若所述第一缓存中存在所述第一用户敏感信息类数据，根据所述第一用户敏感信息类数据的刷新时间判断所述
第一用户敏感信息类数据是否有效，如果是，从所述第一缓存中读取所述第一用户敏感信息类数据，如果否，通过所述第一数据更新引擎从所述第一数据存储模块中读取所述第一用户敏感信息类数据，并存储至所述第一缓存中，从所述第一缓存中读取所述第一用户敏感信息类数据，并记录所述第一用户敏感信息类数据的刷新时间
。6.
如权利要求4所述的系统，其特征在于，第二
API
网关节点，用于若所述第二缓存中存在所述第二用户敏感信息类数据，根据所述第二用户敏感信息类数据的刷新时间判断所述第二用户敏感信息类数据是否有效，如果是，从所述第二缓存中读取所述第二用户敏感信息类数据，如果否，通过所述第二数据更新引擎和所述边缘模块从所述第一数据存储模块中读取所述第二用户敏感信息类数据，并存储至所述第二缓存中，从所述第二缓存中读取所述第二用户敏感信息类数据，并记录所述第二用户敏感信息类数据的刷新时间
。7.
一种基于混合云部署的数据处理方法，其特征在于，应用于私有云部署的第一
API
网关节点，包括：接收第一
API
请求，从私有云部署的第一数据存储模块获取处理所述第一
API
请求所需的用户敏感信息类数据和服务配置类数据；将处理所述第一
API
请求所需的有状态数据的数据要素发送至公有云部署的第二
API
网关节点，使所述第二
API
网关节点根据所述数据要素进行数据处理后对公有云部署的第二数据存储模块存储的有状态数据进行更新
。8.
如权利要求7所述的方法，其特征在于，所述方法包括：接收到所述第一
API
请求后，根据所述第一
API
请求中携带的用户标识信息确定所需的第一用户敏感信息类数据；若所述第一
API
网关节点中的第一缓存中不存在所述第一用户敏感信息类数据，通过所述第一
API
网关节点中的第一数据更新引擎从所述第一数据存储模块中读取所述第一用户敏感信息类数据，并存储至所述第一缓存中，若所述第一缓存中存在所述第一用户敏感信息类数据，从所述第一缓存中读取所述第一用户敏感信息类数据
。9.
如权利要求8所述的方法，其特征在于，所述方法包括：若所述第一缓存中存在所述第一用户敏感信息类数据，根据所述第一用户敏感信息类数据的刷新时间判断所述第一用户敏感信息类数据是否有效，如果是，从所述第一缓存中读取所述第一用户...

【专利技术属性】
技术研发人员：王一茗，周健，宋鑫晶，张明虎，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：