一种数据服务的发布系统、方法、设备和计算机存储介质技术方案

本发明专利技术提供了一种数据服务的发布系统、方法、设备和计算机存储介质，该数据服务的发布系统包括服务端和客户端，服务端包括元数据管理模块、API数据服务管理模块和数据服务鉴权模块，其中：元数据管理模块用于获取元数据；API数据服务管理模块用于利用元数据生成API数据接口，并将所述API数据接口进行发布；数据服务鉴权模块用于获取API数据接口的配置信息和客户端的调用请求、并利用配置信息对调用请求进行鉴权；当调用请求通过鉴权时，客户端调用API数据接口，其通过客户端对API数据接口的调用实现了数据资产的复用。而且，该数据服务的发布系统通过表定义单元可以将不同的异构数据源解析形成同一所述API数据接口，方便了不同异构数据源的调用。不同异构数据源的调用。不同异构数据源的调用。

【技术实现步骤摘要】
一种数据服务的发布系统、方法、设备和计算机存储介质


[0001]本专利技术涉及数据处理
，特别是涉及一种数据服务的发布系统、方法、设备和计算机存储介质。

技术介绍

[0002]云计算的本质是数据处理技术，而数据中往往存储有大量的信息，对现有数据进行挖掘可以为用户提供针对性的数据服务，如中国专利技术专利CN202210470735.5公开了一种数据服务的处理方法、装置、电子设备及存储介质，其能够使管理用户快速构建出数据表的数据服务，其他查询用户可以通过该数据服务直接查询获取与该数据服务对应的目标数据，但是，该技术方案主要依赖于数据同步的可靠性，且当数据为异构数据源时，其支持不同的同步方案时，服务器的资源占用较高，增加了数据服务的开发和运维成本，数据服务的时效性较差；另外，由于该技术方案将目标数据缓存至缓存数据库，没有复用资产。

技术实现思路

[0003]基于此，本专利技术的目的在于，提供一种数据服务的发布系统、方法、设备和计算机存储介质，其可以复用现有的数据资产、且数据服务的时效性高。
[0004]本专利技术所采用的技术方案内容具体如下：
[0005]一种数据服务的发布系统，包括服务端和客户端，所述服务端包括元数据管理模块、API数据服务管理模块和数据服务鉴权模块，其中：
[0006]所述元数据管理模块用于获取元数据；
[0007]所述API数据服务管理模块用于利用所述元数据生成API数据接口，并将所述API数据接口进行发布；
[0008]所述数据服务鉴权模块用于获取所述API数据接口的配置信息和所述客户端的调用请求、并利用所述配置信息对所述调用请求进行鉴权；当所述调用请求通过鉴权时，所述客户端调用所述API数据接口。
[0009]进一步地，所述元数据管理模块包括数据源定义单元和表定义单元，所述数据源定义单元用于利用SQL函数从所述多个数据库中获取多个异构数据源；所述表定义单元用于利用结构化语言对多个所述异构数据源进行解析，得到所述元数据。
[0010]进一步地，所述API数据服务管理模块包括数据服务定义单元、数据服务测试单元和数据服务发布单元，所述数据服务定义单元用于定义所述元数据的API前缀和所述API数据接口的请求类型、并利用所述元数据的API前缀和所述API数据接口的请求类型生成初始API数据接口；所述数据服务测试单元用于对所述初始API数据接口进行测试，将通过测试的初始API数据接口确定为所述API数据接口；所述数据服务发布单元用于将所述API数据接口发布给所述客户端。
[0011]进一步地，所述数据服务鉴权模块包括鉴权管理单元、鉴权配置单元和鉴权服务单元，所述鉴权管理单元用于对所述API数据接口的调用请求进行管理和登记；所述鉴权配
置单元用于对所述API数据接口进行解析，得到所述API接口的配置信息，且所述配置信息包括所述API数据接口的令牌、黑白名单、服务验签和数据限流中；所述鉴权服务单元用于利用所述配置信息对所述客户端的调用请求进行鉴权。
[0012]进一步地，所述鉴权服务单元用于利用所述配置信息对所述客户端的调用请求进行鉴权为：
[0013]所述鉴权服务单元利用令牌、服务验签、黑白名单和数据限流中的至少一种对所述客户端的调用请求进行鉴权，其中：
[0014]利用令牌对所述调用请求进行鉴权为：判断所述调用请求传输的令牌是否符合规则，如不符合规则，则未通过鉴权；如符合规则，则对所述调用请求传输的令牌进行解析，得到所述调用请求的用户信息；判断所述用户信息与所述API数据接口发布的用户信息是否匹配，如匹配成功，则利用服务验签所述客户端的调用请求进行鉴权；
[0015]利用服务验签对所述调用请求进行鉴权为：客户端向所述鉴权服务单元传输调用请求和API数据接口的编码；所述鉴权服务单元根据接收的调用请求和API数据接口的编码生成签名和验证短链、并将生成的签名和验证短链传输至所述客户端；所述客户端根据所述API数据接口的配置信息，将API数据接口的编码、验证短链、签名和调用请求的参数传输至所述鉴权服务单元；所述鉴权服务单元对验证短链、签名和调用请求的参数进行验证，如验证不通过，则未通过鉴权，如验证通过，则利用黑白名单所述客户端的调用请求进行鉴权；
[0016]利用黑白名单所述客户端的调用请求进行鉴权为：所述鉴权服务单元获取所述客户端的IP，将所述客户端的IP与所述API数据接口的白名单进行匹配，如匹配成功，则利用数据限流对所述客户端的调用请求进行鉴权；如匹配失败，则将所述客户端的IP与所述API数据接口的黑名单进行匹配，如匹配失败，则利用数据限流对所述客户端的调用请求进行鉴权，如匹配成功，则未通过鉴权；
[0017]利用数据限流对所述调用请求进行鉴权为：获取所述调用请求的调用流量，并将所述调用流量与流量阈值进行比较，当所述调用流量大于流量阈值时，对所述调用请求的调用流量进行限流处理，直到所述调用流量小于或等于所述流量阈值；当所述调用流量小于或等于流量阈值时，通过鉴权。
[0018]进一步地，所述数据服务发布系统还包括监控模块，所述监控模块包括分析单元、报告生成单元和报警单元，所述分析单元用于获取所述服务端对所述API数据接口的调用日志、并对所述调用日志进行分析，所述调用日志包括调用请求信息、服务端IP、调用过程和调用结果中的至少一种；所述报告生成单元用于利用所述分析单元的分析结果生成监控报告；当所述分析单元的分析结果为异常时，所述报警单元将所述异常信息传输至所述API数据服务管理模块。
[0019]本专利技术还提供了一种数据服务的发布方法，包括：
[0020]S1：服务端获取元数据；
[0021]S2：服务端利用所述元数据生成API数据接口，并将所述API数据接口进行发布；
[0022]S3：服务端用于获取所述API数据接口的配置信息和所述客户端的调用请求、并利用所述配置信息对所述调用请求进行鉴权；当所述调用请求通过鉴权时，所述客户端调用所述API数据接口。
[0023]进一步地，步骤S1包括：
[0024]S11：服务端利用SQL函数从所述多个数据库中获取多个异构数据源；
[0025]S12：服务端利用结构化语言对多个所述异构数据源进行解析，得到所述元数据。
[0026]本专利技术还提供了一种数据服务的发布设备，包括：
[0027]处理器；
[0028]存储器，用于存储由所述处理器执行的计算机程序；
[0029]其中，所述处理器执行所述计算机程序时实现本专利技术所述的数据服务的发布方法。
[0030]本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现本专利技术所述的数据服务的发布方法。
[0031]与现有技术相比，本专利技术的有益效果在于：
[0032]1、本专利技术公开的数据服务的发布系统，其首先利用数据源获取元数据，然后利用元数据生成API数据接口，最后通过利用所述API数据接口的配置信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据服务的发布系统，其特征在于：包括服务端和客户端，所述服务端包括元数据管理模块、API数据服务管理模块和数据服务鉴权模块，其中：所述元数据管理模块用于获取元数据；所述API数据服务管理模块用于利用所述元数据生成API数据接口，并将所述API数据接口进行发布；所述数据服务鉴权模块用于获取所述API数据接口的配置信息和所述客户端的调用请求、并利用所述配置信息对所述调用请求进行鉴权；当所述调用请求通过鉴权时，所述客户端调用所述API数据接口。2.根据权利要求1所述的数据服务发布系统，其特征在于，所述元数据管理模块包括数据源定义单元和表定义单元，所述数据源定义单元用于利用SQL函数从所述多个数据库中获取多个异构数据源；所述表定义单元用于利用结构化语言对多个所述异构数据源进行解析，得到所述元数据。3.根据权利要求1所述的数据服务发布系统，其特征在于，所述API数据服务管理模块包括数据服务定义单元、数据服务测试单元和数据服务发布单元，所述数据服务定义单元用于定义所述元数据的API前缀和所述API数据接口的请求类型、并利用所述元数据的API前缀和所述API数据接口的请求类型生成初始API数据接口；所述数据服务测试单元用于对所述初始API数据接口进行测试，将通过测试的初始API数据接口确定为所述API数据接口；所述数据服务发布单元用于将所述API数据接口发布给所述客户端。4.根据权利要求1所述的数据服务的发布系统，其特征在于，所述数据服务鉴权模块包括鉴权管理单元、鉴权配置单元和鉴权服务单元，所述鉴权管理单元用于对所述API数据接口的调用请求进行管理和登记；所述鉴权配置单元用于对所述API数据接口进行解析，得到所述API接口的配置信息，且所述配置信息包括所述API数据接口的令牌、黑白名单、服务验签和数据限流中；所述鉴权服务单元用于利用所述配置信息对所述客户端的调用请求进行鉴权。5.根据权利要求4所述的数据服务的发布系统，其特征在于，所述鉴权服务单元用于利用所述配置信息对所述客户端的调用请求进行鉴权为：所述鉴权服务单元利用令牌、服务验签、黑白名单和数据限流中的至少一种对所述客户端的调用请求进行鉴权，其中：利用令牌对所述调用请求进行鉴权为：判断所述调用请求传输的令牌是否符合规则，如不符合规则，则未通过鉴权；如符合规则，则对所述调用请求传输的令牌进行解析，得到所述调用请求的用户信息；判断所述用户信息与所述API数据接口发布的用户信息是否匹配，如匹配成功，则利用服务验签所述客户端的调用请求进行鉴权；利用服务验签对所述调用请求进行鉴权为：客户端向所述鉴权服务单元传输调用请求和API数据接口的编码；所述鉴权服务单元根据接收的调用请求和API数据接口的编码生成签名和验证短链...

【专利技术属性】
技术研发人员：叶长航，林沛欣，黄应棣，卢超，许洁斌，
申请(专利权)人：广州市玄武无线科技股份有限公司，
类型：发明
国别省市：