基于脚本的数据集分享和协作方法及系统技术方案

本发明专利技术实施例公开了一种基于脚本的数据集分享和协作方法及系统。具体包括以下方法：将接入的数据库或数据仓库作为数据源，并获取数据源中的表；使用脚本语言开发业务逻辑，把数据源的表转换成数据集；把数据集发布成API；通过代码开发或第三方应用软件调用数据集API；识别数据集后查询数据缓存器是否已有缓存结果，将数据结果存储于数据缓存器，并作为API响应反馈给客户端。本申请解决了现有的方法存在数据隐私和权限管控不受发布者的控制，存在安全隐患的问题、数据使用者想要对数据发布者的数据进行二次加工并发布成新的数据集存在难度较大和数据无法实时更新的问题和数据使用者看到的只是黑盒结果，存在无法看到数据的生成逻辑的问题。据的生成逻辑的问题。据的生成逻辑的问题。

【技术实现步骤摘要】
基于脚本的数据集分享和协作方法及系统


[0001]本专利技术涉及数据集
，具体涉及一种基于脚本的数据集分享和协作方法及系统。

技术介绍

[0002]企业往往有数据分享的需求，一般包括在企业内部在企业内部的不同员工之间分享数据，如市场运营部请数仓团队导出市场活动数据，以及把企业内数据分享给外部，如电商平台要把数据导出分享给品牌商。但市场上现有技术往往存在诸多弊端，例如：一旦把数据本身导出，数据隐私和权限管控就不受发布者的控制，存在安全隐患；数据使用者想要对数据发布者的数据进行二次加工并发布成新的数据集难度较大，数据无法实时更新；数据使用者看到的只是黑盒结果，无法看到数据的生成逻辑，进而对使用的数据缺少信心。
[0003]综上所述，现有的方法存在的问题如下：
[0004]1、数据隐私和权限管控不受发布者的控制，存在安全隐患的问题；
[0005]2、数据使用者想要对数据发布者的数据进行二次加工并发布成新的数据集存在难度较大和数据无法实时更新的问题；
[0006]3、数据使用者看到的只是黑盒结果，存在无法看到数据的生成逻辑的问题。

技术实现思路

[0007]本专利技术实施例的目的在于提供一种基于脚本的数据集分享和协作方法及系统，用以解决现有的方法存在数据隐私和权限管控不受发布者的控制，存在安全隐患的问题、数据使用者想要对数据发布者的数据进行二次加工并发布成新的数据集存在难度较大和数据无法实时更新的问题和数据使用者看到的只是黑盒结果，存在无法看到数据的生成逻辑的问题。/>[0008]为实现上述目的，本专利技术实施例提供一种基于脚本的数据集分享和协作方法，方法包括以下步骤：
[0009]将接入的数据库或数据仓库作为数据源，并获取数据源中的表；
[0010]使用脚本语言开发业务逻辑，把数据源的表转换成数据集；
[0011]把数据集发布成API，并定义访问权限管理规则；
[0012]通过代码开发或第三方应用软件调用数据集API；
[0013]识别数据集后查询数据缓存器是否已有缓存结果，若有缓存结果，则直接反馈该缓存结果，若没有缓存结果，则通过将脚本分发到外部集群上执行来得到数据结果，将数据结果存储于数据缓存器，并作为API响应反馈给客户端。进一步地，定义访问权限管理规则的具体过程为：
[0014]在API的访问权限管理配置界面，设置对应的数据集API管理员协助进行管理操作和设置数据集API的访问权限黑名单或白名单；
[0015]通过数据集API管理员创建数据集API的开发者Token，在客户端调用数据集API时
通过开发者Token开发数据集API的访问权限。
[0016]进一步地，通过代码开发或第三方应用软件调用数据集API中的审计日志，具体过程包括：
[0017]通过API调用审计日志的界面，根据过滤条件在审计日志界面上查看和检索数据集API被调用的记录，并导成Excel文件。
[0018]进一步地，过滤条件包括时间范围、调用行为类型和调用方用户名。
[0019]进一步地，通过代码开发或第三方应用软件调用数据集API中的版本管理页面，具体过程为：
[0020]在数据集API版本管理页面查看对应数据集每次的编辑历史，每次编辑会形成一个版本，查看每个版本中数据集API的定义详情。
[0021]进一步地，基于已发布的数据集进行二次加工的具体过程包括：
[0022]登录并查看已发布的数据集，将已发布的数据集作为数据源，开发脚本并定义新的数据集，将新的数据集发布成API，并定义访问权限控制。
[0023]一种基于脚本的数据集分享和协作系统，所述系统包括：
[0024]获取模块，用于将接入的数据库或数据仓库作为数据源，并获取数据源中的表；
[0025]转换模块，用于使用脚本语言开发业务逻辑，把数据源的表转换成数据集；
[0026]处理模块，用于把数据集发布成API，并定义访问权限管理规则；
[0027]调用模块，用于通过代码开发或第三方应用软件调用数据集API
[0028]识别模块，用于识别数据集后查询数据缓存器是否已有缓存结果，若有缓存结果，则直接反馈该缓存结果，若没有缓存结果，则通过将脚本分发到外部集群上执行来得到数据结果，将数据结果存储于数据缓存器，并作为API响应反馈给客户端。
[0029]进一步地，所述处理模块还包括：
[0030]访问权限管理配置单元，用于在API的访问权限管理配置界面，设置对应的数据集API管理员协助进行管理操作和设置数据集API的访问权限黑名单或白名单；
[0031]创建单元，用于通过数据集API管理员创建数据集API的开发者Token，在客户端调用数据集API时通过开发者Token开发数据集API的访问权限。
[0032]进一步地，所述调用模块还包括：
[0033]查询单元，用于通过API调用审计日志的界面，根据过滤条件在审计日志界面上查看和检索数据集API被调用的记录，并导成Excel文件。
[0034]进一步地，所述调用模块还包括：
[0035]版本管理单元，用于在数据集API版本管理页面查看对应数据集每次的编辑历史，每次编辑会形成一个版本，查看每个版本中数据集API的定义详情。
[0036]本专利技术实施例具有如下优点：
[0037]1.本专利技术通过将接入的数据库或数据仓库作为数据源，并获取数据源中的表；使用脚本语言开发业务逻辑，把数据源的表转换数据集；把数据集发布成API，并定义访问权限管理规则；通过代码开发或第三方应用软件调用数据集API；识别数据集后查询数据缓存器是否已有缓存结果，若有缓存结果，则直接反馈该缓存结果，若没有缓存结果，则通过将脚本分发到外部集群上执行来得到数据结果，将数据结果存储于数据缓存器，并作为API响应反馈给客户端。解决了现有的方法存在数据隐私和权限管控不受发布者的控制，存在安
全隐患的问题、数据使用者想要对数据发布者的数据进行二次加工并发布成新的数据集存在难度较大和数据无法实时更新的问题和数据使用者看到的只是黑盒结果，存在无法看到数据的生成逻辑的问题。
[0038]2.本申请中具有更安全的数据隐私保护：数据集以API形式提供下游使用，避免数据导出产生的权限不受控和隐私泄露。
[0039]3.本申请具有更便捷的数据二次加工：任何用户可以使用有权限访问的现有数据集作为数据源进行二次加工，形成脚本或API的嵌套，既能很方便地实现数据二次加工，又能和所使用的数据集保持数据同步。
[0040]4.本申请具有更清晰的数据业务逻辑：数据使用者可以通过查看脚本内容了解数据的生成逻辑，并通过查看脚本版本历史掌握数据生成逻辑的变更历史。
附图说明
[0041]为了更清楚地说明本专利技术的实施方式或现有技术的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地中介绍。显而易见地，下面描述中的附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脚本的数据集分享和协作方法，其特征在于，方法包括以下步骤：将接入的数据库或数据仓库作为数据源，并获取数据源中的表；使用脚本语言开发业务逻辑，把数据源的表转换成数据集；把数据集发布成API，并定义访问权限管理规则；通过代码开发或第三方应用软件调用数据集API；识别数据集后查询数据缓存器是否已有缓存结果，若有缓存结果，则直接反馈该缓存结果，若没有缓存结果，则通过将脚本分发到外部集群上执行来得到数据结果，将数据结果存储于数据缓存器，并作为API响应反馈给客户端。2.如权利要求1所述的基于脚本的数据集分享和协作方法，其特征在于，定义访问权限管理规则的具体过程为：在API的访问权限管理配置界面，设置对应的数据集API管理员协助进行管理操作和设置数据集API的访问权限黑名单或白名单；通过数据集API管理员创建数据集API的开发者Token，在客户端调用数据集API时通过开发者Token开发数据集API的访问权限。3.如权利要求1所述的基于脚本的数据集分享和协作方法，其特征在于，通过代码开发或第三方应用软件调用数据集API中的审计日志，具体过程包括：通过API调用审计日志的界面，根据过滤条件在审计日志界面上查看和检索数据集API被调用的记录，并导成Excel文件。4.如权利要求3所述的基于脚本的数据集分享和协作方法，其特征在于，过滤条件包括时间范围、调用行为类型和调用方用户名。5.如权利要求1所述的基于脚本的数据集分享和协作方法，其特征在于，通过代码开发或第三方应用软件调用数据集API中的版本管理页面，具体过程为：在数据集API版本管理页面查看对应数据集每次的编辑历史，每次编辑会形成一个版本，查看每个版本中数据集API的定义详情。6.如权利要求1所述的基于脚本的数据集分享和协作方法，其特征在于，基于已发布的数据集...

【专利技术属性】
技术研发人员：李栋，李扬，韩卿，
申请(专利权)人：跬云上海信息科技有限公司，
类型：发明
国别省市：