数据库集成的外部无证书暂存区制造技术

存储集成对象是在数据仓库系统的数据库中创建的。存储集成对象标识云存储提供商系统的存储平台中的存储位置和由基于网络的数据仓库系统维护的云身份对象。在云存储提供商的存储平台处，云身份对象与被授予访问存储位置的许可的代理身份对象相关联。基于存储集成对象创建外部暂存区对象。外部暂存区对象标识存储位置，并包括与存储集成对象的关联。接收加载或卸载存储位置处的数据的命令。响应于该命令，经由代理身份对象，使用外部暂存区对象加载或卸载存储位置处的数据。

【技术实现步骤摘要】
【国外来华专利技术】数据库集成的外部无证书暂存区优先权申请的交叉引用本申请要求2019年11月14日提交并于2020年6月14日作为美国专利第10，715，524号发布的美国专利申请序列号16/683，641的优先权，其内容通过引用整体结合于此。
本公开的实施例一般涉及基于网络的数据仓库，更具体地，涉及用于数据仓库存储集成的外部无证书暂存区(externalcredential-lessstage)。背景云数据仓库(也称为“基于网络的数据仓库(network-baseddatawarehouse)”或简称为“数据仓库”)是用于数据分析和报告的基于网络的系统，其包括来自一个或更多个不同源的集成数据的中央储存库。云数据仓库可以存储可用于为企业创建分析报告的当前和历史数据。为此，数据仓库通常提供商业智能工具、提取、变换数据并将数据加载到储存库中的工具、以及管理和检索元数据的工具。外部暂存区(externalstage)是云数据仓库中的组件，有助于云数据仓库系统和客户管理的存储位置之间的集成(此处称为“存储集成”)。一般来说，外部暂存区用于向客户管理的存储位置加载数据和从客户管理的存储位置卸载数据。在传统的实施方式中，必须向外部暂存区提供秘密安全证书，以从这些存储位置读取数据和向这些存储位置写入数据。然而，秘密安全证书的交换产生了可能导致秘密安全证书暴露的漏洞，这可能导致对数据的未授权访问。此外，在传统实施方式中，云数据仓库帐户管理员禁止组织中的成员创建外部暂存区的能力有限，并且外部暂存区可能被用来将机密数据泄露到个人位置。此外，存储所有者对存储位置的访问许可没有精细的控制。传统的外部暂存区也仅限于在单个文件路径中使用，不能在另一个文件路径中使用，即使用于创建外部暂存区的证书适用于另一个文件路径。附图简述从下面给出的详细描述和本公开的各种实施例的附图中，将更全面地理解本公开。图1示出根据本公开一些实施例的示例计算环境，其包括与云存储提供商系统通信的基于网络的数据仓库系统。图2是示出根据本公开的一些实施例，使用计算环境中的外部无证书暂存区对象将云存储提供商系统内的存储位置处的数据加载或卸载到基于网络的数据仓库系统的数据流图。图3是示出根据本公开的一些实施例，在不交换与存储位置相关联的安全证书的情况下，在将云存储提供商系统内的存储位置处的数据加载或卸载到基于网络的数据仓库系统中时的计算环境中的组件之间的交互的交互图。图4和图5是示出根据本公开的一些实施例，基于网络的数据仓库在执行使用无证书外部暂存区对象从外部存储平台加载或卸载数据的方法时的操作的流程图。图6是示出根据本公开一些实施例的计算服务管理器的组件的框图。图7是示出根据本公开一些实施例的执行平台的组件的框图。图8示出根据本公开一些实施例的以计算机系统形式的机器的示意图表示，用于使机器执行本文所讨论方法中的任何一个或更多个的指令集合可以在该计算机系统内执行。详细描述现在将详细参考用于实现本专利技术主题的具体示例实施例。这些具体实施例的示例在附图中示出，并且具体细节在以下描述中阐述，以便提供对主题的透彻理解。应当理解，这些示例并不旨在将权利要求的范围限制于所示的实施例。相反，它们旨在覆盖可能包含在本公开范围内的替代、修改和等同物。如上所述，在基于网络的数据仓库中使用外部暂存区向客户管理的存储位置加载数据和从客户管理的存储位置卸载数据，并且传统的外部暂存区必须具有秘密安全证书，以便能够访问这些存储位置，这可能会对数据造成安全漏洞。本公开的各方面通过创建不需要用户与基于网络的数据仓库共享秘密安全证书的无证书外部暂存区对象来解决现有数据仓库功能的上述和其他缺陷，以便于在外部云存储提供商系统中的存储位置加载和卸载数据。这里描述的无证书外部状态对象还允许客户端帐户管理员通过对访问许可的细粒度控制来防止数据泄露。与一些实施例一致，基于网络的数据仓库创建集成对象，该集成对象包括外部云存储提供商系统(例如，AmazonWeb(AWS)、MicrosoftAzureBlob或谷歌云存储)的存储平台中的存储位置的标识符(例如，通用资源定位符(URL))，基于网络的数据仓库将被提供对该存储位置的访问以加载和卸载数据。集成对象还包括由外部云存储提供商系统维护的代理身份对象的标识符。一旦创建，基于网络的数据仓库将集成对象与云身份对象相关联，云存储提供商系统将云身份对象与代理身份对象相关联。代理身份对象定义了被授予访问存储位置的许可的代理身份，并且可以由云身份对象采用以在存储位置加载和卸载数据。数据仓库根据创建存储集成的命令创建集成对象。该命令可以由例如数据仓库的客户端帐户的管理用户提供。与集成对象相关联的云身份对象对应于用户所属的客户端帐户。存储集成定义包括存储位置的标识符、代理身份对象的标识符和云存储提供商系统的标识符。在某些情况下，存储集成定义可以进一步指定允许或拒绝访问的一个或更多个存储位置。存储定义对象可以指定存储位置中拒绝访问的某些段。例如，存储位置可以由对应于存储平台内的存储资源(例如桶或文件夹)的文件路径来标识，并且该命令可以指定文件路径内拒绝访问的子文件夹。在另一示例中，该命令可以指定允许访问的一个或更多个文件路径，并且在该示例中，默认情况下将拒绝对所有其他文件路径的访问。数据仓库基于存储集成对象创建外部暂存区对象，以加载或卸载存储位置处的数据。外部暂存区对象包括存储位置的标识符和存储集成对象的标识符。数据仓库基于例如由提供存储集成定义的用户提供的创建外部暂存区对象的命令来创建外部暂存区对象。基于网络的数据仓库可以接收加载或卸载存储位置处的数据的命令。该命令包括外部暂存区对象的标识符。响应于该命令，数据仓库利用外部暂存区对象在外部云存储提供商的存储平台中的存储位置加载或卸载数据。这样，基于网络的数据仓库使用与云身份对象相关联的安全证书来访问证书，以允许云身份对象采用代理身份来加载或卸载数据。以这种方式，外部暂存区对象使得能够加载或卸载存储位置处的数据，而无需与基于网络的数据仓库系统交换与存储位置相关联的安全证书或存储与存储位置相关联的安全证书。如本文所述，无证书外部暂存区对象将向存储位置给予许可的过程与使用该存储位置来加载和卸载数据的过程分开。无证书外部暂存区对象还允许组织向基于网络的数据仓库给予使用其数据位置的许可，而不是向数据仓库给予秘密证书。组织可以与指定哪些角色可以创建和使用预先设置的暂存区分开地指定哪些角色可以创建和使用存储位置进行访问。例如，组织可能允许帐户管理员创建到存储位置的连接，并且因为只有帐户管理员可以创建存储集成，所以不能创建额外的存储集成来导出数据，从而防止机密数据泄漏到未知位置。创建后，非管理用户可以被授予从固定存储位置读取和写入他们创建的外部暂存区对象的许可。特权较低的用户可能仅具有使用现有暂存区的能力。拥有创建存储集成许可的用户可以控制使用该集成可以访问基础位置下的哪些路径。给予帐户管理员指定哪些用户可以创建和使用存储集成本文档来自技高网...

【技术保护点】
1.一种基于网络的数据仓库系统，包括：/n至少一个硬件处理器；以及/n存储器，所述存储器存储使所述至少一个硬件处理器执行包括以下项的操作的指令：/n在数据库中创建存储集成对象，所述存储集成对象标识云身份对象和云存储提供商系统的存储平台中的存储位置，所述云身份对象在所述云存储提供商的存储平台处与被授予访问所述存储位置的许可的代理身份对象相关联；/n基于所述存储集成对象在所述数据库中创建外部暂存区对象，所述外部暂存区对象标识所述存储位置并且包括与所述存储集成对象的关联；/n从计算设备接收加载或卸载所述存储位置处的数据的命令；和/n响应于所述命令，使用所述外部暂存区对象经由所述代理身份对象加载或卸载所述存储位置处的数据。/n

【技术特征摘要】
【国外来华专利技术】20191114 US 16/683,6411.一种基于网络的数据仓库系统，包括：
至少一个硬件处理器；以及
存储器，所述存储器存储使所述至少一个硬件处理器执行包括以下项的操作的指令：
在数据库中创建存储集成对象，所述存储集成对象标识云身份对象和云存储提供商系统的存储平台中的存储位置，所述云身份对象在所述云存储提供商的存储平台处与被授予访问所述存储位置的许可的代理身份对象相关联；
基于所述存储集成对象在所述数据库中创建外部暂存区对象，所述外部暂存区对象标识所述存储位置并且包括与所述存储集成对象的关联；
从计算设备接收加载或卸载所述存储位置处的数据的命令；和
响应于所述命令，使用所述外部暂存区对象经由所述代理身份对象加载或卸载所述存储位置处的数据。


2.根据权利要求1所述的基于网络的数据仓库系统，其中，所述操作还包括：
设置与所述存储集成对象相关联的使用许可；和
设置与所述外部暂存区对象相关联的使用许可。


3.根据权利要求2所述的基于网络的数据仓库系统，其中：
与所述存储集成对象相关联的使用许可的设置包括授予第一用户使用所述存储集成对象的许可；和
与所述外部暂存区对象相关联的使用许可的设置包括授予第二用户使用所述外部暂存区对象的许可。


4.根据权利要求1所述的基于网络的数据仓库系统，其中，所述操作还包括：
接收创建所述存储集成对象的命令，所述命令标识所述存储位置和所述云存储提供商系统，其中所述存储集成对象的创建基于创建所述存储集成对象的所述命令。


5.根据权利要求1所述的基于网络的数据仓库系统，其中，所述操作还包括：
接收创建所述外部暂存区对象的命令，所述命令包括对应于所述存储位置的标识符和对应于所述存储集成对象的标识符。


6.根据权利要求1所述的基于网络的数据仓库系统，其中，加载或卸载所述存储位置处的数据包括：
使用与所述云身份对象相关联的第二安全证书来访问用于访问所述代理身份对象的第一安全证书；以及
使用所述安全证书访问所述代理身份对象。


7.根据权利要求6所述的基于网络的数据仓库系统，其中，所述安全证书的访问包括：
向所述云存储提供商系统的访问管理系统发送对所述第一安全证书的请求，所述请求包括与所述云身份对象相关联的所述第二安全证书。


8.根据权利要求1所述的基于网络的数据仓库系统，其中，所述操作还包括基于所述存储集成对象中包括的信息来验证所述存储位置被所述存储集成对象允许。


9.根据权利要求1所述的基于网络的数据仓库系统，其中，所述操作还包括：
验证与所述命令相关联的用户的用户许可。


10.根据权利要求9所述的基于网络的数据仓库系统，其中，所述用户许可的验证包括以下中的一项或更多项：
验证所述用户具有使用所述存储集成对象的许可；或者
验证所述用户具有使用所述外部暂存区对象的许可。


11.根据权利要求1所述的基于网络的数据仓库系统，其中：
所述存储集成对象包括对应于所述存储位置的第一标识符；和
所述外部暂存区对象包括对应于所述存储位置的一部分的第二标识符。


12.一种方法，包括：
由机器的一个或更多个硬件处理器在基于网络的数据仓库系统的数据库中创建存储集成对象，所述存储集成对象标识云身份对象和云存储提供商系统的存储平台中的存储位置，所述云身份对象在所述云存储提供商的存储平台处与被授予访问所述存储位置的许可的代理身份对象相关联；
基于所述存储集成对象在所述数据库中创建外部暂存区对象，所述外部暂存区对象标识所述存储位置并且包括与所述存储集成对象的关联；
从计算设...

【专利技术属性】
技术研发人员：波利塔·保卢斯，彼得·波维内克，绍林·沙阿，斯里尼迪·卡西克·比斯塔瓦里斯里尼瓦沙，
申请(专利权)人：斯诺弗雷克公司，
类型：发明
国别省市：美国;US