无伺服多租户云服务的影子实验制造技术

本发明专利技术的各个方面公开一种用于在多租户云服务中进行查询执行的方法、计算机程序产品和系统。该方法包括一个或多个处理器确定用于服务查询的类别类。该方法还包括将所选数量的服务查询从所确定的类别类之一发送到影子查询引擎以供执行。分类别地分类的服务查询中的相应服务查询包括用于影子查询引擎的配置参数值的不同集合。该方法还包括记录在所述影子查询引擎上执行的所述一个类别类的所选择数量的服务查询的元数据。该方法还包括确定所记录的元数据之间的相关性。该方法还包括从所确定的相关性确定最佳配置参数值，该最佳配置参数值包括用于执行该一个类别类的所选择数量的服务查询的最佳配置参数。的服务查询的最佳配置参数。的服务查询的最佳配置参数。

【技术实现步骤摘要】
【国外来华专利技术】无伺服多租户云服务的影子实验

技术介绍

[0001]本专利技术总体上涉及查询优化领域，并且更具体地涉及多租户(multi
‑
tenant)云服务中的查询执行的优化。
[0002]信息检索(IR)是从那些资源的集合中获取与信息需求相关的信息系统资源的活动。搜索可以基于全文或其他基于内容(content
‑
based)的索引。信息检索是搜索文档中的信息、搜索文档本身以及搜索描述数据的元数据以及文本、图像或声音的数据库的科学。当用户将查询输入到系统中时，信息检索过程开始。查询(Queries)是信息需求的正式语句，例如web搜索引擎中的搜索字符串。在信息检索中，查询不唯一地标识集合中的单个对象。相反，若干对象可能匹配查询，可能具有不同的相关度。
[0003]云服务是从云计算提供商的服务器经由互联网对用户按需可用的任何服务，而不是从公司自己的现场服务器提供的。云服务被设计成提供对应用、资源和服务的容易的、可扩展的访问，并且由云服务提供商完全管理。云存储是计算机数据存储的模型，其中数字数据被存储在逻辑池中。物理存储装置跨越多个服务器(有时在多个位置)，并且物理环境通常由托管公司拥有和管理。这些云存储提供商负责保持数据可用和可访问，并且物理环境被保护和运行。人和组织从提供者购买或租用存储容量以存储用户、组织或应用数据。

技术实现思路

[0004]本专利技术的各个方面公开一种用于在多租户云服务中进行查询执行的方法、计算机程序产品和系统。该方法包括一个或多个处理器确定用于服务查询的类别类。该方法还包括一个或多个处理器将所选数量的服务查询从所确定的类别类之一发送到影子查询引擎以供执行。分类别地分类的服务查询中的相应服务查询包括用于影子查询引擎的配置参数值的不同集合。该方法还包括一个或多个处理器记录在所述影子查询引擎上执行的所述一个类别类的所选择数量的服务查询的元数据。所述元数据包括性能数据、查询类别类以及相关配置参数值中的至少一个值。该方法还包括一个或多个处理器确定性能数据、查询类别类和相关配置参数值中的至少一个值之间的相关性。该方法进一步包括一个或多个处理器从所确定的相关性确定最佳配置参数值，该最佳配置参数值包括用于执行该一个类别类的所选择数量的服务查询的最佳配置参数。
[0005]在另一实施例中，该方法还包括一个或多个处理器将基于最优配置参数值的配置应用于影子查询引擎上的相同类别类的服务查询的扩展集合。该方法还包括验证所应用的配置的一个或多个处理器。响应于肯定(positive)验证结果，该方法还包括一个或多个处理器使用具有最优配置参数值的配置来执行与影子查询引擎具有相同特性的查询引擎的相同类别类的未来查询。
附图说明
[0006]应注意，参考不同的主题描述本专利技术的实施例。具体地，参照方法类型权利要求描述一些实施例，而参照装置类型权利要求描述其他实施例。然而，本领域的技术人员将从以
上和以下描述中得出，除非另外指出，否则除了属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间(具体地，方法类型权利要求的特征与装置类型权利要求的特征之间)的任何组合也被认为是在本文档内披露的。
[0007]以上定义的方面和本专利技术的另外的方面从下面将要描述的实施例的实例中是显而易见的，并且参考实施例的实例来解释，但是本专利技术不限于此。将仅通过举例并参考以下附图描述本专利技术的优选实施例。
[0008]图1示出了根据本专利技术实施例的用于优化多租户云服务中的查询执行的创造性计算机实现的方法的实施例的框图。
[0009]图2描绘了根据本专利技术的实施例的在应用程序与查询引擎之间建立的通用的框图。
[0010]图3描绘了根据本专利技术的实施例的描述主要构建块的所提出的专利技术构思的一个实施例的框图。
[0011]图4描绘了根据本专利技术的实施例的用于优化多租户云服务中的查询执行的查询优化系统的实施例的框图。
[0012]图5描绘了根据本专利技术的实施例的包括根据图4的查询优化系统的计算系统的实施例。
[0013]图6描绘了根据本专利技术的实施例的云计算环境。
[0014]图7描述了根据本专利技术实施例的抽象模型层。
具体实施方式
[0015]在本说明书的上下文中，可以使用以下惯例、术语和/或表达：
[0016]术语
‘
多租户云服务
’
可以表示在被调用用于执行时接收数据并且通常在云计算环境中将结果递送回调用系统的程序。云计算环境的详细描述可在以下找到。在任何情况下，可以使多租户云服务对多个用户可用。
[0017]术语
‘
服务查询
’
可表示从第一服务(即，第一执行的部分程序)到另一服务(即，另一执行的部分程序，诸如查询引擎服务)的调用，该调用包括用于查询第二服务可访问的数据的参数值。在已经执行了查询之后，第二服务可以将检索到的数据返回到调用服务(即，第一服务)。然而，如果影子查询引擎(shadow query engine)被调用，则该一般规则可能被破坏。这里，可以仅针对关于相关服务的配置参数的优化过程执行查询。所检索的数据不必被递送回已经向(主)查询引擎(而不是影子查询引擎)发起服务调用的原始服务。
[0018]术语
‘
影子查询引擎
’
可表示通常实现为多租户云计算环境中的服务的程序，其与有效使用的查询引擎或用于从数据库或另一数据存储器检索数据的查询服务相同地工作。具体而言，影子查询引擎可在被调用时是可配置为与在可操作使用中的常规查询引擎具有相同类型的配置和执行参数。所以，影子查询引擎可以被认为是在操作使用中的查询引擎的副本。在一特定实施例中，查询引擎和影子查询引擎可至少部分地(或完全地)在硬件中实现。
[0019]术语
‘
过度供应(over
‑
provisioned)的云计算环境
’
可表示云计算环境可被实现和配置成提供比多个用户和租户通常需要的更多的计算和服务资源。可要求过剩容量(excess capacity)在一个或多个租户的高峰需求时间不具有响应时间退化。
[0020]术语
‘
基于机器学习的系统
’
可表示在教学或人工智能范例上操作的系统或服务。该系统不被编程为遵循程序性指令，而是根据公认和理解的概念，基于通过实验方法进行的学习来学习如何对传入数据做出响应。由此，受监督的、半受监督的、以及无监督的学习概念可以用作这里提出的概念的实施例的一部分。学习概念可以特别地应用于当前的分类任务以将历史查询分类到查询类别中。例如，要使用的类的最大数量可以是用于机器学习服务的开始参数。
[0021]术语
‘
Spark
’
(具体地，来自基金会的Apache Spark
TM
)可以表示已知的开源分布式通用集群计算框架。Spark
TM
提供了用于编程具有隐式数据并行性和容错性的整个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于多租户云服务中的查询执行的计算机实现的方法，所述方法包括：由一个或多个处理器确定用于服务查询的类别类；由一个或多个处理器将所选择的数量的服务查询从所确定的类别类中的一个发送到影子查询引擎以供执行，其中，所述分类别地分类的服务查询中的相应服务查询包括所述影子查询引擎的配置参数值的不同集合；由一个或多个处理器记录在所述影子查询引擎上执行的所述一个类别类的所述选择数量的服务查询的元数据，其中，所述元数据包括性能数据、查询类别类和相关配置参数值中的至少一个值；由一个或多个处理器确定所述性能数据、所述查询类别类与相关配置参数值中的至少一个值之间的相关性；以及由一个或多个处理器从所确定的相关性确定最佳配置参数值，所述最佳配置参数值包括用于执行所述一个类别类的所选择数量的服务查询的最佳配置参数。2.根据权利要求1所述的计算机实现的方法，进一步包括：由一个或多个处理器将基于所述最佳配置参数值的配置应用于所述影子查询引擎上的相同类别类的服务查询的扩展集合；由一个或多个处理器验证所应用的配置；以及响应于肯定验证结果，由一个或多个处理器使用具有所述最佳配置参数值的配置来执行与所述影子查询引擎具有相同特性的查询引擎的相同类别类的未来查询。3.根据权利要求1或2所述的计算机实施的方法，其中，所述配置参数包括选自由存储器大小、缓冲器大小、串行化选项、压缩参数值、联网参数值、调度特定值和执行选项值组成的组中的至少一个。4.根据权利要求1到3中任一项所述的计算机实现的方法，其中，所述服务查询中的每一个均与数据库查询相关。5.根据权利要求1到4中任一项所述的计算机实现的方法，其中，所述一个类别类的所选择的数量的服务查询源自一组用户。6.根据权利要求2所述的计算机实现的方法，其中，所述服务查询的扩展集合源自多于一个的用户组。7.根据权利要求1到6中任一项所述的计算机实现的方法，其中，所述类别类涉及数据定义操作。8.根据权利要求7所述的计算机实施的方法，进一步包括：由一个或多个处理器从过度供应的云计算环境中的一组备用查询引擎中选择所述影子查询引擎。9.根据权利要求1到8中任一项所述的计算机实现的方法，其中，所述最佳配置参数值反映从由延迟、吞吐量和资源使用组成的组中选择的至少一个操作约束。10.根据权利要求1至9中任一项所述的计算机实现的方法，进一步包括：由一个或多个处理器通过将基于机器学习的系统应用于所述查询引擎的一组历史查询来确定所述类别类。11.一种用于多租户云服务中的查询执行的计算机程序产品，所述计算机程序产品包括：
一个或多个计算机可读存储介质和存储在所述一个或多个计算机可读存储介质上的程序指令，所述程序指令包括：用于确定服务查询的类别类的程序指令；用于将所选择的数量的服务查询从所确定的类别类中的一个发送到影子查询引擎以供执行的程序指令，其中，所述分类别地分类的服务查询中的相应服务查询包括用于所述影子查询引擎的配置参数值的不同集合；用于记录在所述影子查询引擎上执行的所述一个类别类的所述选择数量的服务查询的元数据的程序指令，其中，所述元数据包括性能数据、查询类别类和相关配置参数值中的至少一个值；用于确...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：