基于数据访问模式进行高效数据收集以在大规模多租户环境中报告的系统和方法技术方案

本发明专利技术涉及基于数据访问模式进行高效数据收集以在大规模多租户环境中报告的系统和方法。示例方法包括：收集有关一个或多个客户的相应数据访问模式的信息；使用所述信息和工作窗口信息来计算所述客户中的每一者的相应数据检索频率；以及使得所述客户能够根据其相应数据检索频率来检索数据。可在计算数据检索频率之前对所收集的信息进行加权，并且可响应于客户数据的变化而自动地更新数据检索频率。于客户数据的变化而自动地更新数据检索频率。于客户数据的变化而自动地更新数据检索频率。

【技术实现步骤摘要】
基于数据访问模式进行高效数据收集以在大规模多租户环境中报告的系统和方法


[0001]本专利技术的实施方式总体上涉及数据收集的管理。更特别地，本专利技术的至少一些实施方式涉及用于基于数据访问模式进行高效数据收集的系统、硬件、软件、计算机可读介质以及方法。

技术介绍

[0002]典型的当今软件系统，不论是本地系统、云中系统还是混合系统，都具有监视和报告特征。随着每一天过去，这些系统以及其相关联的监视和报告要求变得越来越复杂。
[0003]在很多企业中，越来越关注云托管功能，并且存在各种云产品。DellEMC云快照管理器(CSM)就是一种此类SaaS产品，它使得客户能够保护其托管在诸如亚马逊AWS和微软Azure的公共云环境中的工作负载。工作负载可包括例如通过虚拟机、各种数据库和对象存储器实现的功能。很多客户在这些公共云中具有多个账户，并且很多客户还在多于一个公共云中具有账户，他们用CSM或其他服务来保护这些账户。
[0004]在CSM的示例情况下，例如，该平台向其客户提供各种类型的报告。对于这些报告中的一些，CSM可能需要从驻留在公共云或私有云中的客户账户获取数据、对照CSM目录存储器验证数据，然后生成用于报告的相关数据。此类报告可包括例如报告云中的多少和哪些客户资源被CSM保护，以及多少和哪些客户资源未被保护。
[0005]诸如CSM的服务可被托管在公共云数据中心或私有云数据中心中。从公共云环境的数据检索典型地通过互联网来进行。由于很多此类服务都是SaaS(软件即服务)产品，因此它们必须迎合任何云实现的解决方案预期的规模、灵活性和可靠性。此外，诸如CSM的服务可能需要为系统中的所有租户账户获取数据。对于每个账户，在一天中的每个循环内，服务可爬过在该客户账户、区域内以及针对每种资源类型(例如，诸如VM或DB(数据库))配置的每个公共云账户。服务在一天或其他指定的时间段内运行尽可能多的循环。
[0006]诸如以上所述那些的考虑可能会带来挑战。一个此类挑战涉及报告实时数据。特别地，典型的客户总是希望得到最新的数据。这是因为客户的公共云账户的状态在不断变化。例如，每小时、每分钟和每秒都在创建诸如VM和DB的资源的新实例，或者在删除/移除现有的实例。除非客户接收到实时报告，否则客户可能很难或不可能在任何给定的时间都知道其云账户的状态。因此，客户期望的是接收到尽可能接近实时报告的报告。然而，为了发生这种情况，服务(不论是CSM和/或一个或多个其他服务)必须尽可能经常地从公共云获取关于客户账户的数据。然而，根据诸如所涉及客户账户的数量和那些账户的配置的考虑，甚至完成单个数据获取循环都可能要花很长时间。
[0007]尽管实现并行化方法来检索数据可能有助于加速数据获取循环的执行，但这种方法本身具有限制。例如，云提供商典型地压制和限制可在给定的时间段内进行的数据调用的数量。此外，网络带宽是有限的资源并且同时拥有多个连接可对该资源施加过度压力。
[0008]由诸如以上关于数据获取所述的那些考虑带来的另一个挑战涉及数据调用对系
统产生的负载。特别地，就所进行的且必须服务的数据调用的数量而言，不断增长的客户基础以及那些客户账户中的每一者中的大量云账户可对系统施加巨大的负载。
附图说明
[0009]为了描述可获得本专利技术的至少一些优点和特征的方式，将参考在附图中示出的本专利技术的特定实施方式来呈现本专利技术的实施方式的更具体描述。应理解，这些附图仅描绘了本专利技术的典型实施方式并且因此不应被视为是其范围的限制，通过使用附图将用附加特征和细节描述并解释本专利技术的实施方式。
[0010]图1公开了示例操作环境的方面。
[0011]图2公开了用于数据收集的示例方法的方面。
[0012]图3公开了被配置为执行所公开的方法和过程中的任一者的示例计算实体的方面。
具体实施方式
[0013]本专利技术的实施方式总体上涉及数据收集的管理。更特别地，本专利技术的至少一些实施方式涉及用于基于数据访问模式进行高效数据收集的系统、硬件、软件、计算机可读介质以及方法。本专利技术的实施方式在通过基于云的平台来提供服务的环境中可特别有用，但不需要特定的操作环境。
[0014]一般而言，本专利技术的示例实施方式可操作来捕获例如有关客户与服务和系统的交互模式(该服务和系统可为基于云的)、客户环境中的数据变化率以及客户的工作时间窗口的数据。在导出该客户在一天中将检索数据的时间窗口和次数时可考虑这些和/或其他数据。以此方式，实施方式可避免针对每个客户在每个循环中执行数据检索，这进而可帮助减少系统上的负载，同时还实现更频繁的数据检索。
[0015]本专利技术的实施方式(诸如本文所公开的示例)在多种方面可为有益的。例如，并且如从本公开将显而易见，本专利技术的一个或多个实施方式可提供一个或多个有利且意外的效果的任何组合，其中一些示例在下面阐述。应注意，此类效果不意图也不应被解释为以任何方式限制所要求保护的本专利技术的范围。还应注意，本文中的任何内容都不应被解释为构成任何专利技术或实施方式的必需或不可缺少的元素。相反，所公开的实施方式的各种方面可以多种方式组合，以便限定另外的其他实施方式。此类其他实施方式被认为在本公开的范围内。同样，本公开的范围内所涵盖的所有实施方式都不应被解释为解决(一个或多个)任何特定问题或限于所述任何特定问题的解决方案。任何此类实施方式也不应被解释为实现(一个或多个)任何特定技术效果或解决方案或者限于所述任何特定技术效果或解决方案的实现。最后，不要求任何实施方式都实现本文所公开的任何有利和意外效果。
[0016]特别地，本专利技术的至少一些实施方式的一个有利方面在于，实施方式可减少云服务的客户所请求的和向其传输的数据量。一实施方式可考虑诸如数据访问历史的各种因素来生成客户特定计划，以减少数据调用次数和相关联的数据传输，同时仍向客户提供所需的数据。
[0017]A.概述
[0018]下面是对本专利技术的一些实施方式的示例操作环境中可能出现的一些考虑的简要
讨论。首先，一些客户可具有多个云账户。典型的客户可能是中型到大型组织。此类客户可在公共云环境中具有由组织的各种业务单位/部门创建和使用的多个云账户。因此，与单个客户相关联的账户的数量可能是对于中型公司的10的倍数至对于大型企业的100的倍数。为了使客户保持了解其账户发生的情况，可能需要从客户已经在其管理账户内配置的所有云账户收集数据，在一些实施方式中，该管理账户可为DellEMC CSM。
[0019]与示例操作环境相关的另一个考虑涉及公共云供应商可能必须在多个地理区域内提供服务的可能性。特别地，公共云供应商可支持遍布全球的多个区域。举例说明，亚马逊AWS(亚马逊网络服务)(其一个示例是亚马逊S3)支持25+个区域，并且微软Azure支持遍布全世界的53个区域。这些数字仍在增长。
[0020]同样地，诸如CSM的管理服务可支持多种资源和资产类型，所述资源和资产类型的示例可包括VM、各种类型的数据库(诸如AWS上的RDS、Aurora、D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：收集有关一个或多个客户的相应数据访问模式的信息；使用所述信息和工作窗口信息来计算所述客户中的每一者的相应数据检索频率(DRF)；以及使得所述客户能够根据其相应数据检索频率来检索数据。2.如权利要求1所述的方法，其中由数据收集调度器执行所述方法，所述数据收集调度器在支持所有所述客户的数据要求的多租户环境中操作。3.如权利要求1所述的方法，还包括对所收集的信息进行加权，并且将加权信息用于计算所述数据检索频率。4.如权利要求1所述的方法，其中基于应用所述数据检索频率中的一者的所述客户的数据的变化来自动地重新计算所述数据检索频率中的所述一者。5.如权利要求1所述的方法，其中所收集的信息包括数据访问频率信息。6.如权利要求1所述的方法，其中所收集的信息包括...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：EMCIP控股有限公司，
类型：发明
国别省市：