云计算索引推荐方法及系统技术方案

本公开提供一种云计算索引推荐方法及系统，所述方法包括：获取当前使用的云计算服务器在单位时间的单位计算成本以及单位存储成本；获取目标用户所有的历史查询语句，提取所有的历史查询语句的共有特征，根据共有特征确定历史查询语句对应的查询索引；根据查询索引查询数据库的频率、时间以及所使用的计算资源，确定每个查询索引的查询成本；基于所获取的目标用户的当前查询语句，确定当前查询语句对应的多个当前查询索引；根据多个当前查询索引，通过单位计算成本以及单位存储成本、以及计算资源使用量以及使用时间，确定每个当前查询索引对应的总成本；向目标用户推荐目标查询索引。本公开的方法通过推荐索引，用存储资源交换计算资源。交换计算资源。交换计算资源。

【技术实现步骤摘要】
云计算索引推荐方法及系统


[0001]本公开涉及云计算
，尤其涉及一种云计算索引推荐方法及系统。

技术介绍

[0002]近年来，云计算行业突飞猛进，越来越多的企业开始大规模拥抱云环境，无论是OLTP(On
‑
Line Transaction Processing，联机事务处理过程)应用，还是OLAP(On
‑
Line Analytical Processing，联机分析处理过程)应用，都在逐步往云上迁移，主流的云厂商都提供了可靠弹性伸缩的计算服务和存储服务，来满足客户的需求。
[0003]目前的大数据架构的一种趋势是计算和存储分离，在云环境的大背景下面，计算服务部署在云厂商提供的弹性云服务器上，存储服务则可以选择使用云厂商提供的廉价的可以无限伸缩的块存储上面。
[0004]在观察多个主流云计算服务商的产品定价后，可以看到块存储的成本是远远低于计算成本的，在当今的OLAP分析领域内，很多软件是采用了MPP架构的系统，MPP(Massively Parallel Processing，大规模并行处理)的核心思想是把任务并行的分散到多个服务器和节点上面，在每个节点上完成计算后，将各自的结果汇总在一起得到最终的分析结果，然后在当今云环境上，在处理超大规模的数据集的时候，每个查询都会消耗大量的计算资源，即使是重复的查询分析需求，会产生高昂的分析成本。

技术实现思路

[0005]本公开实施例提供一种云计算索引推荐方法及系统，能够通过将计算成本交换为存储成本，从而降低云上使用的总拥有成本。
[0006]本公开实施例的第一方面，提供一种云计算索引推荐方法，包括：
[0007]获取当前使用的云计算服务器在单位时间的单位计算成本以及单位存储成本；
[0008]获取目标用户所有的历史查询语句，提取所述所有的历史查询语句的共有特征，根据所述共有特征确定所述历史查询语句对应的查询索引；
[0009]根据所述查询索引查询数据库的频率、时间以及所使用的计算资源，确定每个查询索引的查询成本；
[0010]基于所获取的目标用户的当前查询语句，确定所述当前查询语句对应的多个当前查询索引；
[0011]根据所述多个当前查询索引，通过所述单位计算成本以及单位存储成本、以及所述计算资源使用量以及使用时间，确定每个当前查询索引对应的总成本；
[0012]向所述目标用户推荐目标查询索引，其中，所述目标查询索引包括每个当前查询索引对应的总成本中成本最低的查询索引。
[0013]在一种可选的实施方式中，所述根据所述查询索引查询数据库的频率、时间以及所使用的计算资源，确定每个查询索引的查询成本的方法包括：
[0014]根据所述查询索引查询数据库的频率、所述查询索引查询数据库的时间、所述查
询索引查询所用计算资源，以及预先获取的源数据的数据抽样统计信息，确定每个查询索引的查询成本；
[0015]基于预先获取的查询索引计算成本，确定所述查询索引的成本收益，并为所述查询索引添加成本收益标签。
[0016]在一种可选的实施方式中，确定每个当前查询索引对应的计算资源使用量以及使用时间的方法包括：
[0017]根据预先获取的源数据的数据抽样统计信息，确定所述查询索引在每个维度的倾斜率和重复率；
[0018]基于每个维度的倾斜率和重复率，预测所述每个查询索引所需的计算资源、内存资源以及构建时长；
[0019]基于所述每个查询索引所需的计算资源、内存资源以及构建时长，以及所述单位计算成本以及单位存储成本，确定每个当前查询索引对应的计算资源使用量以及使用时间。
[0020]在一种可选的实施方式中，所述向所述目标用户推荐目标查询索引之后，所述方法还包括：
[0021]基于所述目标查询索引，构建预计算索引；
[0022]基于所述预计算索引，以及预先构建数据集对所述预计算索引进行预聚合；
[0023]基于所述进行预聚合后的预计算索引，分析所述目标用户的查询语句对数据库的查询效率以及扫描所述数据库的数据量；
[0024]基于所述查询效率以及所述扫描所述数据库的数据量，确定所述目标查询索引的计算成本。
[0025]在一种可选的实施方式中，所述获取目标用户所有的历史查询语句，提取所述所有的历史查询语句的共有特征，根据所述共有特征确定所述历史查询语句对应的查询索引之前，所述方法还包括：
[0026]基于预先获取的多个用户的所有的历史查询语句，构建所述所有的历史查询语句对应的查询计划树；
[0027]提取所述查询计划树的查询语句的共有特征，基于所述共有特征，匹配与所述共有特征对应的查询分析模型；
[0028]根据所述查询分析模型确定所述历史查询语句对应的查询索引，其中，所述查询索引包括所述查询语句与所述查询索引之间的包含关系。
[0029]本公开实施例的第二方面，提供一种云计算索引推荐系统，所述系统包括：
[0030]云上计算和存储成本收集模块，用于获取当前使用的云计算服务器在单位时间的单位计算成本以及单位存储成本；
[0031]查询历史分析预测模块，用于获取目标用户所有的历史查询语句，提取所述所有的历史查询语句的共有特征，根据所述共有特征确定所述历史查询语句对应的查询索引；
[0032]构建和存储成本分析预测模块，用于根据所述查询索引查询数据库的频率、时间以及所使用的计算资源，确定每个查询索引的查询成本；基于所获取的目标用户的当前查询语句，确定所述当前查询语句对应的多个当前查询索引；
[0033]根据所述多个当前查询索引，通过所述单位计算成本以及单位存储成本、以及所
述计算资源使用量以及使用时间，确定每个当前查询索引对应的总成本；
[0034]智能中枢判断模块，向所述目标用户推荐目标查询索引，其中，所述目标查询索引包括每个当前查询索引对应的总成本中成本最低的查询索引。
[0035]在一种可选的实施方式中，所述构建和存储成本分析预测模块还用于：
[0036]根据所述查询索引查询数据库的频率、所述查询索引查询数据库的时间、所述查询索引查询所用计算资源，以及预先获取的源数据的数据抽样统计信息，确定每个查询索引的查询成本；
[0037]基于预先获取的查询索引计算成本，确定所述查询索引的成本收益，并为所述查询索引添加成本收益标签。
[0038]在一种可选的实施方式中，所述构建和存储成本分析预测模块还用于：
[0039]根据预先获取的源数据的数据抽样统计信息，确定所述查询索引在每个维度的倾斜率和重复率；
[0040]基于每个维度的倾斜率和重复率，预测所述每个查询索引所需的计算资源、内存资源以及构建时长；
[0041]基于所述每个查询索引所需的计算资源、内存资源以及构建时长，以及所述单位计算成本以及单位存储成本，确定每个当前查询索引对应的计算资源使用量以及使用时间。
...

【技术保护点】

【技术特征摘要】
1.一种云计算索引推荐方法，其特征在于，所述方法包括：获取当前使用的云计算服务器在单位时间的单位计算成本以及单位存储成本；获取目标用户所有的历史查询语句，提取所述所有的历史查询语句的共有特征，根据所述共有特征确定所述历史查询语句对应的查询索引；根据所述查询索引查询数据库的频率、时间以及所使用的计算资源，确定每个查询索引的查询成本；基于所获取的目标用户的当前查询语句，确定所述当前查询语句对应的多个当前查询索引；根据所述多个当前查询索引，通过所述单位计算成本以及单位存储成本、以及所述计算资源使用量以及使用时间，确定每个当前查询索引对应的总成本；向所述目标用户推荐目标查询索引，其中，所述目标查询索引包括每个当前查询索引对应的总成本中成本最低的查询索引。2.根据权利要求1所述的云计算索引推荐方法，其特征在于，所述根据所述查询索引查询数据库的频率、时间以及所使用的计算资源，确定每个查询索引的查询成本的方法包括：根据所述查询索引查询数据库的频率、所述查询索引查询数据库的时间、所述查询索引查询所用计算资源，以及预先获取的源数据的数据抽样统计信息，确定每个查询索引的查询成本；基于预先获取的查询索引计算成本，确定所述查询索引的成本收益，并为所述查询索引添加成本收益标签。3.根据权利要求1所述的云计算索引推荐方法，其特征在于，确定每个当前查询索引对应的计算资源使用量以及使用时间的方法包括：根据预先获取的源数据的数据抽样统计信息，确定所述查询索引在每个维度的倾斜率和重复率；基于每个维度的倾斜率和重复率，预测所述每个查询索引所需的计算资源、内存资源以及构建时长；基于所述每个查询索引所需的计算资源、内存资源以及构建时长，以及所述单位计算成本以及单位存储成本，确定每个当前查询索引对应的计算资源使用量以及使用时间。4.根据权利要求1所述的云计算索引推荐方法，其特征在于，所述向所述目标用户推荐目标查询索引之后，所述方法还包括：基于所述目标查询索引，构建预计算索引；基于所述预计算索引，以及预先构建数据集对所述预计算索引进行预聚合；基于所述进行预聚合后的预计算索引，分析所述目标用户的查询语句对数据库的查询效率以及扫描所述数据库的数据量；基于所述查询效率以及所述扫描所述数据库的数据量，确定所述目标查询索引的计算成本。5.根据权利要求1所述的云计算索引推荐方法，其特征在于，所述获取目标用户所有的历史查询语句，提取所述所有的历史查询语句的共有特征，根据所述共有特征确定所述历史查询语句对应的查询索引之前，所述方法还包括：基于预先获取的多个用户的所有的历史查询语句，构建所述所有的历史查询语句对应
的查询计划树；提取所述查询计划树的查询语句的共有特征，基于所述共有特征，匹配与所述共有特征对应的查询分析模型；根据所述查询分析模型确定所述历史查询语句对应的查询索引，其中，所述查询索引包括所述查询...

【专利技术属性】
技术研发人员：孙彪彪，李扬，韩卿，
申请(专利权)人：跬云上海信息科技有限公司，
类型：发明
国别省市：