持续迭代优化的预计算方法和装置制造方法及图纸

本申请公开了一种持续迭代优化的预计算方法和装置。一种持续迭代优化的预计算方法，包括：确定多个时间段中，每个时间段对应的查询任务；根据每个时间段对应的查询任务持续对预计算模型进行持续多轮优化。本申请对预计算模型进行持续不断的优化，提高了预计算模型的性能，避免预计算模型长期不进行调优而导致的性能变差的技术问题。性能变差的技术问题。性能变差的技术问题。

【技术实现步骤摘要】
持续迭代优化的预计算方法和装置


[0001]本申请涉及计算机领域，具体而言，涉及一种持续迭代优化的预计算方法和装置。

技术介绍

[0002]实际生产环境中，查询工作负载和数据特征都在不停的变化，联机分析处理(Online Analytical Processing，OLAP)预计算模型经过一段时间，一般几周到几个月，计算性能就会明显下降。需要一种优化的方法来提高OLAP预计算模型的性能，现有技术中还缺乏相应的解决方案。

技术实现思路

[0003]本申请的主要目的在于提供一种持续迭代优化的预计算方法和装置，以解决上述问题。
[0004]为了实现上述目的，根据本申请的一个方面，提供了一种持续迭代优化的预计算方法，包括：
[0005]确定多个时间段中，每个时间段对应的查询任务；
[0006]根据每个时间段对应的查询任务持续对预计算模型进行持续多轮优化。
[0007]在一种实施方式中，根据每个时间段对应的查询任务持续对预计算模型进行多轮优化，包括：
[0008]对于任意的一个时间段，当所述时间段开始时，确定所述时间段对应的第一查询任务；
[0009]在所述时间段中，根据所述第一查询任务对预计算模型进行优化；
[0010]当所述时间段结束时，停止对所述预计算模型进行优化；
[0011]当进入下一个时间段时，确定所述下一个时间段对应的第二查询任务，根据所述第二查询任务对所述预计算模型继续进行优化。
[0012]在一种实施方式中，根据所述第一查询任务对预计算模型进行优化，包括：
[0013]确定所述第一查询任务的耗时和查询资源消耗；
[0014]根据所述第一查询任务的耗时和查询资源消耗对预计算模型进行优化。
[0015]在一种实施方式中，确定所述当前时间段对应的第一查询任务，包括：
[0016]接收客户端发送的查询请求；
[0017]根据所述查询请求确定所述时间段的查询任务。
[0018]在一种实施方式中，统计计算资源消耗，包括：计算云端服务器中的每一个查询服务器的资源；
[0019]根据每个查询服务器的资源消耗计算总的查询资源消耗。
[0020]为了实现上述目的，根据本申请的另一方面，提供了一种持续迭代优化的预计算装置，包括：
[0021]查询任务确定模块，用于确定多个时间段中，每个时间段对应的查询任务；
[0022]优化模块，用于根据每个时间段对应的查询任务持续对预计算模型进行持续多轮优化。
[0023]在一种实施方式中，查询任务确定模块还用于，对于任意的一个时间段，当所述时间段开始时，确定所述当前时间段对应的第一查询任务；以及当进入下一个时间段时，确定所述下一个时间段对应的第二查询任务；
[0024]优化模块，用于在所述时间段中，根据所述第一查询任务对预计算模型进行优化；当所述时间段结束时，停止对所述预计算模型进行优化；以及当进入下一个时间段时，根据所述第二查询任务对所述预计算模型继续进行优化。
[0025]在一种实施方式中，优化模块还用于，确定所述第一查询任务的耗时和查询资源消耗；
[0026]根据所述第一查询任务的耗时和查询资源消耗对预计算模型进行优化。
[0027]在一种实施方式中，优化模块还用于，计算云端服务器中的每一个查询服务器的资源；
[0028]根据每个查询服务器的资源消耗计算总的查询资源消耗。
[0029]本申请对预计算模型进行优化，提高了预计算模型的性能，避免预计算模型长期不进行调优而导致的性能变差的技术问题。
附图说明
[0030]构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0031]图1是根据本申请实施例的一种持续迭代优化的预计算方法的流程图；
[0032]图2是根据本申请实施例的一种采用预计算模型的查询系统示意图；
[0033]图3是根据本申请实施例的一种持续迭代优化的预计算装置的结构示意图。
具体实施方式
[0034]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0035]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0036]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0037]首先介绍一下本领域的专业术语
[0038]OLAP系统，即On
‑
Line Analytical Processing系统，在大数据领域特指以复杂的SQL查询为主要工作负载的数据库系统，多用于数据分析和BI的查询引擎。
[0039]预计算，即为了减少在线计算量而进行的预先计算。在大数据领域，由于数据量庞大而容易导致在线查询缓慢，因此进行充分的预先计算来减少在线计算量是很常用的技术手段，能极大的降低在线计算量和提升在线查询响应速度。
[0040]预计算模型/多维立方体(Cube)，是一组Cuboid/Aggregated Index/Materialized View的定义，描述了一个预计算方案，通常为了加速一组特定的SQL查询而设计。通过对原始数据进行多种预计算，生成Cuboid/Aggregated Index/Materialized View，最后在查询时充分利用预计算的结果，达到快速响应的目的。预计算模型的优劣直接决定了预计算的效率和查询加速的效果。
[0041]预计算和查询集群，即一个由多台计算机按一定网络结构组成的计算集群。
[0042]计算资源，集群中包含CPU资源、内存资源、存储资源、网络带宽资源等执行预计算或SQL查询所需要的计算资源。
[0043]查询负载，即一组SQL查询按特定的时间顺序的执行过程，可能是并行执行或串行执行或两者的混合。
[0044]本申请提出了一种持续迭代优化的预计算方法，参见附图1所示的一种持续迭代优化的预计算方法的流程图；该方法包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种持续迭代优化的预计算方法，其特征在于，包括：确定多个时间段中，每个时间段对应的查询任务；根据每个时间段对应的查询任务持续对预计算模型进行持续多轮优化。2.如权利要求1所述的持续迭代优化的预计算方法，其特征在于，根据每个时间段对应的查询任务持续对预计算模型进行多轮优化，包括：对于任意的一个时间段，当所述时间段开始时，确定所述时间段对应的第一查询任务；在所述时间段中，根据所述第一查询任务对预计算模型进行优化；当所述时间段结束时，停止对所述预计算模型进行优化；当进入下一个时间段时，确定所述下一个时间段对应的第二查询任务，根据所述第二查询任务对所述预计算模型继续进行优化。3.根据权利要求2所述的持续迭代优化的预计算方法，其特征在于，根据所述第一查询任务对预计算模型进行优化，包括：确定所述第一查询任务的耗时和查询资源消耗；根据所述第一查询任务的耗时和查询资源消耗对预计算模型进行优化。4.根据权利要求3所述的持续迭代优化的预计算方法，其特征在于，确定所述时间段对应的第一查询任务，包括：接收客户端发送的查询请求；根据所述查询请求确定所述时间段的查询任务。5.根据权利要求4所述的持续迭代优化的预计算方法，其特征在于，统计计算资源消耗，包括：计算云端服务...

【专利技术属性】
技术研发人员：李扬，韩卿，
申请(专利权)人：跬云上海信息科技有限公司，
类型：发明
国别省市：