一种基于cost模型的商品汇总统计方法技术

本发明专利技术公开一种基于cost模型的商品汇总统计方法，其中，该方法包括：对表管理的信息进行收集；通过SQL语句解析得到执行计划，根据SQL执行计划计算其cost，并将计算出的cost进行评级；针对SQL执行计划后的cost等级，将SQL语句分配到不同资源上执行；保存执行日志进行评估和分析，划分cost集群等级，并根据cost值、cost集群等级和cost计算结果的关系，使用算法进行不断学习和调整。该方法通过对SQL语句进行cost计算分析，评估汇总统计SQL带来的资源消耗情况，根据cost评级结果将SQL下发到不同的资源下进行任务调度执行，达到资源隔离和保护效果，用户的服务也得到完善。

【技术实现步骤摘要】
一种基于cost模型的商品汇总统计方法
本专利技术涉及商品数据汇总领域，尤其是一种基于cost(代价)模型的商品汇总统计方法。
技术介绍
目前商品数据的横向扩展导致数据量的剧增，需要对各种商品进行数据汇总统计。一般分布式系统对于OLAP(联机分析处理)查询采用FIFO(先进先出)和FAIR(公平调度)等调度算法进行资源分配，例如Spark配置多个资源池，默认情况下Spark的调度模式是FIFO(先进先出)，谁先提交谁先执行，后面的任务需要等待前面的任务执行，而FAIR(公平调度)模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序，使用哪种调度器由参数spark.scheduler.mode来设置。在多用户的环境下，可以对用户进行资源分配和隔离，但是每个用户资源下，依然是FIFO(先进先出)和FAIR(公平调度)等调度算法，无法根据查询带来的代价(cost)进行资源隔离。一般商品数据的查询汇总中，对资源的消耗特别大，执行时间也会很长。如果同时有几个这样的查询在相同用户下并发执行，很容易造成占满集群资源，本文档来自技高网...

【技术保护点】
1.一种基于cost模型的商品汇总统计方法，其特征在于，该方法包括：/n统计信息采集：对表管理的信息进行收集；/ncost计算和评级：通过SQL语句解析得到执行计划，根据SQL执行计划计算其cost，并将计算出的cost进行评级；/n资源分配和隔离：针对SQL执行计划后的cost等级，将SQL语句分配到不同资源上执行；/ncost监控和调整：保存执行日志进行评估和分析，划分cost集群等级，并根据cost值、cost集群等级和cost计算结果的关系，使用算法进行不断学习和调整。/n

【技术特征摘要】
1.一种基于cost模型的商品汇总统计方法，其特征在于，该方法包括：
统计信息采集：对表管理的信息进行收集；
cost计算和评级：通过SQL语句解析得到执行计划，根据SQL执行计划计算其cost，并将计算出的cost进行评级；
资源分配和隔离：针对SQL执行计划后的cost等级，将SQL语句分配到不同资源上执行；
cost监控和调整：保存执行日志进行评估和分析，划分cost集群等级，并根据cost值、cost集群等级和cost计算结果的关系，使用算法进行不断学习和调整。


2.根据权利要求1所述的基于cost模型的商品汇总统计方法，其特征在于，所述表管理的信息包括表统计信息和字段统计信息，表统计信息包括行数、以byte为单位的表大小以及分区的大小和数目，字段统计信息包括字段数量、字段最大值、字段最小值、内容为null的记录数和字段平均长度。


3.根据权利要求1所述的基于cost模型的商品汇总统计方法，其特征在于，所述cost值＝过滤条件值+Join节点值+聚基数值；
过滤条件值＝通过where关键字过滤后表的查询行数*集的势因子；
Join节点值＝Join关键字语句后的行数*集的势因子；
聚基数值＝groupby关键字子句的数量总和*集的势因子。


4.根据权利要求3所述的基于cost模型的商品汇总统计方法，其特征在于，所述集的势因子的计算如下：
(1)对于建立了索引的字段，如果查询条件是“＝”，则集的势因子计算公式为：
集的势因子＝1/字段上的唯一值数；
集的势因子＝MAX(记录数/字段上的唯一值数，1)；
MAX()为求最大值函数；
(2)对于建立了索引的字段，如果索引字段查询条件是“<”“>”“<＝”“>＝”，则集的势因子计算公式为：
集的势因子＝(1/字段上的唯一值数)+(1/记录数)；
(3)对于建立了索引的字段，如果索引字段查询条件是in，则集的势因子计算公式为：
集的势因子＝in条件中的变量数/字段上的唯一值数；
(4)对于建立了索引的字段，如果索引字段查询条件是“<>”，则集的势因子计算公...

【专利技术属性】
技术研发人员：王俐明，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：上海;31