计算引擎的选择方法、装置、设备、存储介质及程序产品制造方法及图纸

技术编号:42611374 阅读:26 留言:0更新日期:2024-09-03 18:18
本申请公开了一种计算引擎的选择方法、装置、设备、存储介质及程序产品,属于计算机技术领域。该方法包括:获取SQL语句中待访问的至少两个数据表,以及获取执行SQL语句的至少两个候选计算引擎;基于所述至少两个数据表中需要传输的数据表的数据量,得到所述数据联合分析对应的网络代价值;基于至少两个所述候选计算引擎的资源状况,得到所述数据联合分析对应的负载代价值;基于所述网络代价值和所述负载代价值,在至少两个所述候选计算引擎中选出适合完成所述数据联合分析的计算引擎。通过结合数据表的数据特征及候选计算引擎的资源状况,选出适合本次数据联合分析的最佳计算引擎,提高了数据联合分析的效率。

【技术实现步骤摘要】

本申请实施例涉及计算机,特别涉及一种计算引擎的选择方法、装置、设备、存储介质及程序产品


技术介绍

1、数据源是按照数据结构来组织、存储和管理数据的系统。在对不同数据中心(datacenter,dc)、不同数据源中的数据进行数据联合分析的情况下,通过结构化查询语言(structured query language,sql)语句,访问不同数据源中的数据,并基于计算引擎汇聚数据进行数据联合分析。

2、相关技术中,不同数据源中的数据联合分析是基于用户指定的计算引擎进行计算,即,不管sql语句访问的数据分布如何,执行sql语句的计算引擎都是用户指定的计算引擎。

3、然而,在执行sql语句需要访问不同数据时,指定的计算引擎经常需要跨dc拉取数据,从而占用了dc之间有限的网络带宽,使得网络传输的开销增加,数据联合分析的效率降低。


技术实现思路

1、本申请提供了一种计算引擎的选择方法、装置、设备、存储介质及程序产品,所述技术方案如下:

2、根据本申请的一方面,提供了一种计算引擎的选择方本文档来自技高网...

【技术保护点】

1.一种计算引擎的选择方法,其特征在于,所述方法由基于代价估算的查询优化模型CBO执行,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述至少两个数据表中需要传输的数据表的数据量,得到所述数据联合分析对应的网络代价值,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述数据源统计信息、所述数据表统计信息及所述列统计信息中的至少一种估算得到的所述数据量,得到所述数据联合分析对应的所述网络代价值,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述数据源统计信息、所述数据表统计信息及所述列统计信息中的至少一种估算得到...

【技术特征摘要】

1.一种计算引擎的选择方法,其特征在于,所述方法由基于代价估算的查询优化模型cbo执行,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述至少两个数据表中需要传输的数据表的数据量,得到所述数据联合分析对应的网络代价值,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述数据源统计信息、所述数据表统计信息及所述列统计信息中的至少一种估算得到的所述数据量,得到所述数据联合分析对应的所述网络代价值,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述数据源统计信息、所述数据表统计信息及所述列统计信息中的至少一种估算得到的所述数据联合分析对应的网络传输的字节数,得到所述数据联合分析对应的所述网络代价值,包括:

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述网络带宽权重值,得到所述数据联合分析对应的所述网络代价值,包括:

7.根据权利要求3所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,所述基于至少两个所述候选计算引擎的资源状况,得到所述数据联合分析对应的负载代价值之前,还包括:

9.根据权利要求...

【专利技术属性】
技术研发人员:薛文伟蒋杰刘煜宏陈鹏陈奕安
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1