【技术实现步骤摘要】
本申请实施例涉及计算机,特别涉及一种计算引擎的选择方法、装置、设备、存储介质及程序产品。
技术介绍
1、数据源是按照数据结构来组织、存储和管理数据的系统。在对不同数据中心(datacenter,dc)、不同数据源中的数据进行数据联合分析的情况下,通过结构化查询语言(structured query language,sql)语句,访问不同数据源中的数据,并基于计算引擎汇聚数据进行数据联合分析。
2、相关技术中,不同数据源中的数据联合分析是基于用户指定的计算引擎进行计算,即,不管sql语句访问的数据分布如何,执行sql语句的计算引擎都是用户指定的计算引擎。
3、然而,在执行sql语句需要访问不同数据时,指定的计算引擎经常需要跨dc拉取数据,从而占用了dc之间有限的网络带宽,使得网络传输的开销增加,数据联合分析的效率降低。
技术实现思路
1、本申请提供了一种计算引擎的选择方法、装置、设备、存储介质及程序产品,所述技术方案如下:
2、根据本申请的一方面,提供了
...【技术保护点】
1.一种计算引擎的选择方法,其特征在于,所述方法由基于代价估算的查询优化模型CBO执行,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述至少两个数据表中需要传输的数据表的数据量,得到所述数据联合分析对应的网络代价值,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述数据源统计信息、所述数据表统计信息及所述列统计信息中的至少一种估算得到的所述数据量,得到所述数据联合分析对应的所述网络代价值,包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述数据源统计信息、所述数据表统计信息及所述列统计信息
...【技术特征摘要】
1.一种计算引擎的选择方法,其特征在于,所述方法由基于代价估算的查询优化模型cbo执行,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述至少两个数据表中需要传输的数据表的数据量,得到所述数据联合分析对应的网络代价值,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述数据源统计信息、所述数据表统计信息及所述列统计信息中的至少一种估算得到的所述数据量,得到所述数据联合分析对应的所述网络代价值,包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述数据源统计信息、所述数据表统计信息及所述列统计信息中的至少一种估算得到的所述数据联合分析对应的网络传输的字节数,得到所述数据联合分析对应的所述网络代价值,包括:
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述网络带宽权重值,得到所述数据联合分析对应的所述网络代价值,包括:
7.根据权利要求3所述的方法,其特征在于,所述方法还包括:
8.根据权利要求1所述的方法,其特征在于,所述基于至少两个所述候选计算引擎的资源状况,得到所述数据联合分析对应的负载代价值之前,还包括:
9.根据权利要求...
【专利技术属性】
技术研发人员:薛文伟,蒋杰,刘煜宏,陈鹏,陈奕安,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。