用于提供上下文敏感的、非侵入性数据处理优化框架的方法和系统技术方案

技术编号:40039812 阅读:18 留言:0更新日期:2024-01-16 19:32
提供了一种在数据源中执行数据搜索的方法。通过所述方法,在考虑了运行时信息和优化规则的情况下,使用优化和编译运算符的中间表示的运算符优化模块,实时地优化和编译数据搜索管道的运算符,以生成针对执行的数据搜索优化的运算符。根据通过运行时信息和优化规则确定的查询计划,所述方法可以应用于一个运算符,也可以应用于以任意顺序或树结构应用的多个运算符。

【技术实现步骤摘要】
【国外来华专利技术】

本专利技术大体上涉及从数据源检索和处理信息的领域,尤其涉及使用基于执行的数据搜索优化和编译的运算符检索信息的方法。


技术介绍

1、随着可用数据变得越来越多,优化和加快数据搜索和访问的需求越来越大。现代数据库系统可以通过使用缓存高效算法和数据结构来实现高效的查询处理,但为了通过尽可能防止分支错误预测和缓存未命中等方式来进一步改进查询处理,数据库运算符需要大幅调整cpu效率,这可以通过将数据库查询转换为优化的机器代码来实现。

2、为了处理排列为许多不同类型的列的数据源,其中任意列都可能需要在运行时处理,现代数据库系统的数据处理管道必须依赖于通用逻辑。为了管理待处理数据集的频谱,通常会产生许多for循环,嵌套在分支中。

3、通常,为了最大限度地提高搜索执行的性能并使用目标计算机优化,可以应用编译器传递来优化代码库。对于数据处理逻辑通常用编程语言或结构化查询语言(structured query language,sql)编写的情况,编译器传递基本上充当代码库的解释器。

4、现有的方法基于提交的数据处理逻辑(即sql语句)生成代本文档来自技高网...

【技术保护点】

1.一种执行数据搜索的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述至少一个运算符用高级编程语言配置,并由前端编译器编译成所述至少一个运算符的中间表示代码。

3.根据权利要求1或2所述的方法,其特征在于,所述至少一个运算符包括注释标记函数,当所述至少一个运算符在运行时被优化和编译用于所述数据搜索时,所述注释标记函数被特化。

4.根据权利要求1至3中任一项所述的方法,其特征在于,所述运行时信息包括数据布局。

5.根据权利要求1至4中任一项所述的方法,其特征在于,所述运行时信息包括数据统计。

6.根...

【技术特征摘要】
【国外来华专利技术】

1.一种执行数据搜索的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述至少一个运算符用高级编程语言配置,并由前端编译器编译成所述至少一个运算符的中间表示代码。

3.根据权利要求1或2所述的方法,其特征在于,所述至少一个运算符包括注释标记函数,当所述至少一个运算符在运行时被优化和编译用于所述数据搜索时,所述注释标记函数被特化。

4.根据权利要求1至3中任一项所述的方法,其特征在于,所述运行时信息包括数据布局。

5.根据权利要求1至4中任一项所述的方法,其特征在于,所述运行时信息包括数据统计。

6.根据权利要求1至5中任一项所述的方法,其特征在于,所述运行时信息包括执行所述数据搜索的查询处理引擎的硬件信息。

7.根据权利要求1至6中任一项所述的方法,其特征在于,所述优化规则包括全局算法。

8.根据权利要求1至7中任一项所述的方法,其特征在于,所述优化规则基于所述运行时信息。

9.根据权利要求1至8中任一项所述的方法,其特征在于,所述优化规则包括特定于所述至少一个运算符的算法。

10.根据权利要求1至9中任一项所述的方法,其特征在于,优化所述至少一个运算符包括将至少一个优化应用于所述至少一个运算符的代码,所述代码提高了执行所述至少一个运算符的数据搜索的效率。

11.根据权利要求1至10中任一项所述的方法,其特征在于,优化所述至少一个运算符是在调用数据搜索之后并且在所述数据搜索完成之前执行的,使得执行所述数据搜索包括执行所述至少一个优化的运算符。

12.根据权利要求1至11中任一项所述的方法,其特征在于,执行数据搜索包括优化和编译多个运算符,所述运算符随后由所述数据搜索根据由所述数据搜索定义的查询计划执行。

13.一种用于执行数据搜索的系统,其特征在于,包括:

14.根据权利要求13所述的系统,其特征在于,在由所述查询处理引擎优化和执行之前,所述至少一个运算符文件用高级编程语言配置,并被编译成中间表示代码。

15.根据权利要求13或14所述的...

【专利技术属性】
技术研发人员:张赞庆伯努瓦·赫齐亚阿尔文·丁杨郭李铮张景芳刘松灵廖登宏
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1