一种基于数据库批流混合调度器优化的方法技术

本发明专利技术公开了一种基于数据库批流混合调度器优化的方法，该种基于数据库批流混合调度器优化的方法，不需要引入额外的计算引擎，服务数据库自身就提供了批计算和实时计算的能力，降低了系统的复杂度，不需Java、Scala等编程开发，SQL的计算逻辑就可以支持数据分析能力，使用者只需要关心业务逻辑的正确性即可，有需求变动时只需调整对应的SQL语句，就能修改业务逻辑，整个使用过程简单高效，无论是SQL学习(SQL有标准规范)，还是维护和迁移，都无需繁琐复杂的编码、编译、打包、部署等过程，增强了可维护性，不需要引入额外的计算引擎，所以可以充分的使用计算资源，提供了计算资源的利用率。用率。用率。

【技术实现步骤摘要】
一种基于数据库批流混合调度器优化的方法


[0001]本专利技术涉及数据库
，特别是涉及一种基于数据库批流混合调度器优化的方法。

技术介绍

[0002]联机分析处理OLAP是一种软件技术，指的是对存储在数据库或数据仓库中的数据提供分析的一种软件，OLAP工具能快速提供复杂数据库查询的答案，并帮助用户分析多维数据中的各维情况。
[0003]目前OLAP的技术方案大概有两种，第一种通过集成外部批计算引擎和实时计算引擎来进行计算；第二种是通过集成外部实时计算引擎来进行计算，从现有方案来看，存在如下问题：
[0004]1、复杂度高
[0005]在数据库之上，还需要同时引入其他计算引擎(批计算，实时计算)，增加使用、开发、运维的复杂度，批计算和实时计算同时存在时，很难保证两个引擎的计算结果完全一致；
[0006]2、可维护性差
[0007]引入新的计算引擎，意味着需要维护多套代码，维护人员不仅要充分的了解数据库，同时还需要充分的了解引入的计算引擎的代码逻辑，才能保证整个业务的正确性，对维护人员的要求较高，每个需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据库批流混合调度器优化的方法，其特征在于：通过将流入数据导入服务数据库，直接在服务数据库内查询，不需要引入额外的计算引擎，服务数据库自身就提供了批计算和实时计算的能力，所述服务数据库包括访问数据库的应用程序接口、计算引擎和存储单元。2.根据权利要求1所述的一种基于数据库批流混合调度器优化的方法，其特征在于：所述计算引擎包括元数据管理和SQL解析器，元数据是SQL解析器的基础，提供SQL解析器在解析、校验时所需要的表、字段、属性参数信息，SQL解析器由元数据管理体系提供支撑，对SQL语句进行解析、校验、最终转换为RelNode。3.根据权利要求2所述的一种基于数据库批流混合调度器优化的方法，其特征在于：在所述元数据基础上，在表属性参数中扩展了data_type这一参数。4.根据权利要求3所述的一种基于数据库批流混合调度器优化的方法，其特征在于：使用SQL进行数据分析，必须要在SQL语法层面扩展描述数据特性的参数data_type，语法有如下几类：(1)创建批计算或者实时计算特性的数据表CREATE TABLE[IF NOT EXISTS]表名称(表字段字段类型,
……
)PROPERTIES(
‘
data_type
’
:
’
stream
’
,其他属性参数)或者CREATE TABLE[IF NOT EXISTS]表...

【专利技术属性】
技术研发人员：张文霞，
申请(专利权)人：北京聚云位智信息科技有限公司，
类型：发明
国别省市：