用于在数据库中嵌入流处理执行的系统技术方案

技术编号:29940864 阅读:34 留言:0更新日期:2021-09-08 08:01
一种数据库管理系统,包括:存储器,用于存储:根据数据模型组织的多个数据对象;多个流运算符包装器,每个流运算符包装器包装流运算符,并具有至少一个端口,用于通过网络接收指令,所述指令用于:调度所述被包装的流运算符的激活,将所述被包装的流运算符与由所述多个流运算符包装器中的另一个流运算符包装器包装的另一个流运算符连接,和/或部署所述被包装的流运算符;处理电路,用于执行所述多个流运算符包装器。运算符包装器。运算符包装器。

【技术实现步骤摘要】
【国外来华专利技术】用于在数据库中嵌入流处理执行的系统


[0001]本专利技术涉及一种用于嵌入式流处理的数据库管理系统和一种用于在数据库管理系统中调度数据处理的方法。

技术介绍

[0002]数据流是由各种来源(例如传感器、机器或人类)以时间顺序生成的一系列事件。流处理涉及对数据流中的事件应用业务分析。典型的流处理方法假设给定时间内在一些边界内累积此类事件,并将业务分析应用于采集到的事件。流应用程序通常需要访问、处理在线动态数据并组合在线动态数据与存储在系统外部存储介质(如关系数据库)中的静态数据。
[0003]绕过流数据系统与数据库之间的边界,并在它们之间移动数据,可能会在实时处理流水线中形成瓶颈,这可能适用于欺诈预防、离群值检测或监控等多种场景,在这些场景中,复杂的模式匹配过程必须以非常低的延迟执行,同时组合来自不同应用程序和数据源的数据。
[0004]为了减少瓶颈,现代数据库系统除了支持对通常存储在表中的数据进行数据查询外,还支持存储过程的嵌入(即应用于数据库管理系统的相同内存空间中的数据的单线程程序)。数据库中流过程的目的是将查询计算能力扩展本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种数据库管理系统,其特征在于,包括:存储器,用于存储:根据数据模型组织的多个数据对象;多个流运算符包装器,每个流运算符包装器包装流运算符,并具有至少一个端口,用于通过网络接收指令,所述指令用于:调度所述被包装的流运算符的激活,将所述被包装的流运算符与由所述多个流运算符包装器中的另一个流运算符包装器包装的另一个流运算符连接,和/或部署所述被包装的流运算符;处理电路,用于执行所述多个流运算符包装器。2.根据权利要求1所述的数据库管理系统,其特征在于,所述多个流运算符包装器中的每个流运算符包装器具有入口点,用于从所述多个流运算符包装器中与所述流运算符包装器互连的另一个流运算符包装器接收数据流。3.根据上述权利要求中任一项所述的数据库管理系统,其特征在于,所述多个流运算符包装器中的一些流运算符包装器同时执行,以处理公共线程的数据流。4.根据上述权利要求中任一项所述的数据库管理系统,其特征在于,所述流运算符是由以下运算符组成的组的成员:map、flatmap、reduce、join、window、filter、processfunction、groupby、keyby、shuffle、group、iterate、match和aggregate。5.根据上述权利要求中任一项所述的数据库管理系统,其特征在于,所述数据库管理系统是分布式流处理流水线的一部分。6.根据上述权利要求中任一项所述的数据库管理系统,其特征在于,所述处理电路执行所述多个流运算符包装器中的至少一些流运算符包装器中的每个流运算符包装器,用于组合由所述相应的流运算符定义的逻辑和所述多个数据对象中的一些数据对象。7.根据上述权利要求中任一项所述的数据库管理系统,其特征在于,所述指令被接收用于实现流处理流水线集成。8.根据上述权利要求中任一项所述的数据库管理系统,其特征在于,所述指令被接收用于控制作业执行,以便能够根据流处理计划协调和分配作业。9.根据权利要求5所述的数据库管理系统,其特征在于,所述流处理计划用于构建流应用拓扑。10.根据上述权利要求中任一项所述的数据库管理系统,其特征在于,所述流运算符是单线程应用,定义了用于处理来自所述多个数据对象的数据的逻辑。11.根据上述权利要求中任一项所述的数据库管理系统,其特征在于,所述流运算符是用户定义函数。12.根据上述权利要求中任一项所述的数据库管理系统,其特征在于,所述至少一个端口包括至少一个输出端口,用于将数据输出到对应地监督所述相应的流运算符的执...

【专利技术属性】
技术研发人员:拉杜
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1