在数据库加速器环境中处理大型查询结果制造技术

技术编号:40275640 阅读:36 留言:0更新日期:2024-02-02 23:02
公开了一种用于促进从第一数据管理系统(212)到第二数据管理系统(202)的大数据传输的计算机实现的方法。所述方法包括:由第一缓冲器组件(708)从所述第一数据管理系统(212)接收数据;当所述第一缓冲器组件(708)达到预定的填充水平时,动态地将所接收的数据重新路由到第二缓冲器组件(710),其中所述第二缓冲器组件(710)适于处理所述重新路由的接收数据;一旦所述第一缓冲器组件(708)再次准备好接收所述重新路由的数据,由所述第二缓冲器组件(710)转发所述重新路由的数据;以及由发送组件(712)将在所述第一缓冲器组件(708)中缓冲的数据发送到所述第二数据管理系统(202)。

【技术实现步骤摘要】
【国外来华专利技术】

本专利技术总体上涉及一种用于促进大数据传输的方法,并且更具体地涉及一种用于促进从第一数据管理系统到第二数据管理系统的大数据传输的计算机实现的方法。本专利技术进一步涉及用于促进从第一数据管理系统到第二数据管理系统的大数据传输的数据传输系统以及相关计算机程序产品。


技术介绍

1、如今,越来越复杂的交易系统、相关数据管理、超大型数据库以及解耦合(或在其他情况下集成)oltp(在线交易处理)/olap(在线分析处理)需求属于企业it(信息技术)组织的日常挑战。在加速关系数据库系统中,分析查询通常在数据库加速器上运行以为分析查询处理提供显著的性能益处。对oltp部分的影响很小,使得数据处理系统的oltp部分能够正常工作,不会受到olap要求的太大影响。因此,分析查询通常被卸载到加速器,被转发到针对密集的分析工作负荷而优化的专用主干数据库管理系统(dbms),并且查询结果被传回客户端应用。这种卸载对于针对数据库的oltp部分工作的应用必须是完全透明的。即,加速dbms和后端dbms的不同行为需要通过适配器组件来补偿,该适配器组件例如将结果数据从后端格式转换成客户端应用本文档来自技高网...

【技术保护点】

1.一种计算机实现的方法,用于促进从第一数据管理系统至第二数据管理系统的大数据传输,所述方法包括:

2.根据前一权利要求所述的方法,其中,所述第一数据管理系统针对分析工作负载进行优化。

3.根据前述权利要求中任一项所述的方法,其中,所述第二数据管理系统适于接收来自软件应用的查询。

4.根据前述权利要求中任一项所述的方法,其中,所述第二缓冲器组件对重新路由的接收数据的处理包括选自由以下组成的组中的至少一个活动:压缩重新路由的接收数据、存储压缩的重新路由的接收数据、以及解压缩重新路由的接收数据。

5.根据前一权利要求所述的方法,其中,所述压缩、...

【技术特征摘要】
【国外来华专利技术】

1.一种计算机实现的方法,用于促进从第一数据管理系统至第二数据管理系统的大数据传输,所述方法包括:

2.根据前一权利要求所述的方法,其中,所述第一数据管理系统针对分析工作负载进行优化。

3.根据前述权利要求中任一项所述的方法,其中,所述第二数据管理系统适于接收来自软件应用的查询。

4.根据前述权利要求中任一项所述的方法,其中,所述第二缓冲器组件对重新路由的接收数据的处理包括选自由以下组成的组中的至少一个活动:压缩重新路由的接收数据、存储压缩的重新路由的接收数据、以及解压缩重新路由的接收数据。

5.根据前一权利要求所述的方法,其中,所述压缩、存储和解压缩重新路由的接收数据由一个或多个处理线程以交错的方式针对重新路由的接收数据的数据包执行。

6.根据前一权利要求所述的方法,其中,所述第二缓冲器组件的所述一个或多个处理线程在不从所述第一缓冲器组件接收任何重新路由的接收数据时处于空闲。

7.根据前述权利要求中任一项所述的方法,其中,所述第一缓冲器组件被适配为根据所述第二数据管理的预定义要求来转换所接收的数据。

8.根据前述权利要求中任一项所述的方法,其中,所述第二数据管理系统是面向行的关系数据库系统。

9.根据前述权利要求中任一项所述的方法,其中,所述第一数据管理系统是面向列的数据库管理系统。

10.根据前述权利要求中任一项所述的方法,还包括:

11.根据前述权利要求中任一项所述的方法,其中,从所述第一缓冲器组件传输出的数据序列与已经触发所述第一缓冲器组件从所述第一数据管理系统接收数据的查询兼容。

12.根据前述权利要求中任一项所述的方法,其中,所述第二缓冲器组件包括数据路径,所述数据路径包括所述组中的至少一个组件,所述组包括压缩缓冲器、压缩器线程、溢出文件写入缓冲器、溢出文件写入器线程、溢出文件队列、溢出文件读取器线程、解压缩缓冲器和解压缩器线程。

13.一种数据传输系统,用于促进从第一数据管理系统至第二数据管理系统的大数据传输,所述系统包括:

14.根据前一权利要求所述的系统,其中,所述第一数据管理...

【专利技术属性】
技术研发人员:F·贝尔K·斯托尔泽R·盖泽尔哈特L·E·奥利维拉利扎多
申请(专利权)人:国际商业机器公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1