多系统的集成分析技术方案

本发明专利技术涉及一种多系统的集成分析。实施例提供了支持用于执行分析的应用的联合系统。该联合系统包括：第一分布式系统，用于执行一个或多个第一任务，该一个或多个第一任务包括将传入数据处理成一组数据块；内存数据库系统，用于执行一个或多个第二任务，该一个或多个第二任务包括从第一分布式系统接收一组数据块并且将该组数据块存储在内部存储装置中；以及第二分布式系统，用于执行一个或多个第三任务，该一个或多个第三任务包括从内存数据库系统接收一组数据块中的至少一个数据块并且执行对所述至少一个数据块的分析。第一任务、第二任务和第三任务的运行是通过由所述应用使用的且与内存数据库系统相关联的脚本语言控制的。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及一种多系统的集成分析。实施例提供了支持用于执行分析的应用的联合系统。该联合系统包括：第一分布式系统，用于执行一个或多个第一任务，该一个或多个第一任务包括将传入数据处理成一组数据块；内存数据库系统，用于执行一个或多个第二任务，该一个或多个第二任务包括从第一分布式系统接收一组数据块并且将该组数据块存储在内部存储装置中；以及第二分布式系统，用于执行一个或多个第三任务，该一个或多个第三任务包括从内存数据库系统接收一组数据块中的至少一个数据块并且执行对所述至少一个数据块的分析。第一任务、第二任务和第三任务的运行是通过由所述应用使用的且与内存数据库系统相关联的脚本语言控制的。【专利说明】多系统的集成分析
本公开涉及多系统的集成分析。
技术介绍
设计成功的分析产品需要考虑多种不同因素，包括性能(例如响应时间)、总拥有成本和/或现有软件包的可用性。目前，存在着许多不同的支持分析的系统，诸如分布式文件系统(例如，Hadoop系统)、支持开源编程语言的分布式系统(例如，R系统)以及支持内存(in-memory)技术的系统。例如，Hadoop系统可以是以相对较低的拥有成本支持大规模并行操作(parallelism)的系统，但是可以包括无共享架构、与许多现在的内存分析应用相比相对较低的性能、以及缺乏查询语言的限制。R系统可以是具有超过3000个可用软件包的统计计算软件包，但在在并行操作和处理大量数据方面的可扩展性有限，而且由于它是基于磁盘的系统而具有较低的性能。内存系统可以在响应时间方面具有最高的性能。此外，内存系统可以充分利用多核基础构造，以确保复杂分析的完全并行操作，并且可以为数据库查询提供灵活的查询语言，并提供包括诸如可以调用外部系统的C/C++、R和二进制代码中的任意一种的非SQL存储过程的能力。然而，内存数据库系统一般比其他系统更昂贵，且具有较少的新的可用的应用/分析软件包。因此，这些分析系统具有自己的优点和缺点。一般情况下，客户要求系统具有高性能和实惠的价格。使用上述系统之一建立分析系统限制了系统的底层技术的局限性。例如，Hadoop系统具有较低的拥有成本,但是缺乏内存系统的高性能和语言能力，而使用内存系统构建系统可能不符合处理较大组的原始数据的成本效益。此外，R系统可能缺乏处理较大组的原始数据的能力以及对高性能的可扩展性/并行操作。
技术实现思路
实施例提供了支持用于执行分析的应用的联合系统。该联合系统包括:第一分布式系统，用于执行一个或多个第一任务，该一个或多个第一任务包括将传入数据处理成一组数据块；内存数据库系统，用于执行一个或多个第二任务，该一个或多个第二任务包括从第一分布式系统接收一组数据块并且将该组数据块存储在内部存储装置中；以及第二分布式系统，用于执行一个或多个第三任务，该一个或多个第三任务包括从内存数据库系统接收一组数据块中的至少一个数据块并且执行对所述至少一个数据块的分析。第一任务、第二任务和第三任务的运行是通过由应用使用的且与内存数据库系统相关联的脚本语言来控制的。一个或多个第三任务包括从第二分布式系统接收分析的结果并将该结果存储在内部存储装置中。第一分布式系统可以包括Hadoop系统,而且第二分布式系统可以包括R系统。脚本语言可以包括结构化查询语言(SQL)脚本，其中SQL脚本可以包括嵌入式R语言脚本。内存数据库系统可以被配置为通过存储器到存储器复制信道从第一分布式系统接收一组数据块。第一分布式系统可以包括多个节点，而且每个节点都可以包括转换单元，该转换单元被配置为将传入数据转换成具有能够与内存数据库系统的内部存储装置兼容的格式的一个或多个数据块。内存数据库系统可以包括排序单元，该排序单元被配置为对一组数据块进行排序，以使得该组数据块中的数据块不可用于分析，直到该组数据块中先前的数据块都被接收。第一分布式系统可以包括排序单元，该排序单元被配置为在将一组数据块发送到内存数据库系统之前对该组数据块进行排序。与内存数据库系统相关联的脚本语言可以包括具有与第二分布式系统相关联的脚本语言的一个或多个命令，其中内存数据库系统可以将一个或多个命令与至少一个数据块一起发送到第二分布式系统以用于执行分析。第二分布式系统从内存数据库系统接收至少一个数据块可以包括通过存储器到存储器复制信道接收一个或多个命令以及至少一个数据块。内存数据库系统可以通过存储器到存储器复制信道接收分析的结果。联合系统还可以包括数据发送器，该数据发送器被配置为从第一分布式系统接收一组数据块，确定该组数据块是否达到阈值水平，并且如果该组数据块被确定为达到阈值水平则发送该组数据块。联合系统还可以包括数据传递协调器，该数据传递协调器被配置为将来自第一分布式系统的一组数据块传递到内存数据库系统。实施例还提供了支持用于执行分析的应用的方法。该方法包括:第一分布式系统执行一个或多个第一任务，该一个或多个第一任务包括将传入数据处理成一组数据块；内存数据库系统执行一个或多个第二任务，该一个或多个第二任务包括从第一分布式系统接收一组数据块并且将该组数据块存储在内部存储装置中；以及第二分布式系统执行一个或多个第三任务，该一个或多个第三任务包括从内存数据库系统接收一组数据块中的至少一个数据块并且执行对所述至少一个数据块的分析。第一任务、第二任务和第三任务的运行是通过由应用使用的且与内存数据库系统相关联的脚本语言来控制的，而且一个或多个第三任务包括从第二分布式系统接收分析的结果并将该结果存储在内部存储装置中。从第一分布式系统接收一组数据块可以包括通过存储器到存储器复制信道从第一分布式系统接收一组数据块。一个或多个第一任务还可以包括将传入数据转换成具有能够与内存数据库系统的内部存储装置兼容的格式的一个或多个数据块。一个或多个第二任务可以包括对一组数据块进行排序，以使得该组数据块中的数据块不可用于分析，直到该组数据块中的先前数据块都被接收为止。一个或多个第一任务可以包括在将一组数据块发送到内存数据库系统之前对该组数据块进行排序。与内存数据库系统相关联的脚本语言可以包括具有与第二分布式系统相关联的脚本语言的一个或多个命令，其中一个或多个第二任务可以包括将一个或多个命令与至少一个数据块一起发送到第二分布式系统以用于执行分析。一个或多个第三任务可以包括通过存储器到存储器复制信道接收一个或多个命令以及至少一个数据块。实施例还提供了一种计算机程序产品，该计算机程序产品有形地具体实施在非临时性计算机可读存储介质上并包括可运行代码，当该可运行代码运行时被配置为使联合系统执行以下操作:通过第一分布式系统执行一个或多个第一任务，该一个或多个第一任务包括将传入数据处理成一组数据块；执行一个或多个第二任务，该一个或多个第二任务包括从第一分布式系统接收一组数据块并且将该组数据块存储在内存数据库系统的内部存储装置中；以及执行一个或多个第三任务，该一个或多个第三任务包括从内存数据库系统接收一组数据块中的至少一个数据块并且执行对所述至少一个数据块的分析。第一任务、第二任务和第三任务的运行是通过由应用使用的且与内存数据库系统相关联的脚本语言来控制的，而且一个或多个第三任务包括从第二分布式系统接收分析的结果并将该结果存储在内部存储装置中。在附图和以下描述中本文档来自技高网...

【技术保护点】
一种支持用于执行分析的应用的联合系统，该联合系统包括：第一分布式系统，用于执行一个或多个第一任务，该一个或多个第一任务包括将传入数据处理成一组数据块；内存数据库系统，用于执行一个或多个第二任务，该一个或多个第二任务包括从第一分布式系统接收一组数据块并且将该组数据块存储在内部存储装置中；以及第二分布式系统，用于执行一个或多个第三任务，该一个或多个第三任务包括从内存数据库系统接收一组数据块中的至少一个数据块并且执行对所述至少一个数据块的分析，其中，第一任务、第二任务和第三任务的运行是通过由所述应用使用的、且与内存数据库系统相关联的脚本语言来控制的，其中，该一个或多个第三任务包括从第二分布式系统接收分析的结果并将该结果存储在内部存储装置中。

【技术特征摘要】

【专利技术属性】
技术研发人员：C孙，Y金，黎文宪，
申请(专利权)人：SAP股份公司，
类型：发明
国别省市：德国;DE