用于在确保一致数据视图的同时供应数据仓库的技术制造技术

描述了一种用于在确保一致数据视图的同时供应数据仓库的技术。所述系统包括：接口，用于接收数据元素，所述数据元素被分配给各个交易，并且需要在传送到所述数据仓库之前进行处理。还提供了一种处理控制组件，用于关于对于特定处理操作的各个分配而对数据元素进行分析，以及用于控制所述数据元素对于关联的处理分支的分布。将至少一个第一缓冲存储器部署在所述处理控制组件的下游，以用于暂时存储分布后的数据元素，给每一已存储的数据元素分配时间控制信息。通过两个或更多并行处理分支来对从所述至少一个缓冲存储器读出的数据元素进行处理，在第一模式下实现与所述时间控制信息无关的对数据元素的处理，在第二模式下提供基于所述时间控制信息的对特定数据元素的优先级化处理。将传递组件部署在所述处理分支的下游，传递组件将处理过的数据元素传递给所述数据仓库。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总体涉及向数据仓库(也称为“数据存储器”)供应交易数据。具体地说，本专利技术针对一种供应技术，其确保数据仓库中所收集的数据的一致视图。
技术介绍
术语数据仓库通常指的是中央数据收集(通常是数据库)，其内容包括多个经常不同的数据源的数据。主要将数据从数据源拷贝到数据仓库，并将其长期存储在数据仓库中，主要用于数据分析，并且用于确保高级数据视图的目的。数据仓库的创建基于两个管理原则。首先，将数据从分布的、并且经常不统一的结构化的数据库存合并到数据仓库中，以呈现数据的可能的全局视图以及基于所述全局视图的高级评估。其次，数据仓库的使用允许将用于操作问题(例如在短寿命交易的情形中)的那些数据与为了进行报告、高级数据分析等等而在数据仓库中所使用的这些数据分离。过去，数据仓库的供应通常基于周期(例如在月末的成批处理)来实现。近年来，越来越多地出现偏离通常的供应方式，而朝着或多或少实时地供应数据仓库的方式。这种发展的背景是：许多部门需要立即可用的数据收集，同时一方面保留操作(数据生成)系统的分离，另一方面评估(数据收集)系统。现代的操作系统经常被设计为OLTP系统。术语OLTP(在线交易处理)指的是用于基于交易的数据处理的方法。关于这一点，交易被理解为根据ACID概念而组合以形成不可分的单元的一系列逻辑上相关的个体动作。交易的特征在于，这里所组合的个体动作全部执行或完全不执行。此外，可以在不增加多个交易-->之间的交互的情况下并行地执行多个交易。因此，将每一个体交易与其它交易“隔离”地实现。以交易范例为基础，确保OLTP系统的公共特性。这些公共特征中的一个是OLTP系统具有多用户能力。在多用户操作的情形中，可以由不同用户生成多个并行交易。OLTP系统具有这样的设计：(至少在用户的感知方面)实时地实现交易。此外，交易通常是短寿命、并且标准化的，即，每一OLTP系统为不同应用提供至少一系列的预定交易类型。属于交易的数据元素构成了逻辑单元，并且可以在单个数据记录或互连的数据记录中对其进行处理。假设将与数据仓库有关的特定交易的所有数据元素一起传送到数据仓库中，该数据仓库提供被包含在其中的数据的视图，其与个体交易一致。尤其在周期性供应数据仓库的情况下，可以没有困难地确保这种交易一致视图。然而，更多问题在于将交易数据(至少近似地)实时地提供给数据仓库的情况。在这种情况下，无论如何，由于属于特定交易的数据元素经常穿过某些处理分支比通过其它处理分支更快速，因此如果在将属于特定交易的数据元素转交到数据仓库之前将其提供给并行处理分支，则不再存在与交易有关的一致性。相应地，属于特定交易的数据元素将在不同时刻到达数据仓库，这取决于所述数据元素各自经过的处理分支。然而，将不再能够随时确保数据仓库所提供的数据的交易一致视图。为了解决这个问题，原则上，可以考虑基于交易来使得各个处理分支中的处理操作彼此同步。然而，在实践中，已经发现，只能利用相当大的资源输入来实现这种任务所需的同步机制。还可以考虑在数据库中(在离开并行处理分支的下游)收集属于特定交易的数据元素，然后将所述数据元素全部传递到数据仓库中。然而，尤其是在大公司(例如银行)的情况下，如果考虑经常要将每秒超过几千个交易也拷贝到数据仓库，则对于在数据库级别集体传递到数据仓库所必须的JOIN操作而言，需要大量计算资源。本专利技术基于提供一种用于向数据仓库连续供应交易数据的高效-->技术的目的，一方面，可以在没有不相称的高技术资源输入的情况下实现该技术，另一方面，该技术能够提供一致数据视图。
技术实现思路
根据第一方面，为了实现这一目的，提供了一种用于向数据仓库供应在基于交易的处理的情形下生成的数据的系统，所述系统确保一致的数据视图。该系统包括：接口，用于接收数据元素，所述数据元素被分配给各个交易，并且需要在传送到所述数据仓库之前进行处理；处理控制组件，用于关于对于特定处理操作的分配来对接收到的数据元素进行分析，以及用于控制接收到的数据元素对于关联的处理分支的分布；至少一个第一缓冲存储器，被提供在处理控制组件的下游，用于暂时存储分布后的数据元素，其中，给每一已存储的数据元素分配时间控制信息；两个或更多个处理分支，在其中存在分别提供的处理组件，处理组件用于对从所述至少一个第一缓冲存储器读出的数据元素进行处理；至少一个模式控制设备，在第一模式下发起对数据元素的处理，这一处理与所述时间控制信息无关，而在第二模式下提供对特定数据元素的优先级化(prioritising)处理，这一处理基于时间控制信息；以及传递组件，被部署在所述处理分支的下游，并且将处理过的数据元素传递到所述数据仓库中。可选地，可以提供定时组件，该定时组件提供时间控制信息。术语“上游”和“下游”通常与数据元素从接收接口到数据仓库的流所定义的方向有关。通过所述至少一个模式控制设备，可以在第一模式下确保对所述数据仓库的连续供应，同时，可以在第二模式下确保数据仓库在给定时刻提供交易一致数据视图。确保所述交易一致数据视图在于：基于分配给数据元素的时间控制信息，使得可以对特定数据元素进行优先级化，并且可以供应数据仓库。所述至少一个模式控制设备可以耦合到各个系统组件。例如，如果至少一个模式控制设备耦合至处理组件，则所述模式控制设备可以关于数据元素来控制所述处理组件的读出行为。这种概念的可能的实现包括：在所述第一模式下，处理组件自由选择所述至少一个缓冲存-->储器的读出的数据元素，而在所述第二模式下，所述处理组件有选择地读出(并且处理)被分配的时间控制信息满足预定条件的数据元素。用于接收数据元素的接口优选地耦合到操作系统。所述操作系统可以被实现为OLTP系统，以便给所述操作系统的用户提供实时服务。而所述处理组件被部署在接口的下游，可选地可以在所述接口上游另外提供交易控制组件。所述交易控制组件优选地是用于实时交易控制的OLTP组件。可以关于OLTP系统的操作异步地执行所述接口下游的处理。具体地说，所述异步性可以由所述数据元素的暂时存储引起。为了确保数据元素的快速吞吐，同时连续供应数据仓库(至少在所述第一模式下)而不管异步处理如何，可以根据直通(straight-through)处理(STP)原理来实现各个处理分支中的处理。除了被便利地部署在所述处理控制组件与所述处理组件之间的所述至少一个第一缓冲存储器之外，可以提供至少一个第二缓冲存储器，以用于暂时存储处理过的数据元素。因此，在处理分支的下游提供第二缓冲存储器，并且优选地在所述处理组件与所述传递组件之间。在这种情况下，所述传递组件因此可以从所述至少一个第二缓冲存储器移除处理过的数据元素，并且将它们传递到所述数据仓库。根据第一变体，给所有处理分支提供公共的第一缓冲存储器和/或公共的第二缓冲存储器。根据第二变体，给每一处理分支分配单独的第一缓冲存储器和/或单独的第二缓冲存储器。可以将这两个变体组合在一起，以便给系统的某些处理分支分配单独的缓冲存储器，而给系统的其它处理分支分配公共的缓冲存储器。关于各个缓冲存储器的设计，存在多种可能性。因此，可以考虑将第一缓冲存储器和/或第二缓冲存储器实现为队列。然而，也可以将第一缓冲存储器和/或第二缓冲存储器实现为批处理文件。根据第三种可能性，接口数据库运行为第本文档来自技高网...

【技术保护点】
一种系统，用于在确保一致数据视图的同时，向数据仓库供应在基于交易的处理的情形下生成的数据，所述系统包括：　－接口，用于接收数据元素，所述数据元素被分配给各个交易，并且需要在传送到所述数据仓库之前进行处理；　－处理控制组件，用于确 定所接收到的数据元素对于特定处理操作的各个分配，以及用于控制所接收到的数据元素对于关联的处理分支的分布；　－至少一个第一缓冲存储器，被提供在所述处理控制组件的下游，用于暂时存储分布后的数据元素，其中，给每一个已存储的数据元素分配时间控 制信息；　－两个或更多个处理分支，在其中存在分别提供的处理组件，所述处理组件用于对从所述至少一个第一缓冲存储器读出的数据元素进行处理；　－至少一个模式控制组件，在第一模式下，其发起与所述时间控制信息无关的对数据元素的处理，而在第 二模式下，提供基于所述时间控制信息的对特定数据元素的优先级化处理；以及　－传递组件，被部署在所述处理分支的下游，并且将处理过的数据元素传递给所述数据仓库。

【技术特征摘要】
【国外来华专利技术】EP 2006-1-20 06001243.21.一种系统，用于在确保一致数据视图的同时，向数据仓库供应在基于交易的处理的情形下生成的数据，所述系统包括：-接口，用于接收数据元素，所述数据元素被分配给各个交易，并且需要在传送到所述数据仓库之前进行处理；-处理控制组件，用于确定所接收到的数据元素对于特定处理操作的各个分配，以及用于控制所接收到的数据元素对于关联的处理分支的分布；-至少一个第一缓冲存储器，被提供在所述处理控制组件的下游，用于暂时存储分布后的数据元素，其中，给每一个已存储的数据元素分配时间控制信息；-两个或更多个处理分支，在其中存在分别提供的处理组件，所述处理组件用于对从所述至少一个第一缓冲存储器读出的数据元素进行处理；-至少一个模式控制组件，在第一模式下，其发起与所述时间控制信息无关的对数据元素的处理，而在第二模式下，提供基于所述时间控制信息的对特定数据元素的优先级化处理；以及-传递组件，被部署在所述处理分支的下游，并且将处理过的数据元素传递给所述数据仓库。2.如权利要求1所述的系统，还包括：至少一个第二缓冲存储器，被部署在所述处理分支的下游，用于暂时存储所述处理过的数据元素。3.如权利要求1或2所述的系统，其中，给每一个处理分支分配单独的第一缓冲存储器和/或单独的第二缓冲存储器。4.如权利要求1至3中的任意一项所述的系统，其中，所述第一缓冲存储器和/或第二缓冲存储器实现为队列。5.如权利要求1至4中的任意一项所述的系统，其中，所述第一缓冲存储器和/或第二缓冲存储器实现为批处理文件。6.如权利要求1至5中的任意一项所述的系统，其中，所述第一缓冲存储器和/或第二缓冲存储器实现为接口数据库。7.如权利要求1至6中的任意一项所述的系统，其中，给每一个处理分支的多个处理线程分配公共的第一缓冲存储器和/或第二缓冲存储器。8.如权利要求1至7中的任意一项所述的系统，其中，给至少一个第一缓冲存储器和/或第二缓冲存储器中的数据元素分配状态信息，所述状态信息指示所述数据元素的读出状态。9.如权利要求1至8中的任意一项所述的系统，其中，给至少一个第一缓冲存储器和/或第二缓冲存储器中的数据元素分配状态信息，所述状态信息指示所述数据元素的处理状态。10.如权利要求1至9中的任意一项所述的系统，其中，给所述交易和/或所述数据元素分配数字标识符，并且将根据所述数字标识符...

【专利技术属性】
技术研发人员：丹尼尔帕努萨特，汉斯贝特洛克，
申请(专利权)人：瑞士银行股份有限公司，
类型：发明
国别省市：CH[瑞士]