自动数据合并制造技术

本发明专利技术公开了一种用于将来自分布式数据库的数据合并到中央数据库内的方法、请求检测器、推理引擎和系统。该方法包括步骤：接收包括对分布式数据库的请求信息的访问信息，分析所接收的访问信息，和根据所分析的访问信息，将分布式数据库的数据内容聚集到中央数据库内。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于将来自分布式数据库的数据合并(consolidate)到中央数据库内的方法、设备和系统。
技术介绍
当前，许多组织将它们的IT(信息技术)花费集中在通过提高其IT基础设施的效率和效用从而帮助他们降低成本的方法和技术上。许多组织和公司面临的关键难题是在因特网兴起(也称作“.com”泡沫)开始之时，许多组织不得不突然地接受因特网，在这种情况下，以自组织(ad-hoc)方式建立了并未针对可缩放性或发展空间很好地设计的基础设施单元。当前，这些组织和公司面对松散组合且需要高成本来进行维护的基础设施，难以满足商业需要的发展，且成本很高。这在商务处理和这些组织管理数据的方面都是显而易见的。在许多情况下，数据分散在组织或公司内，不同部门使用不同的数据库系统，所有这些部门经常使用不同的数据库表格设计以多种格式维护基本相同的数据。在此，使用标准化模式在(逻辑上的)单个位置内维护所有的数据将有很大的益处。假如具有这样的集中式数据仓库或数据库引擎将能够进行快速的数据分析以改善客户关系管理，简化新产品开发，降低IT基础设施本身的维护成本，同时改善整个系统的可靠性和可用性。国际公开文本WO 99/52047A1涉及一种用于将数据从一个或多个ASCII文件和/或从一个或多个关系数据库转移到一个或多个关系数据库表格而不需要编写代码的方法和系统。这允许用户定义映射模板和条件以协助翻译和转换数据值。使用基于关系设计原理的一组预先定义的转移规则模板，该方法还实施参考完整性、数据相关性、操作顺序和唯一性限制。该方法使用这些映射和转移规则模板以生成用于更新或填充关系数据库目的表格的指令。这些指令控制数据传输、数据翻译、数据转换、数据验证、外部关键字插入和在目的表格内所需要的代码和标记的添加。该系统的转移引擎包括数据映射结构设计器和更新处理器，其使用用于目标表格的数据定义来生成模板和动态地转移数据。现有技术的缺点在于它受限于在其中实施了Oracle应用表格的具体类型的数据库系统。这要求用户手工地定义转移规则，或者至少交互地，即通过用户交互。(Oracle是Oracle公司的商标)。该现有技术并未给出有关允许发现整个组织中内的数据库或对实际访问模式增加合并处理的规定。根据上述描述，在现有技术中依然需要一种允许将来自分布式数据库的数据合并到中央数据库内的有效方案。
技术实现思路
公开了一种方案，它执行两个基本任务，其中(a)它监视现有的数据访问模式，从而得出在组织内可用的数据源和如何使用它们的概况；和(b)随后，它不断将各种数据源的数据内容合并到新的中央库(centralized repository)，并将对远程数据库服务器的调用重定向这个中央数据库。为此，使用三个基础设施单元。所谓的传感器，也称作截取器或请求检测器，监视在组织或网络内的任何数据访问。推理引擎(inference engine)，分析访问模式和在单个数据库内包含的数据格式。中央数据库，也称作中央数据仓库或中央库，聚集各个数据源的数据以最终予以替换。在下文中，将更详细地解释单个基础设施单元。传感器或请求检测器连接到基础设施单元(通常为管理用户和/或应用的数据库访问的软件驱动程序(driver))并记录由用户和应用提交的请求。这种传感器的典型例子是修改的ODBC(JDBC)驱动程序。例如，JDBC驱动程序是当前频繁地用于从Java程序访问数据库的Java代码。通过修改JDBC驱动程序，传感器逻辑可以记录从程序或用户发起的到数据库的所有数据请求，以及正在对哪个数据库寻址。通过修改数据库本身可以获得其它的例子。实时地或以批模式，记录所有的数据访问并发送给推理引擎。推理引擎分析由传感器或请求检测器记录的数据访问以识别(i)作为在一个或多个网络内的分布式数据库的所使用的数据库引擎；和(ii)所使用的数据方案；例如，推理引擎学习在各个数据库引擎内是何种形式的数据表格，使用哪些主要关键字和外部关键字，在那些数据库表格内包含哪种类型的数据。此外，推理引擎可以执行(iii)不同数据库之间的相关；例如，推理引擎应当使来自不同数据库的列相关，即使它们的名称可能不同。根据推理结果，该引擎生成新的数据方案，生成在中央数据仓库即中央数据库上的方案的实例(instance)。然后，随着时间的过去，推理引擎将已经发现的来自各个分布式数据库内的现有数据复制到这个新的中央数据库内。当完成时，推理引擎可以发出命令以将到各个数据库的调用重新定向到该中央数据仓库。这可以通过通知请求检测器拦截各个数据访问调用，并将它们重定向到中央数据库的方式来实现。中央数据仓库或中央数据库是数据库引擎，例如IBM DB/2。为了提高可用性，可以使用簇(cluster)。根据本专利技术，提供一种用于自动地将数据从分布式数据库合并到中央数据库内的方法。该方法包括步骤接收包括到分布式数据库的请求信息的访问信息，分析所接收的访问信息，根据所分析的访问信息，将分布式数据库的数据内容聚集到中央数据库内。这允许对分布在几个数据库上的冗余数据进行简单且自动的转移(migration)。本专利技术还可以包括步骤从数据业务中过滤到相应分布式数据库的请求信息，并将访问信息内的过滤后的请求信息转发给推理引擎。可以在一个位置上分析所有的已收集请求信息，即可以比较来自各个数据库的信息，并可以研究可能的合并。可以为中央数据库生成基于所分析的访问信息的新的数据方案(schema)。优点在于可以使用符合各个分布式数据库需要的合并模式。分析步骤可以包括使用日志文件信息。这执行起来很简单，且不需要在基础设施内的任何改变，但是可能不能以与传感器或请求检测器进行检测的相同细致程度来生成访问数据。根据本专利技术的另一方面，提供一种用于支持从分布式数据库到中央数据库内的数据合并的请求检测器。该请求检测器可以包括检测装置，用于检测对分布式数据库的请求信息；转换装置，从所检测的请求信息中得到访问信息；和提供装置，将访问信息发送给推理引擎。可以在每个要合并的分布式数据库上提供请求检测器，最好以修改的ODBC(JDBC)驱动程序的形式。请求检测器甚至可以集成到要合并的每个分布式数据库内。请求检测器可以包括重定向装置，用于将对单个数据库的请求重定向到中央数据库。优点在于可以将请求直接转发给合并后的中央数据库，用户可以获取比由单个数据库提供的信息更多的信息。根据本专利技术的另一方面，提供一种推理引擎，用于控制从分布式数据库到中央数据库的数据合并。推理引擎可以包括用于分析从分布式数据库接收到的，并包括对相应分布式数据库的请求信息的访问信息的装置。推理引擎可以包括相关装置，用于使不同的分布式数据库之间的列和/或行相关，但是也可以使字段(field)、记录和/或数据结构相关。这产生随后可以由已合并的中央数据库使用的新模式。推理引擎允许简单的数据转移。将等同的信息或数据集合在一起，并存储在一个位置上。这有助于避免分布式系统中的重复。根据本专利技术的又一方面，提供一种用于将数据从分布式数据库合并到中央数据库中的系统。该系统包括在每个要合并的分布式数据库上的请求检测器，用于提供包括对分布式数据库的请求信息的访问信息；推理引擎，用于分析所接收的访问信息；和中央数据库，根据所分析的访问信息，分布式数本文档来自技高网...

【技术保护点】
一种用于将来自分布式数据库（１１、１２、１３、１４、１５）的数据合并到中央数据库（３４）内的方法，包括步骤：－接收包括对分布式数据库（１１、１２、１４）的请求信息（ｒ↓［１］、ｒ↓［２］、ｒ↓［３］）的访问信息（ａ↓［１］、ａ↓［２ ］、ａ↓［３］）；－分析所接收的访问信息（ａ↓［１］、ａ↓［２］、ａ↓［３］）；和－根据所分析的访问信息（ａ↓［１］、ａ↓［２］、ａ↓［３］），将分布式数据库（１１、１２、１３、１４、１５）的数据内容聚集到中央数据库（３４） 中。

【技术特征摘要】
【国外来华专利技术】EP 2003-4-28 03405295.11.一种用于将来自分布式数据库(11、12、13、14、15)的数据合并到中央数据库(34)内的方法，包括步骤-接收包括对分布式数据库(11、12、14)的请求信息(r1、r2、r3)的访问信息(a1、a2、a3)；-分析所接收的访问信息(a1、a2、a3)；和-根据所分析的访问信息(a1、a2、a3)，将分布式数据库(11、12、13、14、15)的数据内容聚集到中央数据库(34)中。2.根据权利要求1的方法，还包括在每个要合并的分布式数据库(11、12、13、14、15)处提供请求检测器(21、22、23、24、25)。3.根据权利要求2的方法，还包括步骤从数据业务中过滤对相应分布式数据库(11、12、14)的请求信息(r1、r2、r3)，并将访问信息(a1、a2、a3)中过滤后的请求信息(r1、r2、r3)转发给推理引擎(32)。4.根据权利要求2的方法，还包括步骤将请求检测器(22)集成到每个要合并的分布式数据库(12)内。5.根据前面的任一权利要求的方法，还包括根据所分析的访问信息(a1、a2、a3)，为中央数据库(34)生成新的数据方案。6.根据权利要求1的方法，其中分析步骤包括使用日志文件信息。7.一种计算机程序单元，包括程序代码装置，用于当所述程序在计算机上运行时，执行权利要求1至6中任一权利要求的方法。8.一种在计算机可使用的介质上存储的计算机程序产品，包括计算机可读程序装置，用于使计算机执行根据前面的权利要求1至6中任一权利要求的方法。9.一种请求检测器(21、22、23、24、25)，用于支持从分...

【专利技术属性】
技术研发人员：斯特凡G希尔德，雷内A帕夫里切克，瓦里德加伊比，马库斯斯托尔泽，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：US[美国]