一种热插拔式的业务单据增量捕获方法技术

本发明专利技术提供一种热插拔式的业务单据增量捕获方法，属于计算机技术领域，本发明专利技术包括捕获器、业务增量记录表、捕获执行记录、增量捕获配置、数据库增量调度程序，通过配置捕获目标、捕获时机和捕获策略，通过捕获器实现业务系统的业务数据自动捕获。既保障了现有系统的稳定性和连续性，又较好的实现业务数据的增量捕获。

【技术实现步骤摘要】

本专利技术涉及计算机技术技术，尤其涉及一种热插拔式的业务单据增量捕获方法。
技术介绍
在以数据为核心的时代背景下，数据采集成为信息化建设的重点基础性工作之一，为进一步满足企业大数据应用和创新提供了基础保障，因信息化建设的时期和厂商不同，导致企业中存在若干系统，系统与系统在架构和技术上差异较大，如何便捷有效的将数据从不同系统中按照增量原则进行抽取是面临的主要问题。目前业内主要的做法是采用ETL、数据交换等工具来实现，而这些工具也是基于信息系统的数据差异比对。受不同时期、不同厂家的设计理念和架构的影响，建设的软件系统没有考虑大数量时代下数据集并的需要，系统不能满足增量捕获的条件，所以无法支持此类工具的正常使用。在此背景下，需要提出并实现一种不需要修改目标信息系统的前提下，提供业务数据增量捕获所需的差异比对信息，从而满足目标系统数据增量捕获的需求。
技术实现思路
为了解决以上技术问题，本专利技术提出了一种热插拔式的业务单据增量捕获方法，在不需要修改目标信息系统的前提下，提供业务数据增量捕获所需的差异比对信息，从而满足目标系统数据增量捕获的需求。本专利技术通过配置捕获目标、捕获时机和捕获策略，通过捕获器实现业务系统的业务数据自动捕获。不需要改造信息管理软件系统，可以配置增量捕获的时机和策略，支持功能在目标系统上热插拔式，可以方便定制日志记录策略。如下表1、捕获器定义捕获器是业务单据捕获程序实体，捕获器实体中定义了捕获目标业务数据表逻辑、捕获信息内容逻辑、以及捕获过程记录逻辑等，捕获器的执行依赖于数据库增量调度程序调度启动，并通过数据触发进行唤醒捕获器，以下是捕获器实体定义。捕获器由定义捕获业务数据目标逻辑、捕获业务数据信息逻辑、定义捕获数据存储逻辑、定义捕获执行记录逻辑四部分组成。捕获器定义步聚如下：步骤一：定义捕获业务数据目标逻辑是捕获器的第一部分，用于识别捕获哪个目标业务数据的核心逻辑，是捕获器能够顺利捕获正常业务增量数据的基础。步骤二：定义捕获业务数据信息逻辑，此步是基于步骤一实现，用于定义捕获器具体捕获的业务数据。步骤三：定义捕获数据存储逻辑，经过步骤二的执行，成功捕获增量数据后，通过此步完成将捕获的增量数据进行存储。步骤四：定义捕获执行记录逻辑，此步是将捕获器执行情况进行存储。捕获器执行步骤如下：步骤一：捕获器监听程序监听增量捕获器配置的目标业务数据实体。步骤二：业务数据实体发生变化，监听程序根据配置中的捕获时机进行匹配。步骤三：匹配成功，捕获器执行捕获逻辑。步骤四：重复执行步骤一到步骤三。2、存储业务增量记录实体定义存储业务增量记录实体用于保存捕获器捕获的业务增量信息，业务增量记录实体定义如下表：3、存储捕获执行记录实体定义存储捕获执行记录实体用于保存捕获器执行过程信息，存储捕获执行记录实体定义如下表：4、增量捕获配置增量捕获配置是用于定义捕获目标、捕获时机和捕获策略的功能，保证捕获器正确捕获并捕获正确信息的关键。捕获目标：定义捕获的目标业务数据实体。捕获时机：定义满足捕获执行的前提，命中后捕获逻辑执行。捕获策略：简单捕获和完整捕获两部分，简单捕获也称为非全量捕获，根据需要来配置抓取业务数据实体的数据块；完整捕获也称为全量捕获，将业务数据增量数据全部捕获存储。以下是增量捕获配置表：5、数据库增量调度程序数据库增量调度程序用于调度捕获器的执行，是数据增量捕获技术首先运行的程序。为满足不同平台和不同产品的二次开发需要，直接监控系统数据层，不受平台和产品系统的限制。为了满足用户对于系统运行连续性的要求，本设计采用“热插拔式”。特别适合于在已有软件系统中针对业务数据进行增量捕获的场景。采用本技术，既保障了现有系统的稳定性和连续性，又较好的实现业务数据的增量捕获。该方法具有以下特点：在不修改目标系统功能情况下，实现目标系统业务增量数据及变更数据的自动记录；管理员通过设定的开关和参数动态控制业务数据增量捕获时机及捕获策略；增量捕获执行日志的记录，便于捕获异常跟踪和反向追溯；不受目标系统的架构限制，本专利技术有配置简单、兼容性好、接口易扩展等特点，具有良好的推广应用价值。附图说明图1是本专利技术方法中业务单据增量捕获过程视图。具体实施方式下面对本专利技术的内容进行更加详细的阐述：场景：以下为某供应链管理系统中用到的采购订单信息自动捕获增量信息的举例。步骤：1、打开增量捕获配置，填写采购订单为目标业务数据实体。2、填写捕获时机，采购订单的捕获时机为新增和更新采购订单。3、填写捕获策略为简单捕获，填写捕获采购订单的变更时间、变更内容等。4、启动数据库增量调度程序，程序启动后调用捕获器执行。5、捕获器运行，读取增量捕获配置表，根据配置进入监听状态。6、监听采购订单发生变化后，启动捕获逻辑执行。7、将捕获的业务增量信息和捕获器执行信息分别写入存储实体中。综上所述，通过提供可配置和可扩展的捕获配置，使得应用程序可以根据实际情况灵活配置。捕获增量数据完全自动化，无需人工干预。捕获环节中加强了对异常的处理，发生异常之后，程序会根据规则自动记录捕获器执行过程，便于问题跟踪及反向追溯查询。增量捕获的安装部署不影响现有系统功能和业务数据；增量捕获内容、捕获时机及捕获策略支持灵活配置；增量捕获日志支持简单记录和完整记录，便于不同级别的问题排查和反向追溯；不受目标系统架构和软件平台限制；对目标系统功能无任何修改的情况下，动态的实现业务数据的增量捕获。实现热插拔式配置，可以随时根据需要添加或者取消增量捕获的对象，设定增量捕获的策略。每次捕获增量数据时，都记录捕获成功的数据。当存在一条数据多次捕获时，在日志中可以查询到每次捕获的数据间的差异，方便进行问题的排查等操作。直接通过数据库层监控，来实现数据的增量控制，对用户的应用、系统的稳定性、系统的安全均无影响。本文档来自技高网...

【技术保护点】
一种热插拔式的业务单据增量捕获方法，其特征在于，包括捕获器、业务增量记录表、捕获执行记录、增量捕获配置、数据库增量调度程序，通过配置捕获目标、捕获时机和捕获策略，通过捕获器实现业务系统的业务数据自动捕获；其中，捕获器：业务数据表新增、变更时触发事件，并将对应数据的关键字段及时间戳记录下来；业务增量记录表：存储由捕获器产生的时间戳记录信息；捕获执行记录：记录ETL工具或者数据增量捕获调度程序所产生的增量捕获已执行记录；增量捕获配置：配置需要捕获的对象、捕获的开关、捕获的逻辑；数据库增量调度程序：用来按照增量捕获配置中配置的信息，从业务增量记录表中、业务数据表中抽取增量数据；执行完毕后需要将执行结果回写到捕获执行记录中。

【技术特征摘要】
1.一种热插拔式的业务单据增量捕获方法，其特征在于，包括捕获器、业务增量记录表、捕获执行记录、增量捕获配置、数据库增量调度程序，通过配置捕获目标、捕获时机和捕获策略，通过捕获器实现业务系统的业务数据自动捕获；其中，捕获器：业务数据表新增、变更时触发事件，并将对应数据的关键字段及时间戳记录下来；业务增量记录表：存储由捕获器产生的时间戳记录信息；捕获执行记录：记录ETL工具或者数据增量捕获调度程序所产生的增量捕获已执行记录；增量捕获配置：配置需要捕获的对象、捕获的开关、捕获的逻辑；数据库增量调度程序：用来按照增量捕获配置中配置的信息，从业务增量记录表中、业务数据表中抽取增量数据；执行完毕后需要将执行结果回写到捕获执行记录中。2.根据权利要求1所述的方法，其特征在于，捕获器由定义捕获业务数据目标逻辑、捕获业务数据信息逻辑、定义捕获数据存储逻辑、定义捕获执行记录逻辑四部分组成；捕获器定义步聚如下：步骤一：定义捕获业务数据目标逻辑是捕获器的第一部分，用于识别捕获哪个目标业务数据的核心逻辑；步骤二：定义捕获业务数据信息逻辑，此步是基于步骤一实现，用于定义捕获器具体捕获的业务数据；步骤三：定义捕获数据存储逻辑，经过步骤二的执行，成功捕获增量数据后，...

【专利技术属性】
技术研发人员：邓琦，史振汛，裴广恩，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东;37