一种数据的处理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种数据的处理方法及装置，该方法包括：获取当前数据表的属性信息；根据所述当前数据表中的属性信息查找关联的增量数据表，其中，所述增量数据表中包含当前处理周期内获取的当前增量数据；根据所述增量数据表中的当前增量数据，确定所述当前数据表的目标增量数据。利用该处理方法，能够对不具备更新标识字段的数据库表中更新数据简单高效地进行跨数据仓库的增量抽取，与现有的数据的增量抽取方式相比，该处理方法具有更好的增量抽取性能，能够节省数据处理的处理时间，从而实现了数据增量抽取的多样化。

【技术实现步骤摘要】

本专利技术实施例涉及数据库
，尤其涉及一种数据的处理方法及装置。
技术介绍
数据抽取主要指对数据库中的数据进行抽取的过程，常见的数据抽取方式包括全量抽取和增量抽取，其中，全量抽取是指将数据源中的数据原封不动的从数据库中抽取出来；而增量抽取指从数据库中抽取自上次抽取以来新增、修改和/或删除的数据。在数据库的抽取-转换-加载(Extract-Transform-Load,ETL)过程中，增量抽取的方法较全量抽取的应用更为广范。目前，常见的增量抽取方式可以基于触发器、时间戳、全表对比和/或日志对比等。上述几种方式在其工作特性上各有优劣，但实际应用中最广泛的是基于时间戳的增量抽取。具体地，基于时间戳的增量抽取可概括为：在源数据表上增加时间戳字段(相当于一个更新标识字段)，在更新修改表数据时，也同时修改时间戳字段的值，当进行数据抽取时，通过比较系统时间与时间戳字段的值来决定抽取哪些数据。基于时间戳的增量抽取存在的不足表现在：有些数据库中的数据表直接被设计为无时间戳字段，由此无法得出哪些数据在何时进行了新增、修改或者删除。
技术实现思路
本专利技术实施例提供了一种数据的处理方法及装置，简单高效地实现了对不存在更新标识字段的数据表中更新数据的增量抽取。一方面，本专利技术实施例提供了一种数据的处理方法，包括：获取当前数据表的属性信息；根据所述当前数据表中的属性信息查找关联的增量数据表，其中，所述增量数据表中包含当前处理周期内获取的当前增量数据；根据所述增量数据表中的当前增量数据，确定所述当前数据表的目标增量数据。另一方面，本专利技术实施例提供了一种数据的处理装置，包括：信息获取模块，用于获取当前数据表的属性信息；关联表确定模块，用于根据所述当前数据表中的属性信息查找关联的增量数据表，其中，所述增量数据表中包含当前处理周期内获取的当前增量数据；目标数据确定模块，用于根据所述增量数据表中的当前增量数据，确定所述当前数据表的目标增量数据。本专利技术实施例中提供的一种数据的处理方法及装置，该方法首先获取当前数据表的属性信息；然后根据属性信息确定与当前数据表关联的增量数据表，其中，增量数据表中包含了当前处理周期内更新的增量数据；最后，基于增量数据表的增量数据确定了当前数据表中更新的增量数据。利用该方法，能够对不具备更新标识字段的数据库表中更新数据简单高效地进行跨数据仓库的增量抽取，与现有的数据的增量抽取方式相比，本专利技术实施例提供的处理方法具有更好的增量抽取性能，能够节省数据处理的处理时间。附图说明图1为本专利技术实施例一提供的一种数据的处理方法的流程示意图；图2为本专利技术实施例二提供的一种数据的处理方法的流程示意图；图3为本专利技术实施例三提供的一种数据的处理方法的优选实施例的流程示意图；图4为本专利技术实施例四提供的一种数据的处理装置的结构框图。具体实施方式下面结合附图和实施例对本专利技术作进一步地详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种数据的处理方法的流程示意图，该处理方法适用于跨数据仓库增量抽取更新数据的情况，该方法可以由数据的处理装置执行，其中该装置可由软件和/或硬件实现。需要说明的是，本专利技术实施例的处理方法可以对不具备更新标识字段的源数据表实现进行跨数据仓库的增量抽取，即从源数据仓库不具备更新数据标识的源数据表中抽取更新数据并存储到目标数据仓库的目标数据表中。可以理解的是，源数据仓库中的源数据表和目标数据仓库的目标数据表一一对应。此外，执行本专利技术实施例处理方法的数据的处理装置集成在所述目标数据仓库所在的服务平台上。如图1所示，本专利技术实施例一提供的一种数据的处理方法，包括如下操作：S101、获取当前数据表的属性信息。在本实施例中，所述当前数据表具体可以是位于目标数据仓库中的一个目标数据表，且是当前正在进行数据处理的目标数据表，所述当前数据表具体可用于存放源数据仓库相应源数据表中的更新数据，其中，所述更新数据可称为所述当前数据表的增量数据。在本实施例中，所述属性信息具体可指所述当前数据表中各列所具有的字段信息。示例性地，假设当前数据表为所在数据仓库中的一个学生选课信息表，则可以获取到所述学生选课信息表的属性信息为学号、姓名、数据结构、汇编语言等表中各列所具有的字段信息。S102、根据所述当前数据表中的属性信息查找关联的增量数据表，其中，所述增量数据表中包含当前处理周期内获取的当前增量数据。在本实施例中，所述增量数据表具体也可以是位于目标数据仓库中的一个目标数据表。可以理解的是，所述增量数据表与所述当前数据表基于属性信息存在关联，即，可以理解为所述当前数据表中的至少一个列字段也相应的存在于所述增量数据表中，其中，所述至少一个列字段可称为增量数据表与所述当前数据表的关联字段。示例性地，在确定当前数据表为一个学生选课信息表时，假设增量数据表为一个学生基本信息表，且获取到该学生基本信息表中的属性信息有学号、姓名、性别、籍贯、出生年月等列字段信息，则可确定该学生基本信息表与所述学生选课信息表基于学号和/或姓名存在关联。在本实施例中，对源数据仓库的数据表中更新数据的增量抽取是基于设定的时间周期进行的。本实施例将设定的时间周期看作一个处理周期，在一个处理周期内，可以将所述源数据仓库各源数据表中的更新数据抽取到目标数据仓库与各源数据表对应的目标数据表中，且可将所抽取的更新数据称为目标数据表中的增量数据。需要说明的是，基于所述属性信息与所述当前数据表存在关联的数据表很多，但只有已经在当前处理周期内获得了当前增量数据的数据表才可作为与所述当前数据表关联的增量数据表，由此才能基于增量数据表的当前增量数据来确定所述当前数据表在当前处理周期内的增量数据。此外，由于所述增量数据表在源数据仓库中对应的源数据表有可能具备更新标识字段，所以本实施例对所述增量数据表获得当前增量数据采用的方法没有限定，可以基于现有的增量抽取方法，也可基于本实施例提供的处理方法。S103、根据所述增量数据表中的当前增量数据，确定所述当前数据表的目标增量数据。在本实施例中，基于步骤S102获得所述当前数据表的增量数据表后，可以基于所述增量数据表中的当前增量数据来确定所述当前数据表在当前处理周期内的目标增量数据。具体地，首先可以确定与所述当前数据表存在建立关联时所基于的关联字段；然后可以确定所述关联字段在当前增量数据中对应的增量数据值；之后，可以基于关联字段对应的增量数据值在源数据仓库的源数据表中确定包含所述增量数据值的所有更新数据；最终，可以获取包含所述增量数据值的所有更新数据并作为目标增量数据写入所述当前数据表中，由此完成当前数据表对相应源数据表中当前处理周期内所产生更新数据的增量抽取。本专利技术实施例一提供的一种数据的处理方法，首先获取当前数据表的属性信息；然后根据属性信息确定与当前数据表关联的增量数据表，其中，增量数据表中包含了当前处理周期内更新的增量数据；最后，基于增量数据表的增量数据确定了当前数据表中更新的增量数据。利用该方法，能够对不具备更新标识字段的数据库表中更新数据简单高效地进行跨数据仓库的增量抽取，与现有的数据的增本文档来自技高网...

【技术保护点】
一种数据的处理方法，其特征在于，包括：获取当前数据表的属性信息；根据所述当前数据表中的属性信息查找关联的增量数据表，其中，所述增量数据表中包含当前处理周期内获取的当前增量数据；根据所述增量数据表中的当前增量数据，确定所述当前数据表的目标增量数据。

【技术特征摘要】
1.一种数据的处理方法，其特征在于，包括：获取当前数据表的属性信息；根据所述当前数据表中的属性信息查找关联的增量数据表，其中，所述增量数据表中包含当前处理周期内获取的当前增量数据；根据所述增量数据表中的当前增量数据，确定所述当前数据表的目标增量数据。2.根据权利要求1所述的方法，其特征在于，根据所述当前数据表中的属性信息查找关联的增量数据表，具体包括：根据所述当前数据表中的属性信息，确定所述当前数据表中的关联键；根据所述关联键确定与所述当前数据表相关联的增量数据表。3.根据权利要求2所述的方法，其特征在于，根据所述增量数据表中的当前增量数据，确定所述当前数据表的目标增量数据，具体包括：获取所述关联键在所述增量数据表的当前增量数据中对应的增量数据值并存储；根据所存储的增量数据值查找所述当前数据表中的目标增量数据。4.根据权利要求3所述的方法，其特征在于，所述获取所述关联键在所述增量数据表的当前增量数据中对应的增量数据值并存储，包括：通过设定的数据库查询语句查找所述关联键在所述增量数据表的当前增量数据中对应的增量数据值；根据所述增量数据值的数据量大小确定所述增量数据值的存储方式，并按照所述存储方式存储所述增量数据值。5.根据权利要求3所述的方法，其特征在于，所述根据所存储的增量数据值查找所述当前数据表中的目标增量数据，包括：根据所存储的增量数据值生成查询请求，...

【专利技术属性】
技术研发人员：徐骄，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东;44