缓慢变化维表的数据处理方法、装置、电子设备制造方法及图纸

本公开属于数据处理技术领域，涉及缓慢变化维表的数据处理方法及装置、计算机可读存储介质、电子设备，该方法包括：根据预设的时间范围创建与所述时间范围对应的第一数据分区，所述第一数据分区用于存放所述缓慢变化维表的主键在所述时间范围内更新前的值，且所述主键在所述时间范围内更新的次数不超过一次；创建第二数据分区，所述第二数据分区用于存放所述主键对应当前查询时间的更新后的最新值；抽取目标业务时间之前的所述第一数据分区中所述主键的最新的值，以获取所述目标业务时间的历史全量数据；抽取所述第二数据分区中所述主键的值，以获取当前查询时间的全量数据。该方法一方面节约了大量的存储空间，另一方面可以复现每天的全量数据。

【技术实现步骤摘要】
缓慢变化维表的数据处理方法、装置、电子设备
本公开涉及数据处理
，具体而言，涉及一种缓慢变化维表的数据处理方法、缓慢变化维表的数据处理装置、计算机存储介质以及电子设备。
技术介绍
随着经济发展和社会进步，计算机、平板电脑等终端设备成为人们生活、工作的主要工具，人们在终端设备上的每一次操作都会以数据形式存储在终端设备中的数据仓库中，这些数据可以用于对用户行为或程序故障原因进行分析。数据仓库的一个主要诉求是保留历史数据，同时为保证数据关联效率，一般要求维表一个ID只对应一条记录。由此就产生了一种难以调和的矛盾，若一个ID只能对应一条记录，那它就只能记录该ID最新的属性值，无法记录属性值的变化。业内往往采用每天全量抽取维表数据，放入当天分区中，以此全量保存历史数据。但是当维表量很大，如电商的商品数据，上亿的用户数据，这种方案会使用大量的存储空间。因此，本领域亟需一种缓慢变化维表的数据处理方法及装置。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种缓慢变化维表的数据处理方法、缓慢变化维表的数据处理装置、计算机存储介质以及电子设备，进而至少在一定程度上节约大量存储空间，并且能够复现业务时间的全量数据快照。根据本公开的一个方面，提供一种缓慢变化维表的数据处理方法，其特征在于，包括：根据预设的时间范围创建与所述时间范围对应的第一数据分区，所述第一数据分区用于存放所述缓慢变化维表的主键在所述时间范围内更新前的值，且所述主键在所述时间范围内更新的次数不超过一次；创建第二数据分区，所述第二数据分区用于存放所述主键对应当前查询时间的更新后的最新值；抽取目标业务时间之前的所述第一数据分区中所述主键的最新的值，以获取所述目标业务时间的历史全量数据；抽取所述第二数据分区中所述主键的值，以获取当前查询时间的全量数据。在本公开的示例性实施例中，所述主键的数量为多个；所述根据预设的时间范围创建与所述时间范围对应的第一数据分区，所述第一数据分区用于存放所述缓慢变化维表的主键在所述时间范围内更新前的值，包括：当部分所述主键的值未发生更新时，所述第一数据分区中与未发生更新的所述主键对应的位置为空。在本公开的示例性实施例中，所述第一数据分区与所述第二数据分区中均设置有多个数据存放区，所述数据存放区用于存放对应不同所述主键的数据。在本公开的示例性实施例中，所述抽取一业务时间之前的所述第一数据分区中所述主键的最新的值，以获取所述目标业务时间的历史全量数据，包括：获取所述目标业务时间；根据所述目标业务时间，抽取所述目标业务时间之前的所有的所述第一数据分区，并获取所述第一数据分区中与各所述主键对应且更新时间最靠近所述目标业务时间的数据，将所述与各所述主键对应且更新时间最靠近所述目标业务时间的数据确定为所述目标业务时间的历史全量数据。在本公开的示例性实施例中，所述方法还包括：当所述主键被删除时，将所述第二数据分区中对应所述主键的位置设置为空。在本公开的示例性实施例中，所述主键的数量为多个；所述方法还包括：当各所述主键在所述时间范围内均未更新时，则对应所述时间范围不创建所述第一数据分区。根据本公开的一个方面，提供一种缓慢变化维表的数据处理装置，其特征在于，包括：第一数据分区创建模块，用于根据预设的时间范围创建与所述时间范围对应的第一数据分区，所述第一数据分区用于存放所述缓慢变化维表的主键在所述时间范围内更新前的值，且所述主键在所述时间范围内更新的次数不超过一次；第二数据分区创建模块，用于创建第二数据分区，所述第二数据分区用于存放所述主键对应当前查询时间的最新值；全量数据获取模块，抽取目标业务时间之前的所述第一数据分区中所述主键的最新的值，以获取所述目标业务时间的历史全量数据；抽取所述第二数据分区中所述主键的值，以获取当前查询时间的全量数据。在本公开的示例性实施例中，所述全量数据获取模块包括：目标业务时间获取单元，用于获取所述目标业务时间；历史全量数据获取单元，用于根据所述目标业务时间，抽取所述目标业务时间之前的所有的所述第一数据分区，并获取所述第一数据分区中与各所述主键对应且更新时间最靠近所述目标业务时间的数据，将所述与各所述主键对应且更新时间最靠近所述目标业务时间的数据确定为所述目标业务时间的历史全量数据。根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的缓慢变化维表的数据处理方法。根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的缓慢变化维表的数据处理方法。本公开的缓慢变化维表的数据处理方法通过根据预设的时间范围创建第一数据分区，同时创建第二数据分区，其中第一数据分区用于存放缓慢变化维表的主键在时间范围内更新前的值，第二数据分区用于存放主键更新后的值，通过抽取目标业务时间之前第一数据分区中主键的最新的值以获取目标业务时间的历史全量数据，或抽取第二数据分区中主键的更新值以获得当前查询时间的全量数据。本公开中的缓慢变化维表的数据处理方法一方面能够节约大量的存储空间；另一方面能够复现业务时间对应的全量数据快照。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示意性示出一种缓慢变化维表的数据处理方法的流程图；图2示意性示出一种缓慢变化维表的数据处理方法的应用场景示例图；图3示意性示出一种数据分区的结构示意图；图4示意性示出一种复现全量数据的结构示意图；图5示意性示出一种缓慢变化维表的数据处理装置的结构示意图；图6示意性示出一种用于实现缓慢变化维表的数据处理方法的电子设备示例框图；图7示意性示出一种用于实现缓慢变化维表的数据处理方法的计算机可读存储介质。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式本文档来自技高网...

【技术保护点】
1.一种缓慢变化维表的数据处理方法，其特征在于，包括：根据预设的时间范围创建与所述时间范围对应的第一数据分区，所述第一数据分区用于存放所述缓慢变化维表的主键在所述时间范围内更新前的值，且所述主键在所述时间范围内更新的次数不超过一次；创建第二数据分区，所述第二数据分区用于存放所述主键对应当前查询时间的最新值；抽取目标业务时间之前的所述第一数据分区中所述主键的最新的值，以获取所述目标业务时间的历史全量数据；抽取所述第二数据分区中所述主键的值，以获取当前查询时间的全量数据。

【技术特征摘要】
1.一种缓慢变化维表的数据处理方法，其特征在于，包括：根据预设的时间范围创建与所述时间范围对应的第一数据分区，所述第一数据分区用于存放所述缓慢变化维表的主键在所述时间范围内更新前的值，且所述主键在所述时间范围内更新的次数不超过一次；创建第二数据分区，所述第二数据分区用于存放所述主键对应当前查询时间的最新值；抽取目标业务时间之前的所述第一数据分区中所述主键的最新的值，以获取所述目标业务时间的历史全量数据；抽取所述第二数据分区中所述主键的值，以获取当前查询时间的全量数据。2.根据权利要求1所述的缓慢变化维表的数据处理方法，其特征在于，所述主键的数量为多个；所述根据预设的时间范围创建与所述时间范围对应的第一数据分区，所述第一数据分区用于存放所述缓慢变化维表的主键在所述时间范围内更新前的值，包括：当部分所述主键的值未发生更新时，所述第一数据分区中与未发生更新的所述主键对应的位置为空。3.根据权利要求1所述的缓慢变化维表的数据处理方法，其特征在于，所述第一数据分区与所述第二数据分区中均设置有多个数据存放区，所述数据存放区用于存放对应不同所述主键的数据。4.根据权利要求1所述的缓慢变化维表的数据处理方法，其特征在于，所述抽取目标业务时间之前的所述第一数据分区中所述主键的最新的值，以获取所述目标业务时间的历史全量数据，包括：获取所述目标业务时间；根据所述目标业务时间，抽取所述目标业务时间之前的所有的所述第一数据分区，并获取所述第一数据分区中与各所述主键对应且更新时间最靠近所述目标业务时间的数据，将所述与各所述主键对应且更新时间最靠近所述目标业务时间的数据确定为所述目标业务时间的历史全量数据。5.根据权利要求1所述的缓慢变化维表的数据处理方法，其特征在于，所述方法还包括：当所述主键被删除时，将所述第二数据分区中...

【专利技术属性】
技术研发人员：崔晓晖，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东,44