用于拉链表的数据存储方法、设备及计算机可读存储介质技术

本申请涉及大数据技术领域，公开一种用于拉链表的数据存储方法，包括：获取变化数据；根据所述变化数据确定出有效数据和失效数据；将所述有效数据和失效数据进行分区存储。通过对从外部数据源获取到的变化数据进行分析，确定出有效数据和失效数据，通过将有效数据和失效数据进行分区存储，减少了在数据检索的过程中耗费的时间，提高了数据检索的效率。本申请还公开一种用于拉链表的数据存储设备及计算机可读存储介质。

【技术实现步骤摘要】
用于拉链表的数据存储方法、设备及计算机可读存储介质
本申请涉及大数据
，例如涉及一种用于拉链表的数据存储方法、设备及计算机可读存储介质。
技术介绍
随着大数据时代的到来，各大企业往往都需要搭建自身的大数据平台，而基于大数据平台之上的数据仓库是大数据平台下重要的应用之一。在数据仓库的数据架构中，由于外部数据源每日会有数据新增或修改，如果数据仓库对每一条记录都进行存储，会出现大量重复冗余的数据，增加检索数据所需要耗费的时间。在部分数据每天都有更新的情况下，采用每天存储全量数据的方式来记录数据的更新状态和历史，在数据检索的过程中需要耗费大量时间。在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：现有技术数据检索效率较低。
技术实现思路
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。本公开实施例提供了一种用于拉链表的数据存储方法、装置及设备，以提高数据检索的效率。在一些实施例中，所述方法包括：获取变化数据；根据所述变化数据确定出有效数据和失效数据；将所述有效数据和失效数据进行分区存储。在一些实施例中，根据所述变化数据确定出有效数据，包括：将满足第一预设条件的所述变化数据确定为有效数据。在一些实施例中，将满足第一预设条件的所述变化数据确定为有效数据，包括：将与当前有效数据分区中的数据不相同，且类型不为删除数据的所述变化数据确定为有效数据。在一些实施例中，根据所述变化数据确定出失效数据，包括：将满足第二预设条件的所述变化数据确定为失效数据。在一些实施例中，将满足第二预设条件的所述变化数据确定为失效数据，包括：将与所述变化数据相同的当前有效数据分区中的数据确定为失效数据。在一些实施例中，将满足第二预设条件的所述变化数据确定为失效数据，包括：将与当前有效数据分区中的数据不相同，且类型为删除数据的所述变化数据确定为失效数据。在一些实施例中，将所述有效数据和失效数据进行分区存储，包括：将所述有效数据存储在所述拉链表的有效数据分区，将所述失效数据存储在所述拉链表的失效数据分区。在一些实施例中，将所述有效数据和失效数据进行分区存储，包括：将所述有效数据按照第一预设时间进行存储，将所述失效数据按照第二预设时间进行存储。在一些实施例中，所述设备包括：处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行上述的用于拉链表的数据存储方法。在一些实施例中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令设置为执行上述的用于拉链表的数据存储方法。本公开实施例提供的用于拉链表的数据存储方法、设备及计算机可读存储介质，可以实现以下技术效果：通过对从外部数据源获取到的变化数据进行分析，确定出有效数据和失效数据，通过将有效数据和失效数据进行分区存储，减少了在数据检索的过程中耗费的时间，提高了数据检索的效率。以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。附图说明一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：图1是本公开实施例提供的一个用于拉链表的数据存储方法的示意图；图2是本公开实施例提供的另一个用于拉链表的数据存储方法的示意图；图3是本公开实施例提供的一个用于拉链表的数据存储的设备的示意图。具体实施方式为了能够更加详尽地了解本公开实施例的特点与
技术实现思路
，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。除非另有说明，术语“多个”表示两个或两个以上。本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。结合图1所示，本公开实施例提供一种用于拉链表的数据存储方法，包括：步骤S101，从外部数据源获取变化数据；步骤S102，根据变化数据确定出有效数据和失效数据；步骤S103，将有效数据和失效数据进行分区存储。采用本公开实施例提供的用于拉链表的数据存储方法，通过对从外部数据源获取到的变化数据进行分析，确定出有效数据和失效数据，通过将有效数据和失效数据进行分区存储，减少了在数据检索的过程中耗费的时间，提高了数据检索的效率。可选地，变化数据包括：增量数据和/或删除数据。可选地，通过上游系统来标识记录变化数据，获取增量数据和/或删除数据。可选地，通过字段标识记录增量数据和/或删除数据。可选地，从外部数据源获取变化数据之前，还包括：从外部数据源获取全量数据；根据全量数据确定出拉链表存储记录的数据内容；根据拉链表存储记录的数据内容构建拉链表的表结构。在一些实施例中，如表1所示，表1是根据拉链表存储记录的数据内容构建拉链表的表结构的示例表。字段字段描述id主键idstart_dt记录开始日期device_id设备idpro_no型号编号type_cd型号分类end_dt记录结束日期p_end_date分区字段表1如表1所示，拉链表的数据内容包括id、start_dt、end_dt、p_end_date、device_id、pro_no、type_c等；其中，id为主键id，start_dt为记录开始日期，end_dt为记录结束日期，p_end_date为分区字段，device_id为设备id，pro_no为型号编号，type_c为型号分类。拉链表的表结构包括：主键id、记录开始日期、记录结束日期和分区字段，其中，主键id为业务上的主键，记录开始日期为此记录开始被拉链的日期，记录结束日期为此记录结束被拉链的日期，分区字段为此记录被存储的分区。可选地，分区字段数值和记录结束本文档来自技高网...

【技术保护点】
1.一种用于拉链表的数据存储方法，其特征在于，包括：/n获取变化数据；/n根据所述变化数据确定出有效数据和失效数据；/n将所述有效数据和失效数据进行分区存储。/n

【技术特征摘要】
1.一种用于拉链表的数据存储方法，其特征在于，包括：
获取变化数据；
根据所述变化数据确定出有效数据和失效数据；
将所述有效数据和失效数据进行分区存储。


2.根据权利要求1所述的方法，其特征在于，根据所述变化数据确定出有效数据，包括：
将满足第一预设条件的所述变化数据确定为有效数据。


3.根据权利要求2所述的方法，其特征在于，将满足第一预设条件的所述变化数据确定为有效数据，包括：
将与当前有效数据分区中的数据不相同，且类型不为删除数据的所述变化数据确定为有效数据。


4.根据权利要求1所述的方法，其特征在于，根据所述变化数据确定出失效数据，包括：
将满足第二预设条件的所述变化数据确定为失效数据。


5.根据权利要求4所述的方法，其特征在于，将满足第二预设条件的所述变化数据确定为失效数据，包括：
将与所述变化数据相同的当前有效数据分区中的数据确定为失效数据。


6.根据权利要求4所述的方法，其特征...

【专利技术属性】
技术研发人员：刘马龙，
申请(专利权)人：青岛海尔科技有限公司，海尔智家股份有限公司，
类型：发明
国别省市：山东;37