一种数据存储方法、系统、电子设备、程序产品及介质技术方案

本发明专利技术公开了一种数据存储方法、系统、电子设备、程序产品及介质，其中，该数据存储方法包括：获取第一表格；其中，所述第一表格的表结构包括若干数据内容；根据所述第一表格建立第二表格；其中，所述第二表格的表结构包括所述第一表格的若干数据内容，以及增加的区分标识；响应于所述第一表格的数据更新，将所述第一表格的当前数据与所述第二表格的当前数据进行对比，以获取变化信息；根据所述变化信息，将所述第一表格的当前数据对所述第二表格的当前数据进行更新。通过上述方案，可根据获取的第一表格建立增加区分标识的第二表格，进行响应于第一表格的更新，对两个表格进行对比，以获取全量数据的变化信息，进而对第二表格进行更新。行更新。行更新。

【技术实现步骤摘要】
一种数据存储方法、系统、电子设备、程序产品及介质


[0001]本申请涉及数据仓库的
，特别是涉及一种数据存储方法、系统、电子设备、程序产品及介质。

技术介绍

[0002]随着数据应用的日渐成熟和普及，数据的存储也越来越受到重视，当前技术的数据存储通常是记录当前数据。
[0003]对当前技术的研究和实践过程中，本申请的专利技术人发现，在数据存储过程中，基于当前大数据的蓬勃发展，数据量的日益成长，当前技术通常是记录源端数据的快照信息，而对于其中的变化信息没有得到合理的获取。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种据存储方法、系统、电子设备、程序产品及介质；能够获取数据存储在数据仓库时的全量数据变化信息，并根据变化信息进行第二表格的更新。
[0005]为解决上述技术问题，本申请采用的一个技术方案是：提供一种数据存储方法，所述方法包括：获取第一表格；其中，所述第一表格的表结构包括若干数据内容；根据所述第一表格建立第二表格；其中，所述第二表格的表结构包括所述第一表格的若干数据内容，以及增加的区分标识；响应于所述第一表格的数据更新，将所述第一表格的当前数据与所述第二表格的当前数据进行对比，以获取变化信息；根据所述变化信息，将所述第一表格的当前数据对所述第二表格的当前数据进行更新。
[0006]在本申请的一实施例中，所述根据所述变化信息，将所述第一表格的当前数据对所述第二表格的当前数据进行更新，包括：获取所述变化信息的变化类型；依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新；其中，所述区分标识包括：有效起始日期、有效结束日期以及日期分区。
[0007]在本申请的一实施例中，所述依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新，包括：若所述变化信息的变化类型为数据发生变化，则将所述第一表格中数据发生变化的当前数据更新至所述第二表格，且将所述当前数据在所述第二表格的有效结束日期更新为当前日期，以及将所述区分标识中的日期分区更新为当前日期。
[0008]在本申请的一实施例中，所述依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新，包括：若所述变化信息的变化类型为数据发生变化，将所述第一表格中数据发生变化后的当前数据新增至所述第二表格；将数据发生变化前的当前数据在所述第二表格的有效结束日期更新为当前日期，以及将日期分区更新为当前日期；将数据发生变化后的当前数据在所述第二表格的有效起始日期设置为当前日期，以及将日期分区更新为当前日期。
[0009]在本申请的一实施例中，所述依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新，包括：若所述变化信息的变化类型为数据没有变化，则将所述当前数据在所述第二表格的日期分区更新为当前日期。
[0010]在本申请的一实施例中，所述依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新，包括：若所述变化信息的变化类型为数据被删除，则将所述第一表格中被删除的当前数据，在所述第二表格中的有效结束日期更新为当前日期，以及将日期分区更新为当前日期。
[0011]在本申请的一实施例中，所述依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新，包括：若所述变化信息的变化类型为新增数据，则将所述第一表格中新增的当前数据新增至所述第二表格中，并将新增的当前数据的有效起始日期更新为当前日期，以及将日期分区更新为当前日期。
[0012]在本申请的一实施例中，在将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新之后，还包括：对所述第二表格设置生命周期，并定期清理超过所述生命周期的历史日期分区的当前数据。
[0013]在本申请的一实施例中，所述响应于所述第一表格的数据更新，将所述第一表格的当前数据与所述第二表格的当前数据进行对比，以获取变化信息，包括：获取新的初始数据，并基于所述新的初始数据更新所述第一表格的当前数据；将更新后的所述第一表格的当前数据与所述第二表格的当前数据进行对比，以确定并获取所述变化信息。
[0014]在本申请的一实施例中，所述将更新后的所述第一表格的当前数据与所述第二表格的当前数据进行对比，以确定并获取所述变化信息，包括：在每个预设采集周期内查找更新后的所述第一表格的当前数据；以使得每个预设采集周期内依据更新后的所述第一表格的当前数据与所述第二表格的当前数据进行对比；其中，对于所述第一表格的当前数据与所述第二表格的当前数据有关联的，则依据关联主键进行信息对比，得到有关联变化信息；对于所述第一表格的当前数据与所述第二表格的当前数据没有关联的，则得到无关联变化信息；基于所述有关联变化信息和所述无关联变化信息确定变化信息。
[0015]在本申请的一实施例中，所述获取第一表格，包括：获取初始数据；依据所述初始数据的表结构建立第一表格；其中，所述第一表格用于存放所述初始数据。
[0016]为解决上述技术问题，本申请采用的另一技术方案是：提供一种数据存储系统，所述数据存储系统包括：第一表格获取模块、第二表格建立模块、变化信息获取模块以及更新模块；其中，第一表格获取模块用于获取第一表格，所述第一表格的表结构包括若干数据内容；第二表格建立模块用于根据所述第一表格建立第二表格，所述第二表格的表结构包括所述第一表格的若干数据内容，以及增加的区分标识；变化信息获取模块响应于所述第一表格的数据更新，将所述第一表格的当前数据与所述第二表格的当前数据进行对比，以获取变化信息；更新模块用于根据所述变化信息，将所述第一表格的当前数据对所述第二表格的当前数据进行更新。
[0017]为解决上述技术问题，本申请采用的再一技术方案是：提供一种电子设备，所述电子设备包括存储器以及与所述存储器耦接的处理器，所述存储器存储有至少一计算机程序，所述至少一计算机程序被所述处理器加载并执行时，用于实现如上述的数据存储方法。
[0018]为解决上述技术问题，本申请采用的又一技术方案是：提供一种计算机程序产品，
所述计算机程序产品包括至少一条指令，所述至少一条指令由处理器加载并执行，以实现如上述的数据存储方法。
[0019]为解决上述技术问题，本申请采用的又一技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质有至少一段程序，所述至少一段程序被处理器加载并执行时，用于实现如上述的数据存储方法。
[0020]区别于现有技术，本申请提供的数据存储方法，包括：获取第一表格；其中，所述第一表格的表结构包括若干数据内容；根据所述第一表格建立第二表格；其中，所述第二表格的表结构包括所述第一表格的若干数据内容，以及增加的区分标识；响应于所述第一表格的数据更新，将所述第一表格的当前数据与所述第二表格的当前数据进行对比，以获取变化信息；根据所述变化信息，将所述第一表格本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：获取第一表格；其中，所述第一表格的表结构包括若干数据内容；根据所述第一表格建立第二表格；其中，所述第二表格的表结构包括所述第一表格的若干数据内容，以及增加的区分标识；响应于所述第一表格的数据更新，将所述第一表格的当前数据与所述第二表格的当前数据进行对比，以获取变化信息；根据所述变化信息，将所述第一表格的当前数据对所述第二表格的当前数据进行更新。2.根据权利要求1所述的方法，其特征在于，所述根据所述变化信息，将所述第一表格的当前数据对所述第二表格的当前数据进行更新，包括：获取所述变化信息的变化类型；依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新；其中，所述区分标识包括：有效起始日期、有效结束日期以及日期分区。3.根据权利要求2所述的方法，其特征在于，所述依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新，包括：若所述变化信息的变化类型为数据发生变化，则将所述第一表格中数据发生变化的当前数据更新至所述第二表格，且将所述当前数据在所述第二表格的有效结束日期更新为当前日期，以及将所述区分标识中的日期分区更新为当前日期。4.根据权利要求3所述的方法，其特征在于，所述依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新，包括：若所述变化信息的变化类型为数据发生变化，将所述第一表格中数据发生变化后的当前数据新增至所述第二表格；将数据发生变化前的当前数据在所述第二表格的有效结束日期更新为当前日期，以及将日期分区更新为当前日期；将数据发生变化后的当前数据在所述第二表格的有效起始日期设置为当前日期，以及将日期分区更新为当前日期。5.根据权利要求2所述的方法，其特征在于，所述依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新，包括：若所述变化信息的变化类型为数据没有变化，则将所述当前数据在所述第二表格的日期分区更新为当前日期。6.根据权利要求2所述的方法，其特征在于，所述依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新，包括：若所述变化信息的变化类型为数据被删除，则将所述第一表格中被删除的当前数据，在所述第二表格中的有效结束日期更新为当前日期，以及将日期分区更新为当前日期。
7.根据权利要求2所述的方法，其特征在于，所述依据所述变化类型，将所述第一表格的当前数据对所述第二表格的当前数据以及所述区分标识进行更新，包括：若所述变化信息的变化类型为新增数据，则将所述第一表格中新增的当前数据新增至所述第二表格中，并将新增的当前数据的有效起始日期更新为当前日期，以及将日期分区更新为当前日期。8.根据权...

【专利技术属性】
技术研发人员：朱昡屹，陈立力，周明伟，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：