【技术实现步骤摘要】
本申请涉及数据处理，特别涉及一种数据归档方法、装置、电子设备及存储介质。
技术介绍
1、数据归档(data archiving)是将不再经常使用的数据移到一个单独的存储设备来进行长期保存的过程。数据归档由旧的数据组成，但它是以后参考所必需且很重要的数据，其数据必须遵从规则来保存。数据归档具有索引和搜索功能，这样文件可以很容易地找到。
2、在实际应用场景的数据仓库系统中，通常通过全量拉取和增量拉取两种方式对业务数据进行存储并以数据表的形式呈现。其中，由于全量拉取需要定期获取全部业务数据记录，数据量较为庞大，因此在全量拉取产生的历史数据表较少被使用时，需要对该部分历史数据表进行数据归档处理。
3、在相关技术中，根据不同用户的不同需求单独开发满足用户需求的数据归档任务，再通过执行该数据归档任务对全量拉取得到的历史数据表进行数据归档。基于上述对于全量拉取得到的历史数据表进行数据归档的方式，没有统一的数据归档方法，针对不同的用户需求需要开发新的数据归档任务，会产生大量重复且可能存在雷同的开发任务，极大地增加了开发难度；并且在用户的归档需求发生变化时需要重新开发新的数据归档任务，灵活性较差；另外，该方法对历史数据表中的数据进行全量数据归档，浪费存储空间。
技术实现思路
1、本申请提供一种数据归档方法、装置、电子设备及存储介质，用以减少数据归档任务的开发难度，以及节省数据归档的存储空间资源。
2、第一方面，本申请提供了一种数据归档方法，包括：
3、
4、获取归档基准分区中对应于数据对象的多条第一数据记录，以及待归档分区中对应于数据对象的多条第二数据记录；其中，待归档分区为根据归档基准分区和归档间隔周期确定的包含待归档的全量数据记录的数据表，第一数据记录以及第二数据记录通过标识字段进行标识；
5、生成与每条第一数据记录相对应的第一特征值，并且，生成与每条第二数据记录相对应的第二特征值；根据多条第一数据记录以及多条第二数据记录中包含的标识字段，对多条第一数据记录以及多条第二数据记录执行关联匹配处理，得到多个关联记录组，生成与每个关联记录组相对应的标记数据记录；其中，每个关联记录组中的第一数据记录和第二数据记录的标识字段具有相同的字段值，每条标记数据记录包括：标识字段、第一特征值以及第二特征值；
6、针对每条标记数据记录，在标记数据记录中包括的第一特征值以及第二特征值不同的情况下，生成差异数据记录，并根据差异数据记录执行数据归档处理；其中，差异数据记录用于表征第二数据记录相对于第一数据记录的更新方式。
7、第二方面，本申请提供了一种数据归档装置，包括：
8、规则获取模块，用于获取与数据对象相对应的归档配置规则，归档配置规则中至少包括：归档基准分区以及归档间隔周期，归档基准分区为包含用于作为比对基准的全量数据记录的数据表；
9、数据获取模块，用于获取归档基准分区中对应于数据对象的多条第一数据记录，以及待归档分区中对应于数据对象的多条第二数据记录；其中，待归档分区为根据归档基准分区和归档间隔周期确定的包含待归档的全量数据记录的数据表，第一数据记录以及第二数据记录通过标识字段进行标识；
10、数据关联模块，用于生成与每条第一数据记录相对应的第一特征值，并且，生成与每条第二数据记录相对应的第二特征值；根据多条第一数据记录以及多条第二数据记录中包含的标识字段，对多条第一数据记录以及多条第二数据记录执行关联匹配处理，得到多个关联记录组，生成与每个关联记录组相对应的标记数据记录；其中，每个关联记录组中的第一数据记录和第二数据记录的标识字段具有相同的字段值，每条标记数据记录包括：标识字段、第一特征值以及第二特征值；
11、数据归档模块，用于针对每条标记数据记录，在标记数据记录中包括的第一特征值以及第二特征值不同的情况下，生成差异数据记录，并根据差异数据记录执行数据归档处理；其中，差异数据记录用于表征第二数据记录相对于第一数据记录的更新方式。
12、第三方面，本申请提供了一种电子设备，该电子设备包括：至少一个处理器；至少一个存储器；以及一个或多个i/o接口，连接在处理器与存储器之间；其中，存储器存储有可被至少一个处理器执行的一个或多个计算机程序，一个或多个计算机程序被至少一个处理器执行，以使至少一个处理器能够执行上述数据归档方法。
13、第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，其中，计算机程序在被处理器/处理核执行时实现上述数据归档方法。
14、根据本申请提供的一种数据归档方法，首先，获取与数据对象相对应的归档配置规则，归档配置规则中至少包括：归档基准分区以及归档间隔周期，归档基准分区为包含用于作为比对基准的全量数据记录的数据表；其次，获取归档基准分区中对应于数据对象的多条第一数据记录，以及待归档分区中对应于数据对象的多条第二数据记录；其中，待归档分区为根据归档基准分区和归档间隔周期确定的包含待归档的全量数据记录的数据表，第一数据记录以及第二数据记录通过标识字段进行标识；再次，生成与每条第一数据记录相对应的第一特征值，并且，生成与每条第二数据记录相对应的第二特征值；根据多条第一数据记录以及多条第二数据记录中包含的标识字段，对多条第一数据记录以及多条第二数据记录执行关联匹配处理，得到多个关联记录组，生成与每个关联记录组相对应的标记数据记录；其中，每个关联记录组中的第一数据记录和第二数据记录的标识字段具有相同的字段值，每条标记数据记录包括：标识字段、第一特征值以及第二特征值；最后，针对每条标记数据记录，在标记数据记录中包括的第一特征值以及第二特征值不同的情况下，生成差异数据记录，并根据差异数据记录执行数据归档处理；其中，差异数据记录用于表征第二数据记录相对于第一数据记录的更新方式。该方法基于用户需求获取归档配置规则，从而按照指定归档间隔周期对特定数据分区进行数据归档处理；具体地，通过比较分别根据归档基准分区和待归档分区中数据的特征字段生成的特征值，筛选出全量数据表中产生更新的差异数据；一方面，该方法只对待归档分区中产生更新的差异数据进行数据归档处理，而非对待归档分区进行全量归档，节省了数据归档占用的存储空间资源；另一方面，提供了统一的数据归档方法，当用户提出新的数据归档需求或原有的数据归档需求产生变化时，只需改变归档配置规则的内容即可，而不必再针对新的用户需求重新开发新的数据归档任务，在减少数据归档任务开发难度的同时提升了数据归档的效率和灵活性。
15、应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种数据归档方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述归档配置规则还包括：特征函数以及特征字段；则每条数据记录对应的特征值通过以下方式生成：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：预先根据用户属性信息和/或业务属性信息，在归档配置库中生成与归档用户标识相对应的归档配置规则；其中，所述用户属性信息包括：用户角色、用户类型；所述业务属性信息包括：业务类型、业务状态、和/或业务执行周期；
4.根据权利要求1-3任一项所述的方法，其特征在于，所述在所述标记数据记录中包括的第一特征值以及第二特征值不同的情况下，生成差异数据记录之前，还包括：
5.根据权利要求4所述的方法，其特征在于，所述更新类型包括删除类型、修改类型、新增类型，则所述将所述标记数据记录中包括的第一特征值以及第二特征值进行对比，根据对比结果确定所述标记数据记录的记录类型包括：
6.根据权利要求5所述的方法，其特征在于，所述生成差异数据记录，根据所述差异数据记录执行数据归档处理包括：
7.根据权利要求1
8.根据权利要求5所述的方法，其特征在于，所述根据所述差异数据记录执行数据归档处理之后，还包括：
9.一种数据归档装置，其特征在于，包括：
10.一种电子设备，其特征在于，包括：
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-8中任一项所述的数据归档方法。
...【技术特征摘要】
1.一种数据归档方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述归档配置规则还包括：特征函数以及特征字段；则每条数据记录对应的特征值通过以下方式生成：
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：预先根据用户属性信息和/或业务属性信息，在归档配置库中生成与归档用户标识相对应的归档配置规则；其中，所述用户属性信息包括：用户角色、用户类型；所述业务属性信息包括：业务类型、业务状态、和/或业务执行周期；
4.根据权利要求1-3任一项所述的方法，其特征在于，所述在所述标记数据记录中包括的第一特征值以及第二特征值不同的情况下，生成差异数据记录之前，还包括：
5.根据权利要求4所述的方法，其特征在于，所述更新类型包括删除类型、修改类型、新增类型，则所述将所述标记数据记录中包括的第一特征值以及...
【专利技术属性】
技术研发人员：杨公建，郭剑霓，吴海英，郭江，刘磊，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。