一种拉链表生成方法、装置、设备及介质制造方法及图纸

技术编号:22055437 阅读:82 留言:0更新日期:2019-09-07 15:19
本发明专利技术公开了一种拉链表生成方法、装置、设备及介质。该方法的步骤包括:读取数据仓库中的目标数据表在历史时刻下的历史数据记录对应的历史特征值;获取目标数据表在当前时刻下与历史数据记录对应的当前数据记录;将当前数据记录中各字段的数据内容拼接为第二字符串,并对第二字符串进行Hash算法运算生成当前特征值;判断历史特征值与当前特征值是否存在差异;如果是,则生成记录有历史数据记录的拉链表。本方法相对降低了拉链表生成过程中对集群设备的运算资源的整体占用,进而确保了大数据平台的整体运行稳定性并降低了运维压力。此外,本发明专利技术还提供一种拉链表生成装置、设备及介质,有益效果同上所述。

A Zipper List Generation Method, Device, Equipment and Media

【技术实现步骤摘要】
一种拉链表生成方法、装置、设备及介质
本专利技术涉及数据库领域,特别是涉及一种拉链表生成方法、装置、设备及介质。
技术介绍
随着大数据时代的到来,各大企业往往都需要搭建自身的大数据平台,而基于大数据平台之上的数据仓库是大数据平台下重要的应用之一。数据仓库,是为企业所有级别的决策制定过程提供所有类型数据支持的战略集合,该集合是面向主题的、集成的、时变的、非易失的。由于在实际场景中,数据仓库的数据表内往往存储有海量条数据记录,数据表中数据记录的内容往往也会随着时间的推移而产生变化,而在对数据表的应用过程中,用户通常需要追溯之前某一时刻下数据表中的数据记录,因此就需要对不同历史时段下数据表中的数据记录进行存储。为了避免全量存储数据表中的数据记录而对存储空间造成较大的浪费,当前往往通过拉链表的方式仅保存历史时段下数据表中发生变化的数据记录。拉链表的目的是保存数据表中数据记录从内容变化前,一直到当前状态的所有变化的信息,拉链表通常是对账户信息的历史变动内容进行保留的结果。当前生成拉链表时,往往需要获取到之前时刻的数据表与当前时刻的数据表,并比对之前时刻的数据表与当前时刻的数据表之间对应数据记录本文档来自技高网...

【技术保护点】
1.一种拉链表生成方法,其特征在于,包括:读取数据仓库中的目标数据表在历史时刻下的历史数据记录对应的历史特征值;其中,所述历史特征值是通过预先将所述历史数据记录中各字段的数据内容拼接为第一字符串,并对所述第一字符串进行Hash算法运算生成的;获取所述目标数据表在当前时刻下与所述历史数据记录对应的当前数据记录;将所述当前数据记录中各字段的数据内容拼接为第二字符串,并对所述第二字符串进行所述Hash算法运算生成当前特征值;判断所述历史特征值与所述当前特征值是否存在差异;如果是,则生成记录有所述历史数据记录的拉链表。

【技术特征摘要】
1.一种拉链表生成方法,其特征在于,包括:读取数据仓库中的目标数据表在历史时刻下的历史数据记录对应的历史特征值;其中,所述历史特征值是通过预先将所述历史数据记录中各字段的数据内容拼接为第一字符串,并对所述第一字符串进行Hash算法运算生成的;获取所述目标数据表在当前时刻下与所述历史数据记录对应的当前数据记录;将所述当前数据记录中各字段的数据内容拼接为第二字符串,并对所述第二字符串进行所述Hash算法运算生成当前特征值;判断所述历史特征值与所述当前特征值是否存在差异;如果是,则生成记录有所述历史数据记录的拉链表。2.根据权利要求1所述的拉链表生成方法,其特征在于,所述读取数据仓库中的目标数据表在历史时刻下的历史数据记录对应的历史特征值,包括:在预设的中间表中读取所述历史数据记录对应的所述历史特征值;其中,所述中间表基于所述目标数据表的字段增设有记录所述历史特征值的特征值字段。3.根据权利要求1所述的拉链表生成方法,其特征在于,所述目标数据表的字段中包含有存储数据记录生效日期的数据记录生效日期字段,所述拉链表包含有数据记录生效日期字段以及数据记录失效日期字段。4.根据权利要求1所述的拉链表生成方法,其特征在于,所述获取所述目标数据表在当前时刻下与所述历史数据记录对应的当前数据记录,包括:获取所述目标数据表在当前时刻下与所述历史数据记录的主键字段内容相同的所述当前数据记录。5.根据权利要求1所述的拉链表生成方法,...

【专利技术属性】
技术研发人员:杨得力杨晨李杨
申请(专利权)人:河南中原消费金融股份有限公司
类型:发明
国别省市:河南,41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1