【技术实现步骤摘要】
本公开涉及实时数据处理，尤其涉及一种数据关联的方法、装置、设备和存储介质。
技术介绍
1、在构建大数据的数据仓库时，为了降低数据处理的复杂性，常常将事实数据和维度数据进行关联补全打宽处理。在实时数据处理领域，在进行事实数据和维度数据进行关联时，会存在因事实数据与维度数据关联不准确，而出现关联错误的情况。针对这种情况，传统的数据处理方法是通过次日的离线数仓去创建一个维度拉链表将事实数据与维度数据进行准确关联后进行数据回填，传统的处理方法大大降低了实时数仓的实时性。因此，在数据存储时如何实时将事实数据和维度数据可以准确关联成为本领域技术人员亟待解决的问题。
技术实现思路
1、有鉴于此，本公开提出了一种数据关联方法、装置、设备和存储介质，可以实现在数据存储时实时的将事实数据和维度数据进行准确关联。
2、根据本公开的第一方面，提供了一种数据关联的方法，用于进行事实数据与维度数据的关联，包括：
3、由源数据中获取需要关联的当前事实数据；
4、根据所述当前事实数据由维度数据库中查找对应相匹配版本的维度数据；其中，所述维度数据库中存储有维度数据表，所述维度数据表中记录有所述维度数据以及所述维度数据的版本信息；
5、对所述当前事实数据与对应相匹配版本的维度数据进行关联。
6、在一种可能的实现方式中，根据所述当前事实数据由维度数据库中查找对应相匹配版本的维度数据时，包括：
7、由所述当前事实数据中提取出关联主键，并根据所述关联主
8、根据所述拼接查询条件，由所述维度数据库中记录的维度数据表查找相匹配的维度版本。
9、在一种可能的实现方式中，所述拼接查询条件包括：所述维度版本的更新时间小于等于所述当前事实数据的发生时间，且所述维度版本的更新时间距离所述当前事实数据的发生时间最近。
10、在一种可能的实现方式中，所述拼接查询条件还包括：所述关联主键与所述维度数据的主键相匹配。
11、在一种可能的实现方式中，根据所述事实数据由维度数据库中查找对应相匹配版本的维度数据时，还包括：
12、判断所述维度版本的更新时间是否晚于所述当前事实数据的上一事实数据的关联时间；
13、在判断出所述维度版本的更新时间晚于所述当前事实数据的上一事实数据的关联时间，确定所述维度版本为最新版，执行将所述维度数据写入数据库的操作。
14、在一种可能的实现方式中，在判断出所述维度版本的更新时间早于所述当前事实数据的上一事实数据的关联时间时，执行对自所述当前事实数据的关联时间起前预设时间段内已关联的事实数据的回刷操作，对前预设时间段内已关联的事实数据重新进行关联。
15、根据本公开的第二方面，提供了一种数据关联的装置，用于进行事实数据和维度数据的关联，包括：
16、数据获取模块，用于由源数据中获取需要关联的当前事实数据；
17、维度数据查找模块，用于根据所述当前事实数据由维度数据库中查找对应相匹配版本的维度数据；其中，所述维度数据库中存储有维度数据表，所述维度数据表中记录有所述维度数据以及所述维度数据的版本信息；
18、数据关联模块，用于对所述当前事实数据与对应相匹配版本的维度数据进行关联。
19、在一种可能实现的方式中，在根据所述事实数据由维度数据库中查找对应相匹配版本的维度数据时，所述维度数据查找模块包括：
20、维度数据更新时间比较模块，用于判断所述维度版本的更新时间是否晚于所述当前事实数据的上一事实数据的关联时间；
21、维度数据写入模块，用于在判断出所述维度版本的更新时间晚于所述当前事实数据的上一事实数据的关联时间，确定所述维度版本为最新版，执行将所述维度数据写入数据库的操作。
22、根据本公开的第三方面，提供了一种数据关联设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行本公开第一方面所述的方法。
23、根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现本公开第一方面中任意一项所述的方法。
24、本公开提供了一种数据关联方法，包括：由源数据中获取需要关联的当前事实数据；根据当前事实数据由维度数据库中查找对应相匹配版本的维度数据；其中，维度数据库中存储有维度数据表，维度数据表中记录有维度数据以及维度数据的版本信息；对当前事实数据与对应相匹配版本的维度数据进行关联。上述的数据关联方法通过对维度数据库中存储的维度数据表记录维度数据的版本信息，在进行关联时，直接在维度数据库中查找与当前事实数据相匹配版本的维度数据，可以实现在数据存储时实时的将事实数据和维度数据进行准确关联，解决了传统的处理方法中出现关联错误时，通过次日离线仓储创建拉链表进行数据准确关联后进行回填，不具有实时性的问题，有效提高了系统实时的进行事实数据和维度数据关联的准确度。
25、根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
本文档来自技高网...【技术保护点】
1.一种数据关联的方法，其特征在于，用于进行事实数据与维度数据的关联，包括：
2.根据权利要求1所述的方法，其特征在于，根据所述当前事实数据由维度数据库中查找对应相匹配版本的维度数据时，包括：
3.根据权利要求2所述的方法，其特征在于，所述拼接查询条件包括：所述维度版本的更新时间小于等于所述当前事实数据的发生时间，且所述维度版本的更新时间距离所述当前事实数据的发生时间最近。
4.根据权利要求3所述的方法，其特征在于，所述拼接查询条件还包括：所述关联主键与所述维度数据的主键相匹配。
5.根据权利要求1至4任一项所述的方法，其特征在于，根据所述事实数据由维度数据库中查找对应相匹配版本的维度数据时，还包括：
6.根据权利要求5所述的方法，其特征在于，在判断出所述维度版本的更新时间早于所述当前事实数据的上一事实数据的关联时间时，执行对自所述当前事实数据的关联时间起前预设时间段内已关联的事实数据的回刷操作，对前预设时间段内已关联的事实数据重新进行关联。
7.一种数据关联装置，其特征在于，用于进行事实数据和维度数据的关联
8.根据权利要求7所述的装置，其特征在于，在根据所述事实数据由维度数据库中查找对应相匹配版本的维度数据时，所述维度数据查找模块包括：
9.一种数据关联设备，其特征在于，包括：
10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
...【技术特征摘要】
1.一种数据关联的方法，其特征在于，用于进行事实数据与维度数据的关联，包括：
2.根据权利要求1所述的方法，其特征在于，根据所述当前事实数据由维度数据库中查找对应相匹配版本的维度数据时，包括：
3.根据权利要求2所述的方法，其特征在于，所述拼接查询条件包括：所述维度版本的更新时间小于等于所述当前事实数据的发生时间，且所述维度版本的更新时间距离所述当前事实数据的发生时间最近。
4.根据权利要求3所述的方法，其特征在于，所述拼接查询条件还包括：所述关联主键与所述维度数据的主键相匹配。
5.根据权利要求1至4任一项所述的方法，其特征在于，根据所述事实数据由维度数据库中查找对应相匹配版本的维度数据时，还包括：
6.根据权利...
【专利技术属性】
技术研发人员：宋宁，严政，
申请(专利权)人：北京至简能源有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。