本发明专利技术实施例公开了一种针对实时维表的关联方法、装置及计算机可读介质，该方法应用于第一设备；一具体实施方式至少包括：首先读取目标业务的实时数据流；并对实时数据流进行处理，得到若干处理窗口；其次针对处理窗口中任一ID号：获取与ID号的ID属性所对应的实时维表；确定与实时维表对应的缓存数据库以及HBase备库；判断缓存数据库中是否存在ID号；若存在，则从缓存数据库中读取与ID号对应的关联值；若不存在，则从HBase备库中读取与ID号对应的关联值。由此通过设置缓存数据库，能够将百万级/s的实时数据流关联维表的时间从分钟级优化为秒级，从而减少了数据延迟，提高了实时数据流关联维表的时效性。数据流关联维表的时效性。数据流关联维表的时效性。
【技术实现步骤摘要】
一种针对实时维表的关联方法、装置及计算机可读介质
[0001]本专利技术属于计算机
，尤其涉及一种针对实时维表的关联方法、装置及计算机可读介质。
技术介绍
[0002]各企业在构建自己的实时数仓以及实时指标的过程中，需要进行多维度指标的整合，指标对应的数据往往存在于关系型业务库的多个表里或者消息队列中。全量实时场景往往只能作为统计，而不能提供实时的服务。流跟流进行数据关联，因关联实时维表的实时数据流流量太大导致实时维表数据关联延迟，从而无法满足业务要求的时效性问题。
[0003]例如：在实际应用中，实时维表的数据一般是放在HBase主库中，实时数据关联实时维表通常是直接关联HBase数据库里的数据。若将百万级/s的实时数据流直接关联HBase主库，那么对1min的实时数据流执行完关联操作通常要消耗小时级的时间；由此导致数据关联延迟严重，从而影响业务要求的时效性。
[0004]为此，针对流量比较大的实时数据流进行实时维表关联时，急需要提供一种有效且快速的关联方法以解决现有技术中数据关联延迟的问题。
技术实现思路
[0005]针对现有技术存在的上述问题，本专利技术实施例提供了一种针对实时维表的关联方法、装置及计算机可读介质，能够实现快速且准确地将百万级/s的实时数据流关联到实时维表，提高了百万级/s的实时数据流关联维表的时效性。
[0006]根据本专利技术实施例第一方面，提供一种针对实时维表的关联方法，应用于第一设备；所述方法包括：读取目标业务的实时数据流；对所述实时数据流进行处理，得到若干处理窗口；其中，每个所述处理窗口具有对应的ID属性；所述处理窗口包括相同ID属性的若干个ID号；针对所述处理窗口中任一ID号：获取与所述ID号的ID属性所对应的实时维表；确定与所述实时维表对应的缓存数据库以及HBase备库；判断所述缓存数据库中是否存在所述ID号；若存在，则从所述缓存数据库中读取与所述ID号对应的关联值；若不存在，则从所述HBase备库中读取与所述ID号对应的关联值。
[0007]可选的，所述对所述实时数据流进行处理，得到若干处理窗口；包括：针对所述实时数据流中任一实时数据：对所述实时数据进行行转列，得到若干ID号；每个所述ID号具有对应的ID属性；基于预设时间窗口，将实时数据流中的所有ID按照ID属性进行窗口聚合，生成若干个处理窗口。
[0008]可选的，所述确定与所述实时维表对应的缓存数据库以及HBase备库，包括：从所述实时维表中读取数据，并基于预设条件对所读取数据进行过滤，得到目标数据；将所述目标数据写入本地对应的缓存区域，生成第一触发指令；基于所述第一触发指令，生成与所述实时维表对应的缓存数据库；基于所述缓存数据库更新HBase备库，得到与所述实时维表对应的HBase备库。
[0009]可选的，所述基于所述缓存数据库更新HBase备库，得到与所述实时维表对应的HBase备库，包括：基于HBase主库，对所述缓存数据库进行监听；若监听结果表征所述缓存数据库中存在与所述HBase主库不同的数据；则将所述缓存数据库中更新数据写入所述HBase主库；基于所述HBase主库的数据更新结果，同步更新HBase备库，得到与所述实时维表对应的HBase备库。
[0010]可选的，所述的方法还包括：基于所述第一触发指令，对所述缓存数据库中更新数据进行监控；若监控结果表征所述缓存数据库中更新数据的存储时间大于预设时间，则从所述缓存数据库中清除所述更新数据。
[0011]可选的，所述的方法还包括：基于所述缓存数据库中更新数据的清除操作，生成第二触发指令；基于所述第二触发指令，从当前实时维表读取数据，并基于读取结果对所述缓存数据库进行数据更新。
[0012]可选的，所述缓存数据库包括预设时间存储的更新数据以及常用数据表。
[0013]可选的，所述的方法还包括：将所述关联值写入分布式数据库中。
[0014]根据本专利技术实施例第二方面，还提供一种针对实时维表的关联装置；所述装置包括：读取模块，用于读取目标业务的实时数据流；处理模块，用于对所述实时数据流进行处理，得到若干处理窗口；其中，每个所述处理窗口具有对应的ID属性；所述处理窗口包括相同ID属性的若干个ID号；关联模块，用于针对所述处理窗口中任一ID号：获取与所述ID号的ID属性所对应的实时维表；确定与所述实时维表对应的缓存数据库以及HBase备库；判断所述缓存数据库中是否存在所述ID号；若存在，则从所述缓存数据库中读取与所述ID号对应的关联值；若不存在，则从所述HBase备库中读取与所述ID号对应的关联值。
[0015]根据本专利技术实施例第三方面，还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的方法。
[0016]本专利技术实施例提供一种针对实时维表的关联方法，应用于第一设备；所述方法包括：首先，读取目标业务的实时数据流；并对所述实时数据流进行处理，得到若干处理窗口；其中，每个所述处理窗口具有对应的ID属性；所述处理窗口包括相同ID属性的若干个ID号；其次，针对所述处理窗口中任一ID号：获取与所述ID号的ID属性所对应的实时维表；确定与所述实时维表对应的缓存数据库以及HBase备库；判断所述缓存数据库中是否存在所述ID号；若存在，则从所述缓存数据库中读取与所述ID号对应的关联值；若不存在，则从所述HBase备库中读取与所述ID号对应的关联值。由此，通过设置缓存数据库，能够将百万级/s的实时数据流关联维表的时间从分钟级优化为秒级，从而减少了数据延迟，提高了百万级/s的实时数据流关联维表的时效性。
附图说明
[0017]后文将参照附图以示例性而非限制性的方式详细描述本专利技术的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：图1为本专利技术一实施例提供的针对实时维表的关联方法的流程示意图；图2为本专利技术一实施例中对实时数据流进行处理的流程示意图；图3为本专利技术一实施例中确定与实时维表对应的缓存数据库以及HBase备库的流
程示意图；图4为本专利技术一应用例提供的针对实时维表的关联方法的流程示意图；图5为本专利技术一实施例提供的针对实时维表的关联装置的结构示意图。
具体实施方式
[0018]为使本专利技术的目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而非全部实施例。基于本专利技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]如图1所示，为本专利技术一实施例提供的针对实时维表的关联方法的流程示意图。
[0020]一种针对实时维表的关联方法，应用于第一设备；所述方法至少包括如下步骤：S101，读取目标业务的实时数据流；S102，对实时数据流进行处理，得到若干处理窗口；其中，每个处理窗口具有对应本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种针对实时维表的关联方法，其特征在于，应用于第一设备；所述方法包括：读取目标业务的实时数据流；对所述实时数据流进行处理，得到若干处理窗口；其中，每个所述处理窗口具有对应的ID属性；所述处理窗口包括相同ID属性的若干个ID号；针对所述处理窗口中任一ID号：获取与所述ID号的ID属性所对应的实时维表；确定与所述实时维表对应的缓存数据库以及HBase备库；判断所述缓存数据库中是否存在所述ID号；若存在，则从所述缓存数据库中读取与所述ID号对应的关联值；若不存在，则从所述HBase备库中读取与所述ID号对应的关联值。2.根据权利要求1所述的方法，其特征在于，所述对所述实时数据流进行处理，得到若干处理窗口；包括：针对所述实时数据流中任一实时数据：对所述实时数据进行行转列，得到若干ID号；每个所述ID号具有对应的ID属性；基于预设时间窗口，将实时数据流中的所有ID按照ID属性进行窗口聚合，生成若干个处理窗口。3.根据权利要求1所述的方法，其特征在于，所述确定与所述实时维表对应的缓存数据库以及HBase备库，包括：从所述实时维表中读取数据，并基于预设条件对所读取数据进行过滤，得到目标数据；将所述目标数据写入本地对应的缓存区域，生成第一触发指令；基于所述第一触发指令，生成与所述实时维表对应的缓存数据库；基于所述缓存数据库更新HBase备库，得到与所述实时维表对应的HBase备库。4.根据权利要求3所述的方法，其特征在于，所述基于所述缓存数据库更新HBase备库，得到与所述实时维表对应的HBase备库，包括：基于HBase主库，对所述缓存数据库进行监听；若监听结果表征所述缓存数据库中存在与所述HBase主库不同的数据；则将所述缓存数据库中更新数据写入所述HBase主库；基于所述...
【专利技术属性】
技术研发人员：王锦胤，马绍桐，刘海涛，
申请(专利权)人：紫金诚征信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。