公共层宽表建设方法、装置及服务器制造方法及图纸

本说明书实施例提供了一种公共层宽表建设方法、装置及服务器，根据预设延时时长延时获取主业务表中的主增量数据，利用了预设延时时长等待副业务表中副增量数据的到达，保证副业务表中需要关联的数据全部到达，主业务表的每一行数据记录都能够与副业务表中热点数据进行成功匹配，保证能关联到完整数据成功避免业务数据的飘移，保证了小时级公共层宽表的正确产出。

Construction method, device and server of public layer wide table

The embodiment of the specification provides a construction method, device and server of common layer wide table. According to the preset delay time delay, the main incremental data in the main business table is acquired, and the preset delay time is used to wait for the arrival of the sub incremental data in the sub business table, so as to ensure that all the data needed to be associated in the sub business table arrive, and each row of data record in the main business table can be associated with the sub business The hot spot data in the table is matched successfully to ensure that it can be associated with the complete data to successfully avoid the drift of business data and ensure the correct output of the hour level public layer wide table.

【技术实现步骤摘要】
公共层宽表建设方法、装置及服务器
本说明书实施例涉及数据处理领域，尤其涉及一种公共层宽表建设方法、装置及服务器。
技术介绍
目前国际贸易越来越普及，国际业务的开展会涵盖众多国家，各个国家都有自己的时区。离线数据仓库建设的时间一半为T+1，即：如果希望在今天早上八点之前能够看到昨天全天的明细数据及汇总数据，可以在今天凌晨0点时开始对昨天的业务数据进行ETL处理，但是对于其它时区的业务数据而言，会晚于凌晨0点开始ETL处理。若多时区的数据场景下，若建设与每个时区相匹配的调度时间以及业务统计时间，在时效性与业务统计复杂性上都很难满足目前的业务诉求，也不利于数据架构的扩展与国际业务的整体数据洞察。
技术实现思路
本说明实施例提供一种公共层宽表建设方法、装置及服务器。第一方面，本说明实施例提供一种公共层宽表建设方法，应用于流式计算平台，所述方法包括：根据预设延时时长，延时获取主业务表中的主增量数据，所述主业务表以及与所述主业务表相关的至少一个副业务表属于同一业务系统；对目标数据库中每个与所述主业务表相关的热点数据表进行检索，获本文档来自技高网...

【技术保护点】
1.一种公共层宽表建设方法，应用于流式计算平台，所述方法包括：/n根据预设延时时长，延时获取主业务表中的主增量数据，所述主业务表以及与所述主业务表相关的至少一个副业务表属于同一业务系统；/n对目标数据库中每个与所述主业务表相关的热点数据表进行检索，获取与所述主增量数据匹配的目标热点数据，所述目标热点数据与所述热点数据表对应的副业务表中幅增量数据对应；/n将所述目标热点数据与所述主业务表中的主增量数据进行拼接处理，形成写入离线批处理平台的拼接结果数据，使得所述离线批处理平台处理所述拼接结果数据表，以产出小时级公共层宽表。/n

【技术特征摘要】
1.一种公共层宽表建设方法，应用于流式计算平台，所述方法包括：
根据预设延时时长，延时获取主业务表中的主增量数据，所述主业务表以及与所述主业务表相关的至少一个副业务表属于同一业务系统；
对目标数据库中每个与所述主业务表相关的热点数据表进行检索，获取与所述主增量数据匹配的目标热点数据，所述目标热点数据与所述热点数据表对应的副业务表中幅增量数据对应；
将所述目标热点数据与所述主业务表中的主增量数据进行拼接处理，形成写入离线批处理平台的拼接结果数据，使得所述离线批处理平台处理所述拼接结果数据表，以产出小时级公共层宽表。


2.如权利要求1所述的公共层宽表建设方法，还包括：
实时获取所述业务系统中每个副业务表产生的副增量数据；
对每个副业务表产生的副增量数据进行流式预处理；
将每个副业务表对应的流式预处理后的幅增量数据存储至所述目标数据库中对应的热点数据表下。


3.如权利要求2所述的公共层宽表建设方法，所述实时获取所述业务系统中每个副业务表产生的副增量数据，包括：
实时从实时数据流复制中心获取所述副增量数据，其中，所述副增量数据由所述实时数据流复制中心解析每个副业务表的数据修改日志得到，每个副业务表的数据修改日志为对应副业务表发生数据变更所产生。


4.如权利要求2所述的公共层宽表建设方法，所述对每个副业务表产生的副增量数据进行流式预处理，包括：
对每个副业务表产生的副增量数据进行数据记录的行合并和/或数据记录的行筛选，得到目标入库数据，所述目标入库数据中数据记录与所述主增量数据中数据记录一一对应；
确定出所述主增量数据中每行数据记录的主键值；
针对所述主增量数据中每行数据记录，对该行数据记录的主键值进行加盐处理，形成所述目标入库数据中对应行数据记录的关联主键值。


5.如权利要求2所述的公共层宽表建设方法，所述对每个副业务表产生的副增量数据进行流式预处理，包括：
将所述主增量数据中每行数据记录的主键值与所述副增量数据中对应行数据记录的主键值进行拼接，形成所述副增量数据中每行数据记录的关联主键值。


6.如权利要求5所述的公共层宽表建设方法，所述对目标数据库中每个与所述主业务表相关的热点数据表表进行检索，获取与所述主增量数据匹配的目标热点数据，包括：
根据所述主增量数据中每行数据记录的主键值及其对应的关联主键值，在与所述主业务表相关的热点数据表中确定出与所述主增量数据匹配的全量热点数据记录；
根据所述主增量数据中每行数据记录，对所述全量热点数据记录中对应的热点数据记录进行行合并处理，和/或根据所述全量热点数据记录对所述主增量数据中对应的数据记录进行行拆分处理，得到所述目标热点数据。


7.如权利要求2所述的公共层宽表建设方法，所述将每个副业务表对应的流式预处理后的幅增量数据存储至所述目标数据库中对应的热点数据表下，包括：
对被存入所述目标数据库中对应的热点数据表下的每行数据记录设置生存时间，所述生存时间用于使该行数据记录在热点数据表中成为热点数据记录。


8.如权利要求1-7中任一所述的公共层宽表建设方法，所述对目标数据库中每个与所述主业务表相关的热点数据表表进行检索，包括：
创建对所述目标数据库的单次连接；
基于所述单次连接，对所述目标数据库中每个与所述主业务表相关的热点数据表表进行检索。


9.如权利要求1所述的公共层宽表建设方法，所述根据预设延时时长，延时获取主业务表中的主增量数据，包括：
根据所述预设延时时长，延时从实时数据流复制中心获取所述主增量数据，其中，所述主增量数据由所述实时数据流复制中心解析所述主业务表发生数据变更时的数据修改日志得到，并被实时写入至所述实时数据流复制中心。


10.如权利要求1所述的公共层宽表建设方法，所述主业务表，以及与所述主业务表相关的每个副业务表在所述业务系统的关系型数据库中，所述业务系统的关系型数据库与所述目标数据库为不同数据库。


11.一种用于...

【专利技术属性】
技术研发人员：李文启，丁和生，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY