数据对接方法和装置制造方法及图纸

本申请公开了一种数据对接方法和装置。该方法包括：确定第一数据表、第二数据表和共有维度字段；根据第一数据表生成快照表，其中，快照表中包括至少一条快照记录，每条快照记录中至少包括与该条快照记录对应的唯一标识符、共有维度字段的值和生成快照记录的时间，且每条快照记录对应的唯一标识符不会发生变化；检测第一数据表中共有维度字段的值是否发生变化；当检测出第一数据表中共有维度字段的值发生变化时，更新快照表；以及基于更新后的快照表对第一数据表和第二数据表进行数据对接。通过本申请，解决了相关技术中数据表中共有维度字段的值发生变化，导致数据表中的数据无法进行对接的问题。

【技术实现步骤摘要】

本申请涉及数据处理领域，具体而言，涉及一种数据对接方法和装置。
技术介绍
在多个系统的数据表中分别存放了不同的数据且两份数据之间存在一些共有维度字段，多个数据表之间可以依据这些共有维度字段，将数据表中的数据进行对接，进而进行后续的数据分析工作。当其中某个系统的数据表的共有维度字段的值随着时间变动时，那么该系统与其它系统的数据表进行对接时就会存在问题。例如，广告管理系统A和网站监测系统B存在共有维度字段，即广告的来源渠道(例如，广告的来源渠道名称为搜狐或者新浪等)和广告的内容(例如广告标题)，系统A用于实时统计每一个广告的点击量等数据，系统B用于实时监测每一个广告产生的订单量等数据。但是，在系统A中，与系统B的共有维度字段的值会随着广告投放列表的值随时发生变化，该广告投放列表中至少记载了广告的来源渠道和广告的内容(与上述的共有维度字段相同)，也即：只要广告投放列表发生变化，在系统A的数据表中，相应共有维度字段的值会全部随之发生改变，包括在广告投放列表发生变化之前的历史数据。而在系统B中，只有广告投放列表发生变化时和变化之后记载在数据表中相应的共有维度字段的值会随之改变，而并不会改变广本文档来自技高网...

【技术保护点】
一种数据对接方法，其特征在于，包括：确定第一数据表、第二数据表和共有维度字段，其中，所述第一数据表和所述第二数据表为需要进行数据对接的数据表，所述共有维度字段为所述第一数据表和所述第二数据表中相同的维度字段；根据所述第一数据表生成快照表，其中，所述快照表中包括至少一条快照记录，每条快照记录中至少包括与该条快照记录对应的唯一标识符、共有维度字段的值和生成快照记录的时间，且每条快照记录对应的唯一标识符不会发生变化；检测所述第一数据表中共有维度字段的值是否发生变化；当检测出所述第一数据表中共有维度字段的值发生变化时，更新所述快照表；以及基于更新后的快照表对所述第一数据表和所述第二数据表进行数据对接。

【技术特征摘要】
1.一种数据对接方法，其特征在于，包括：确定第一数据表、第二数据表和共有维度字段，其中，所述第一数据表和所述第二数据表为需要进行数据对接的数据表，所述共有维度字段为所述第一数据表和所述第二数据表中相同的维度字段；根据所述第一数据表生成快照表，其中，所述快照表中包括至少一条快照记录，每条快照记录中至少包括与该条快照记录对应的唯一标识符、共有维度字段的值和生成快照记录的时间，且每条快照记录对应的唯一标识符不会发生变化；检测所述第一数据表中共有维度字段的值是否发生变化；当检测出所述第一数据表中共有维度字段的值发生变化时，更新所述快照表；以及基于更新后的快照表对所述第一数据表和所述第二数据表进行数据对接。2.根据权利要求1所述的方法，其特征在于，当检测出所述第一数据表中共有维度字段的值发生变化时，更新所述快照表包括：确定所述第一数据表中共有维度字段的值发生变化的时间和变化后的共有维度字段的值；根据所述第一数据表中值发生变化的共有维度字段对应的唯一标识符、共有维度字段的值发生变化的时间和变化后的共有维度字段的值生成快照记录，其中，所述快照记录包括的生成快照记录时间为所述第一数据表中共有维度字段的值发生变化的时间；以及将所述快照记录添加至所述快照表中以更新所述快照表。3.根据权利要求2所述的方法，其特征在于，基于更新后的快照表对所述第一数据表和所述第二数据表进行数据对接包括：确定数据对接时间，其中，所述数据对接时间为所述第一数据表和所述第二数据表需要进行数据对接的时间；在更新后的快照表中，分别获取每一个唯一标识符对应的至少一条快照记录；分别在获取到的每一个唯一标识符对应的至少一条快照记录中，根据生成快照记录的时间查询在所述数据对接时间与每一个唯一标识符对应的目标快照记录，并获取所述目标快照记录中的共有维度字段的值；根据所述数据对接时间、每一个唯一标识符、与所述每一个唯一标识符对应
\t的目标快照记录中的共有维度字段的值生成第一数据表的目标数据表；以及根据第一数据表的目标数据表与第二数据表的共有维度字段进行数据对接。4.根据权利要求3所述的方法，其特征在于，根据生成快照记录的时间查询在所述数据对接时间与每一个唯一标识符对应的目标快照记录包括：分别判断每一个唯一标识符对应的至少一条快照记录中，是否存在生成快照记录的时间为所述数据对接时间的快照记录；如果存在生成快照记录的时间为所述数据对接时间的快照记录，则将该快照记录作为目标快照记录；以及如果不存在生成快照记录的时间为所述数据对接时间的快照记录，则分别在每一个唯一标识符对应的至少一条快照记录中，将生成快照记录的时间满足如下条件的快照记录作为目标快照记录：在所述数据对接时间之前，并且与所述数据对接时间间隔满足预设条件。5.根据权利要求1至4中任一项所述的方法，其特征在于，检测所述第一数据表中共有维度字段的值是否发生变化包括：检测所述第一数据表中是否存在新建所述共有维度字段的值、或编辑所述共有维度字段的值、或删除所述共有维度字段的值的情况；当所述第一数据表中存在新建所述共有维度字段的值、或编辑所述共有维度字段的值、或删除所述共有维度字段的值的情况，确定所述第一数据表中共有维度字段的值发生变化；以及当所述第一数据表中不存在新建所述共有维度字段的值的情况、且不存在编辑所述共有维度字段的值的情况、且不存在删除所述共有维度字段的值的情况，确定所述第一数据表中共有维度字段的值没有发生变化。6.一种数据对接装置，其特征在于，包括：确定单元，用于确定第...

【专利技术属性】
技术研发人员：赖华贵，吴充，蔡波，陈改静，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京;11