【技术实现步骤摘要】
一种数据同步入仓方法、模块、计算设备及存储介质
[0001]本专利技术涉及数据库
，特别涉及一种数据同步入仓方法、模块、计算设备及存储介质。
技术介绍
[0002]数据仓库从字面上来看，就是存放数据的仓库，可存放如业务数据、埋点行为数据、日志数据等各类数据。在数据仓库中对数据进行有序、有结构地分类组织和存储，能有效利用并发掘数据的价值。
[0003]数据采集层是数据仓库中的第一个环节，在这一层融汇保存了各方的数据，传统的处理方式是数据开发人员手动配置一些任务，将来自各方的数据导入到数据仓库中，其中涉及到任务的配置、存储数据的符合规范的数据表、以及对数据表的治理工作等，相关的一系列操作是重复且机械的。
[0004]数据从产生到使用，通常需途经各种业务流程、数据链路，在业务迭代的过程中，业务数据库、数据表经常发生变化。任何一个数据处理异常都可造成处于下游的应用出现问题，比如数据同步入数据仓库的任务。因此，需要每天定时识别元数据信息，将识别结果发送至指定的存储介质，从而获取到最新的元数据内容。
[00...
【技术保护点】
【技术特征摘要】
1.一种数据同步入仓方法，包括：检测发生变化的数据表是否存在于数据仓库中；若所述发生变化的数据表不存在于所述数据仓库中，则进行建表操作；所述建表操作完成之后，构建数据同步任务；执行所述数据同步任务，以将所述发生变化的数据表中数据同步入所述数据仓库。2.如权利要求1所述的方法，还包括确定发生变化的数据表，所述确定发生变化的数据表的步骤，包括：判断目标数据表的更新时间是否大于创建时间；若所述更新时间大于所述创建时间，则确定所述目标数据表为发生变化的数据表。3.如权利要求1或2所述的方法，其中，所述检测发生变化的数据表是否存在于数据仓库的步骤，包括：获取所述数据仓库中所有数据表的名称，并将所述所述数据仓库中所有数据表的名称与所述发生变化的数据表的名称进行匹配；若匹配不到所述发生变化的数据表的名称，则确定所述发生变化的数据表不存在于所述数据仓库中。4.如权利要求1
‑
3中任一项所述的方法，其中，所述若所述发生变化的数据表不存在于所述数据仓库中，则进行建表操作的步骤，包括：若所述发生变化的数据表不存在于所述数据仓库中，则通过执行建表命令，在所述数据仓库中创建与所述发生变化的数据表对应的新数据表。5.如权利要求1
‑
4中任一项所述的方法，其中，所述构建数据同步任务的步骤，包括：生成所述发生变化的数据表的同步任务脚本作为数...
【专利技术属性】
技术研发人员：郑晓飞，张源源，杜亚磊，
申请(专利权)人：北京百姓车服网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。