数据仓库的数据处理方法、装置、系统及存储介质制造方法及图纸

本申请提供一种数据仓库的数据处理方法、装置、系统及存储介质，该方法，包括：获取线上数据库的数据模型对应的操作日志；对所述操作日志进行解析，得到数据修改表；根据所述数据修改表，对数据仓库的数据模型进行修改，得到目标数据模型；根据所述目标数据模型，对线上数据库的数据进行存储操作。本申请可以根据线上数据库对其自身的数据模型的变更操作，自动执行对数据仓库的数据模型的更新，以实现数据仓库和线上数据库的适配，完成对线上数据的存储；整个过程无需人为干预，操作简单，效率高。

【技术实现步骤摘要】
数据仓库的数据处理方法、装置、系统及存储介质
本申请涉及大数据
，尤其涉及一种数据仓库的数据处理方法、装置、系统及存储介质。
技术介绍
随着数据处理量的不断增加，需要构建数据仓库对数据进行存储管理。一般，数据仓库都会对应着多个业务数据线，各个业务数据线从数据仓库中获取所需的业务数据。而数据仓库需要从线上数据库中抽取数据，若线上数据库的数据模型发生变更，则数据仓库的数据模型也要进行相应的变更。目前，一般是通过配备专业的负责人进行数据仓库的维护，当线上数据库的数据模型发生变化时，由线上数据库的负责人向数据仓库的负责人发送变更请求，然后由数据仓库的负责人进行数据仓库的数据模型的变更操作。但是，上述过程操作繁琐，需要耗费大量的人力，且容易引入错误操作，导致数据仓库不能进行正常的数据存储。
技术实现思路
本申请提供一种数据仓库的数据处理方法、装置、系统及存储介质，可以自动执行对数据仓库的数据模型的更新，以实现数据仓库和线上数据库的适配，完成对线上数据的存储；整个过程无需人为干预，操作简单，效率高。第一方面本文档来自技高网...

【技术保护点】
1.一种数据仓库的数据处理方法，其特征在于，包括：/n获取线上数据库的数据模型对应的操作日志；/n对所述操作日志进行解析，得到数据修改表；/n根据所述数据修改表，对数据仓库的数据模型进行修改，得到目标数据模型；/n根据所述目标数据模型，对线上数据库的数据进行存储操作。/n

【技术特征摘要】
1.一种数据仓库的数据处理方法，其特征在于，包括：
获取线上数据库的数据模型对应的操作日志；
对所述操作日志进行解析，得到数据修改表；
根据所述数据修改表，对数据仓库的数据模型进行修改，得到目标数据模型；
根据所述目标数据模型，对线上数据库的数据进行存储操作。


2.根据权利要求1所述的方法，其特征在于，所述获取线上数据库的数据模型对应的操作日志，包括：
当线上数据库的数据模型被修改时，获取所述线上数据库的数据模型对应的操作日志。


3.根据权利要求1所述的方法，其特征在于，所述对所述操作日志进行解析，得到数据修改表，包括：
从所述操作日志中查找出所有执行语句；
根据所述执行语句，解析出针对所述线上数据库的数据模型的修改内容；
根据所述修改内容，确定数据修改表；其中，所述数据修改表中记录有针对线上数据库的数据模型的修改信息，所述修改信息包括：添加的字段信息、修改的字段类型、修改的主键名称。


4.根据权利要求1-3中任一项所述的方法，其特征在于，在根据所述数据修改表，对数据仓库的数据模型进行修改之前，还包括：
对所述数据修改表进行校验。


5.根据权利要求4所述的方法，其特征在于，对所述数据修改表进行校验，包括：
根据预设的校验要求，对所述数据修改表中的修改信息进行依次校验；其中，所述预设的校验要求包括以下任一或者任多：符合业务需求对应的修改规范、...

【专利技术属性】
技术研发人员：方伟，宋增超，马千里，吴明静，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11