【技术实现步骤摘要】
数据更新方法、装置、设备及存储介质
[0001]本专利技术涉及人工智能
,尤其涉及一种数据更新方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]当前,随着大数据时代的兴起,传统数据仓库转为了大平台数据仓库,存储在数据仓库中的不同业务系统的数据形式多样,在数据的实际应用和过程中,由于数据仓库中的数据真实性、时效性影响了数据的应用,需要精确追踪数据的最底层来源,即进行数据回溯,从而进行实时数据更新。
[0003]但是,在数据回溯过程数据仓库中的历史数据使用和修改存在限制,且对于维护好的数据仓库很少进行更新,使得数据仓库中与数据集市中的数据出现不一致,数据更新时效性受到影响,导致数据更新的效率及准确率低下。
技术实现思路
[0004]本专利技术提供一种数据更新方法、装置及计算机可读存储介质,其主要目的在于提高数据更新的效率及准确率。
[0005]为实现上述目的,本专利技术提供的一种数据更新方法,包括:
[0006]获取元数据集,根据所述元数据集内元数据之间的关联关系构建 ...
【技术保护点】
【技术特征摘要】
1.一种数据更新方法,其特征在于,所述方法包括:获取元数据集,根据所述元数据集内元数据之间的关联关系构建所述元数据集从预设的数据仓库平台的原始数据层存储到所述数据仓库平台的数据集市层的数据链路图;当接收到所述元数据集的更新任务请求时,根据所述更新任务请求获取所述元数据集中的待更新元数据,并获取所述待更新元数据的更新规则;对所述数据链路图中的元数据集进行数据回溯,在所述数据回溯过程中查找所述待更新元数据在所述数据链路图中的元数据位置;根据所述元数据位置,利用所述更新规则更新所述待更新元数据。2.如权利要求1所述的数据更新方法,其特征在于,所述根据所述元数据集内元数据之间的关联关系构建所述元数据集从预设的数据仓库平台的原始数据层存储到所述数据仓库平台的数据集市层的数据链路图,包括:根据所述元数据集内元数据之间的关联关系构建所述元数据集从预设的数据仓库平台的原始数据层存储至所述数据仓库平台的数据仓库层的第一链路;通过所述第一链路提取所述元数据集的深层关联关系,根据所述深层关联关系构建所述元数据集从所述数据仓库平台的数据仓库层存储至数据仓库平台的数据集市层的数据链路图。3.如权利要求2所述的数据更新方法,其特征在于,所述根据所述元数据集内元数据之间的关联关系构建所述元数据集从预设的数据仓库平台的原始数据层存储至所述数据仓库平台的数据仓库层的第一链路,包括:提取所述元数据集中多个元数据对应的多个标识符,生成多个所述标识符的多个初始节点;根据所述关联关系连接多个所述初始节点,生成所述元数据集从预设的数据仓库平台的原始数据层存储至所述数据仓库平台的数据仓库层的第一链路。4.如权利要求1所述的数据更新方法,其特征在于,所述对所述数据链路图中的元数据集进行数据回溯,在所述数据回溯过程中查找所述待更新元数据在所述数据链路图中的元数据位置,包括:遍历所述数据链路图,得到所述数据链路图中每个节点对应的元数据及所述元数据集内元数据之间的上下游关系;将所述元数据的更新任务请求拆分为多个子任务,并将多个所述子任务存储至预设的消息中间件中;利用所述消息中间件执行多个所述子任务,从所述元数据集内元数据之间的上下游关系中查找与多个所述子任务相关的待更新元数据的在所述数据链路图中的元数据位置。5.如权利要求1所述的数据更新方法,其特征在于,所...
【专利技术属性】
技术研发人员:邱龙根,吴燕平,卓陈朋,韩延福,
申请(专利权)人:中国平安财产保险股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。