元数据更新方法、装置、电子设备及计算机可读存储介质制造方法及图纸

技术编号:28147832 阅读:20 留言:0更新日期:2021-04-21 19:35
本申请的实施方式提供了一种元数据更新方法、元数据更新装置、电子设备以及计算机可读存储介质,涉及计算机技术领域。该方法包括:当接收到元数据更新消息时,读取元数据更新消息中的版本信息和引擎信息;从多种解析文件中选取与版本信息和引擎信息均匹配的目标解析文件;通过目标解析文件解析元数据更新消息中的更新指令,得到解析结果;若解析结果为用于表征指令语义的兼容对象,则响应于更新指令根据指令语义对主数据索引中的元数据进行更新;其中,指令语义对应于更新指令。可见,实施本申请实施例可以通过元数据所对应的版本选取与其对应的解析文件,解决现有技术中存在的多版本数据源容易采集失败的问题以及数据更新不及时的问题。及时的问题。及时的问题。

【技术实现步骤摘要】
元数据更新方法、装置、电子设备及计算机可读存储介质


[0001]本申请的实施方式涉及计算机
,更具体地,本申请的实施方式涉及元数据更新方法、元数据更新装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]目前,对于大数据的实时采集,通常需要登记采集目标,进而部署采集客户端进行采集,然后统一收集并根据收集结果更新数据索引,以提供数据查询。但是,需要采集的数据源可能对应于多种版本,而多种版本的数据源通常语法不兼容。因此,通过上述统一的采集方式采集多版本的数据源容易采集失败,进而,则容易导致数据更新不及时。
[0003]需要说明的是,在上述
技术介绍
部分公开的信息仅用于加强对本申请的背景的理解,因此,不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0004]基于上述问题,专利技术人进行了相应的思考,做出了有针对性的改进,提供了元数据更新方法、元数据更新装置、电子设备以及计算机可读存储介质,可以通过元数据所对应的版本选取与其对应的解析文件,进而可以通过相对应的解析文件实现对于元数据的收集,以更新数据索引,解决现有技术中存在的多版本数据源容易采集失败的问题以及数据更新不及时的问题。
[0005]根据本申请实施例的第一方面,公开了一种元数据更新方法,包括:
[0006]当接收到元数据更新消息时,读取元数据更新消息中的版本信息和引擎信息;其中,版本信息和引擎信息用于表征元数据更新消息的来源;
[0007]从多种解析文件中选取与版本信息和引擎信息均匹配的目标解析文件;
[0008]通过目标解析文件解析元数据更新消息中的更新指令,得到解析结果;
[0009]若解析结果为用于表征指令语义的兼容对象,则响应于更新指令根据指令语义对主数据索引中的元数据进行更新;其中,指令语义对应于更新指令。
[0010]在一个实施例中,基于前述方案,兼容对象还用于表征更新指令对应的指令语言,响应于更新指令根据指令语义对主数据索引中的元数据进行更新之前,上述方法还包括:
[0011]若指令语言为数据库定义语言,则执行的响应于更新指令根据指令语义对主数据索引中的元数据进行更新;
[0012]若指令语言为数据库操作语言,则忽略更新指令。
[0013]在一个实施例中,基于前述方案,响应于更新指令根据指令语义对主数据索引中的元数据进行更新,包括:
[0014]若更新指令用于表示删除目标二级字段,则删除主数据索引中的目标二级字段;
[0015]若更新指令用于表示创建目标二级字段,则在主数据索引中创建目标二级字段;
[0016]若更新指令用于表示更新目标字段,则更新主数据索引中的目标字段。
[0017]在一个实施例中,基于前述方案,在接收到元数据更新消息之后,上述方法还包
括:
[0018]将元数据更新消息存储于预设存储空间中;
[0019]在解析结果为兼容对象时,判定解析结果用于表示解析成功并删除预设存储空间中的元数据更新消息。
[0020]在一个实施例中,基于前述方案,若解析结果用于表示解析失败,上述方法还包括:
[0021]获取预设存储空间中包含元数据更新消息的消息集合;
[0022]根据消息集合更新备份索引中的待更新元数据,得到更新后的备份索引;
[0023]将更新后的备份索引确定为新的主数据索引,将原来的主数据索引确定为新的备份索引。
[0024]在一个实施例中,基于前述方案,根据消息集合更新备份索引中的待更新元数据,得到更新后的备份索引之前,上述方法还包括:
[0025]采集各类计算机资源的当前占用率;
[0026]若当前占用率均满足预设条件,从预设映射关系中查询与消息集合中各消息匹配的数据编码;
[0027]从备份索引中确定对应于数据编码的待更新元数据;
[0028]其中,预设映射关系用于表征待更新元数据与消息集合中各消息之间的映射关系。
[0029]在一个实施例中,基于前述方案,若当前占用率不满足预设条件,上述方法还包括:
[0030]按照预设检测频率检测当前占用率是否满足预设条件,直到检测到当前占用率均满足预设条件为止;或者,
[0031]按照预设检测频率检测当前占用率是否满足预设条件,直到检测次数达到上限值且最后一次检测结果用于表示当前占用率不满足预设条件为止,输出用于提示用户排查设备的告警信息。
[0032]在一个实施例中,基于前述方案,元数据包括技术元数据和业务元数据;技术元数据至少包括一级字段、隶属一级字段的二级字段以及隶属二级字段的三级字段。
[0033]在一个实施例中,基于前述方案,在接收到元数据更新消息之前,上述方法还包括:
[0034]获取技术源数据并根据技术源数据中数据的引擎信息提取一级字段;其中,一级字段的数量与引擎信息的种类一致;
[0035]根据数据的版本信息提取二级字段;其中,二级字段的数量与版本信息的种类一致;
[0036]根据数据中的字段和类型提取三级字段;
[0037]根据一级字段、二级字段以及三级字段构建技术元数据。
[0038]在一个实施例中,基于前述方案,上述方法还包括:
[0039]根据标签解析规则将业务元数据解析为标签化数据结构;
[0040]生成与标签化数据结构对应的映射关系编码;
[0041]将对应于标签化数据结构的技术元数据与映射关系编码进行绑定,以通过映射关
系编码关联技术元数据和业务元数据;其中,主数据索引包括映射关系编码。
[0042]根据本申请实施例的第二方面,公开了一种元数据更新装置,包括:信息读取单元、解析文件选取单元、数据解析单元以及数据索引更新单元,其中:
[0043]信息读取单元,用于当接收到元数据更新消息时,读取元数据更新消息中的版本信息和引擎信息;其中,版本信息和引擎信息用于表征元数据更新消息的来源;
[0044]解析文件选取单元,用于从多种解析文件中选取与版本信息和引擎信息均匹配的目标解析文件;
[0045]数据解析单元,用于通过目标解析文件解析元数据更新消息中的更新指令,得到解析结果;
[0046]数据索引更新单元,用于在解析结果为用于表征指令语义的兼容对象时,响应于更新指令根据指令语义对主数据索引中的元数据进行更新;其中,指令语义对应于更新指令。
[0047]在一个实施例中,基于前述方案,兼容对象还用于表征更新指令对应的指令语言,数据索引更新单元,具体用于在响应于更新指令根据指令语义对主数据索引中的元数据进行更新之前,若指令语言为数据库定义语言,则响应于更新指令根据指令语义对主数据索引中的元数据进行更新;
[0048]上述装置还包括:
[0049]指令处理单元,用于在指令语言为数据库操作语言时,忽略更新指令。
[0050]在一个实施例中,基于前述方案,数据索引更新单元响应于更新指令根本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种元数据更新方法,其特征在于,包括:当接收到元数据更新消息时,读取所述元数据更新消息中的版本信息和引擎信息;其中,所述版本信息和所述引擎信息用于表征所述元数据更新消息的来源;从多种解析文件中选取与所述版本信息和所述引擎信息均匹配的目标解析文件;通过所述目标解析文件解析所述元数据更新消息中的更新指令,得到解析结果;若所述解析结果为用于表征指令语义的兼容对象,则响应于所述更新指令根据所述指令语义对主数据索引中的元数据进行更新;其中,所述指令语义对应于所述更新指令。2.根据权利要求1所述的方法,其特征在于,所述兼容对象还用于表征所述更新指令对应的指令语言,响应于所述更新指令根据所述指令语义对主数据索引中的元数据进行更新之前,所述方法还包括:若所述指令语言为数据库定义语言,则执行所述的响应于所述更新指令根据所述指令语义对主数据索引中的元数据进行更新;若所述指令语言为数据库操作语言,则忽略所述更新指令。3.根据权利要求1所述的方法,其特征在于,响应于所述更新指令根据所述指令语义对主数据索引中的元数据进行更新,包括:若所述更新指令用于表示删除目标二级字段,则删除所述主数据索引中的所述目标二级字段;若所述更新指令用于表示创建目标二级字段,则在所述主数据索引中创建所述目标二级字段;若所述更新指令用于表示更新目标字段,则更新所述主数据索引中的所述目标字段。4.根据权利要求1所述的方法,其特征在于,在接收到所述元数据更新消息之后,所述方法还包括:将所述元数据更新消息存储于预设存储空间中;在所述解析结果为所述兼容对象时,判定所述解析结果用于表示解析成功并删除所述预设存储空间中的所述元数据更新消息。5.根据权利要求4所述的方法,其特征在于,若所述解析结果用于表示解析失败,所述方法还包括:获取所述预设存储空间中包含所述元数据更新消息的消息集合;根据所述消息集合更新备份索引中的待更新元数据,得到更新后的备份索引;将所述更新后的备份索引确定为新的主数据索引,将原来的主数据索引确定...

【专利技术属性】
技术研发人员:余利华郭忆杨正伟汪源
申请(专利权)人:网易杭州网络有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1