一种海量网络数据环境下的元数据同步方法及系统技术方案

技术编号:15219421 阅读:102 留言:0更新日期:2017-04-26 16:35
本发明专利技术实施例提供了一种海量网络数据环境下的元数据同步方法及系统,所述方法包括:中心节点服务器中的元数据库表内的元数据由第一稳定版本号更新为第二稳定版本号后,向子节点管理设备发送通知消息;其中,所述第二稳定版本号高于所述第一稳定版本号;所述子节点管理设备接收到所述通知消息后,从所述中心节点服务器中获取所述元数据库表,所述元数据库表内的元数据的版本号为所述第二稳定版本号;子节点管理设备将所获取的元数据库表发送给子节点服务器,以使所述中心节点服务器及所述子节点服务器的元数据库表内的元数据同步。本发明专利技术实施例,使得元数据同步系统中的元数据库表内的元数据及时同步。

Method and system for synchronizing metadata in massive network data environment

The embodiment of the invention provides a system and a metadata synchronization method of massive network data environment, the method includes: a central server node in the database table in the metadata element by the first stable version number is updated to second stable version number, node management equipment to send notification messages; wherein, the version number is stable the second is higher than the first stable version number; the node management device receives the notification message after obtaining the meta database table from the central node server, metadata the meta database tables the version number for the second stable version number; the node management device the element database table sent to the node server, database metadata table in synchronization to enable the central server node and the node server. The embodiment of the invention enables the metadata in the metadata table in the metadata synchronization system to be synchronized in time.

【技术实现步骤摘要】

本专利技术涉及计算机
,特别是涉及一种海量网络数据环境下的元数据同步方法及系统。
技术介绍
元数据,广义上泛指一切基础资源数据。在元数据管理领域,已经有一些相对成熟的管理方案被应用到不同背景、存储不同类型数据、对数据精确度要求各有不同的元数据管理系统中。目前,元数据管理的方法主要包括:元数据库表的维护人员根据元数据的变化,对中心节点服务器中存储的元数据库表的元数据进行增加、删除、修改、查询等操作,地方管理员以预设周期从中心节点服务器中下载元数据库表,并将下载的元数据库表存储到子节点服务器;当使用者需要获得子节点服务器中的元数据库表时,从子节点服务器中获取元数据库表,并进行数据分析。可见,当维护人员对元数据库表的元数据进行增加、删除、修改、查询等操作后,地方管理员以预设周期获得元数据库表,当预设周期的时间间隔比较长时,地方管理员不能及时获得最新版本的元数据库表,导致子节点服务器中的元数据库表与中心节点服务器中的元数据库表中的元数据不一致。
技术实现思路
本专利技术实施例的目的在于提供一种海量网络数据环境下的元数据同步方法系统,以实现元数据同步系统中的元数据库表中的元数据及时同步。具体技术方案如下:一方面,本专利技术实施例公开了一种海量网络数据环境下的元数据同步方法,应用于元数据同步系统,所述元数据同步系统包括:中心节点服务器、子节点服务器及子节点管理设备,所述方法包括:所述中心节点服务器中的元数据库表内的元数据由第一稳定版本号更新为第二稳定版本号后,向所述子节点管理设备发送通知消息;其中,所述第二稳定版本号高于所述第一稳定版本号;所述子节点管理设备接收到所述通知消息后,从所述中心节点服务器中获取所述元数据库表,所述元数据库表内的元数据的版本号为所述第二稳定版本号;所述子节点管理设备将所获取的元数据库表发送给子节点服务器,以使所述中心节点服务器及所述子节点服务器的元数据库表内的元数据同步。可选的,在所述中心节点服务器中的元数据库表内的元数据由第一稳定版本号更新为第二稳定版本号之前,所述方法还包括:所述中心节点服务器中的元数据库表内的第一元数据更新为第二元数据后,所述中心节点服务器将所述第一元数据的第一临时版本号更新为第二临时版本号,其中,所述第一元数据为:具有第一稳定版本号的元数据,所述第二临时版本号高于所述第一临时版本号。可选的,在所述中心节点服务器将所述第一元数据的第一临时版本号更新为第二临时版本号之后,所述方法还包括:所述中心节点服务器向中心管理设备发送认证请求;所述中心节点服务器中的元数据库表内的元数据由第一稳定版本号更新为第二稳定版本号,包括:在所述中心管理设备接收所述认证请求时,所述中心管理设备向所述中心节点服务器发送第一消息,其中,所述第一消息为接收所述第一元数据更新为所述第二元数据的消息;所述中心节点服务器根据所述第一消息,将所述元数据库表内的元数据由所述第一稳定版本号更新为所述第二稳定版本号。可选的,所述中心节点服务器中的元数据库表内的元数据由第一稳定版本号更新为第二稳定版本号之前,所述方法还包括:在所述中心管理设备接收所述认证请求时,所述中心管理设备向所述中心节点服务器发送第二消息,其中,所述第二消息为拒绝所述第一元数据更新为所述第二元数据的消息;所述中心管理设备根据所述第二消息,保持所述元数据表内的元数据的第一稳定版本号,将所述第二元数据更新为所述第一元数据。可选的,在所述将所述元数据库表内的元数据由所述第一稳定版本号更新为所述第二稳定版本号之后,所述方法还包括:所述中心节点服务器将所述第一元数据由所述第二临时版本号设置为初始临时版本号,其中,所述初始临时版本号为更新所述第一元数据之前,该第一元数据的临时版本号,所述初始临时版本号的值为预设值;在所述中心节点服务器保持所述元数据库表内的元数据的第一稳定版本号之后,所述方法还包括:所述中心节点服务器将所述第一元数据由所述第二临时版本号更新为所述初始临时版本号。可选的,所述方法还包括:所述子节点服务器检测到用户通过终端设备访问所述子节点服务器时,在已存储的第一日志信息库表中记录所述用户操作所述终端设备的操作信息;所述操作信息包括:登录时间、退出时间、登录网际协议地址IP;所述中心管理设备获取所述子节点服务器中的所述第一日志信息库表;所述中心管理设备将所述第一日志信息库表发送给所述中心节点服务器,以使所述中心节点服务器及所述子节点服务器的第一日志信息库表的操作信息同步。可选的,所述方法还包括:所述子节点管理设备向所述终端设备分配用户名和密码,以使所述用户根据所述用户名和密码,通过所述终端设备访问所述子节点服务器;所述子节点服务器接收到用户通过所述终端设备访问所述子节点服务器的访问请求时,在所述子节点服务器中的用户账户信息库表匹配所述用户名和密码;在所述用户名与所述用户账户信息库表中的用户名匹配,所述密码与所述用户账户信息库表中的密码匹配时,所述子节点服务器接收所述访问请求;其中,所述访问请求携带有所述用户名和密码;所述中心管理设备获取所述子节点服务器中的所述用户账户信息库表,并将所述用户账户信息库表发送给所述中心节点服务器,以使所述中心节点服务器及所述子节点服务器的用户账户信息库表同步。可选的,在所述中心节点服务器中的元数据库表内的第一元数据更新为第二元数据后,所述方法还包括:所述中心节点服务器在已存储的第二日志信息库表中记录所述第一元数据更新为所述第二元数据的更新信息;所述更新信息包括:更新时间、更新IP地址。另一方面,本专利技术实施例还公开了一种海量网络数据环境下的元数据同步系统,所述系统包括:中心节点服务器、子节点管理设备以及子节点服务器;其中,所述中心节点服务器,用于更新所述元数据库表内的元数据的临时版本号及稳定版本号;以及,用于向所述子节点管理设备发送通知消息;以及,用于更新第二日志信息库表;所述子节点管理设备,用于接收所述中心节点服务器发送的通知消息,根据所述通知消息,从所述中心节点服务器中获取所述元数据库表;以及,用于向所述子节点服务器导入所述元数据库表;以及,用于从所述子节点服务器获取第一日志信息库表及用户账户信息库表,向所述中心节点服务器导入所述第一日志信息库表以及所述用户账户信息库表;所述子节点服务器,用于存储所述元数据库表;以及,用于存储并更新所述第一日志信息库表以及所述用户账户信息库表。可选的,所述系统具体还用于,在所述中心节点服务器中的元数据库表内的第一元数据更新为第二元数据后,所述中心节点服务器将所述第一元数据的第一临时版本号更新为第二临时版本号。本专利技术实施例提供的一种海量网络数据环境下的元数据同步方法及系统,其中,该方法包括:当元数据同步系统中,中心节点服务器中的元数据库表内的元数据的稳定版本号更新时,向子节点管理设备发送通知消息,以使子节点管理设备从中心节点服务器中,获得元数据更新后的元数据库表,在子节点管理设备获得该元数据库表后,向子节点服务器导入元数据库表,这样,子节点服务器中的元数据库表内的元数据和中心节点服务器中的元数据库表内的元数据一样。因此,通过本方案当元数据库表内的元数据的稳定版本有所更新时,用户可以及时获取到元数据库表内的更新的稳定版本的元数据,子节点服务器和中心节点服务器之间的同时存储了元本文档来自技高网...

【技术保护点】
一种海量网络数据环境下的元数据同步方法,其特征在于,应用于元数据同步系统,所述元数据同步系统包括:中心节点服务器、子节点服务器及子节点管理设备,所述方法包括:所述中心节点服务器中的元数据库表内的元数据由第一稳定版本号更新为第二稳定版本号后,向所述子节点管理设备发送通知消息;其中,所述第二稳定版本号高于所述第一稳定版本号;所述子节点管理设备接收到所述通知消息后,从所述中心节点服务器中获取所述元数据库表,所述元数据库表内的元数据的版本号为所述第二稳定版本号;所述子节点管理设备将所获取的元数据库表发送给子节点服务器,以使所述中心节点服务器及所述子节点服务器的元数据库表内的元数据同步。

【技术特征摘要】
1.一种海量网络数据环境下的元数据同步方法,其特征在于,应用于元数据同步系统,所述元数据同步系统包括:中心节点服务器、子节点服务器及子节点管理设备,所述方法包括:所述中心节点服务器中的元数据库表内的元数据由第一稳定版本号更新为第二稳定版本号后,向所述子节点管理设备发送通知消息;其中,所述第二稳定版本号高于所述第一稳定版本号;所述子节点管理设备接收到所述通知消息后,从所述中心节点服务器中获取所述元数据库表,所述元数据库表内的元数据的版本号为所述第二稳定版本号;所述子节点管理设备将所获取的元数据库表发送给子节点服务器,以使所述中心节点服务器及所述子节点服务器的元数据库表内的元数据同步。2.根据权利要求1所述的方法,其特征在于,在所述中心节点服务器中的元数据库表内的元数据由第一稳定版本号更新为第二稳定版本号之前,所述方法还包括:所述中心节点服务器中的元数据库表内的第一元数据更新为第二元数据后,所述中心节点服务器将所述第一元数据的第一临时版本号更新为第二临时版本号,其中,所述第一元数据为:具有第一稳定版本号的元数据,所述第二临时版本号高于所述第一临时版本号。3.根据权利要求2所述的方法,其特征在于,在所述中心节点服务器将所述第一元数据的第一临时版本号更新为第二临时版本号之后,所述方法还包括:所述中心节点服务器向中心管理设备发送认证请求;所述中心节点服务器中的元数据库表内的元数据由第一稳定版本号更新为第二稳定版本号,包括:在所述中心管理设备接收所述认证请求时,所述中心管理设备向所述中心节点服务器发送第一消息,其中,所述第一消息为接收所述第一元数据更新为所述第二元数据的消息;所述中心节点服务器根据所述第一消息,将所述元数据库表内的元数据由所述第一稳定版本号更新为所述第二稳定版本号。4.根据权利要求1或3所述的方法,其特征在于,所述中心节点服务器中的元数据库表内的元数据由第一稳定版本号更新为第二稳定版本号之前,所述方法还包括:在所述中心管理设备接收所述认证请求时,所述中心管理设备向所述中心节点服务器发送第二消息,其中,所述第二消息为拒绝所述第一元数据更新为所述第二元数据的消息;所述中心管理设备根据所述第二消息,保持所述元数据表内的元数据的第一稳定版本号,将所述第二元数据更新为所述第一元数据。5.根据权利要求4所述的方法,其特征在于,在所述将所述元数据库表内的元数据由所述第一稳定版本号更新为所述第二稳定版本号之后,所述方法还包括:所述中心节点服务器将所述第一元数据由所述第二临时版本号设置为初始临时版本号,其中,所述初始临时版本号为更新所述第一元数据之前,该第一元数据的临时版本号,所述初始临时版本号的值为预设值;在所述中心节点服务器保持所述元数据库表内的元数据的第一稳定版本号之后,所述方法还包括:所述中心节点服务...

【专利技术属性】
技术研发人员:刘军常思源刘芳乔媛媛
申请(专利权)人:北京邮电大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1