图数据的更新方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:23932697 阅读:36 留言:0更新日期:2020-04-25 02:02
本发明专利技术实施例公开了一种图数据的更新方法、装置、计算机设备及存储介质,其中该方法包括:接收待更新数据;根据分类信息确定所述待更新数据的优先级类别;按照所述优先级类别对应的更新方式,对所述待更新数据进行处理,以实现图数据的更新。本发明专利技术实施例对图数据进行更新优先级的分类,针对不同类别的数据采用不同的更新机制,减少检索开销,提高更新效率,并且在保证高优数据更新效率的同时,也能保证低优数据的更新完备性,以达到最终一致性。

Figure data updating method, device, computer equipment and storage medium

【技术实现步骤摘要】
图数据的更新方法、装置、计算机设备及存储介质
本专利技术实施例涉及图数据更新技术,尤其涉及一种图数据的更新方法、装置、计算机设备及存储介质。
技术介绍
在互联网大数据发展背景下,很多数据之间存在关联,这些关联数据一般以图结构的形式进行存储,在图结构中,将实体作为点数据,将实体之间的关系作为边数据。随着新增业务数据的生成,已存的图数据可能会发生变化,因此需要对已存的图数据进行更新。对于社交网络、知识图谱、关联关系等复杂场景,图数据规模较大,更新起来比较复杂。目前图数据的更新方案如下:(1)基于点/边结构的更新机制,在图结构中对待更新的点或边进行检索,若检索到,则进行更新。该方案更新效率低,尤其对于关系边的更新,若两点之间存在多条边,则存在多次检索开销,因此该方案不适用于大规模数据的更新,例如不适合GB以上规模的数据。(2)基于LRU(LeastRecentlyUsed,最近最少使用)的数据淘汰更新,即按照固定的淘汰时间定期删除最近最少使用的数据。该方案针对全量数据进行更新,并且,对于稳定数据(如身份证与户籍信息这种长时间不变的数据),在确保资源未淘汰前也要定期对全量数据进行更新,更新开销较大。
技术实现思路
本专利技术实施例提供一种图数据的更新方法、装置、计算机设备及存储介质,以减少检索开销,提高更新效率。第一方面,本专利技术实施例提供了一种图数据的更新方法,包括:接收待更新数据;根据分类信息确定所述待更新数据的优先级类别;按照所述优先级类别对应的更新方式,对所述待更新数据进行处理,以实现图数据的更新。第二方面,本专利技术实施例还提供了一种图数据的更新装置,包括:数据接收模块,用于接收待更新数据;类别确定模块,用于根据分类信息确定所述待更新数据的优先级类别;数据更新模块,用于按照所述优先级类别对应的更新方式,对所述待更新数据进行处理,以实现图数据的更新。第三方面,本专利技术实施例还提供了一种计算机设备,所述计算机设备包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本专利技术任意实施例所述的图数据的更新方法。第四方面,本专利技术实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本专利技术任意实施例所述的图数据的更新方法。本专利技术实施例的技术方案,对图数据进行更新优先级的分类,针对不同类别的数据采用不同的更新机制,减少检索开销,提高更新效率,并且在保证高优数据更新效率的同时,也能保证低优数据的更新完备性,以达到最终一致性。附图说明图1是本专利技术实施例一提供的图数据的更新方法的流程图;图2是本专利技术实施例二提供的第一优先级类别对应的更新方式的流程图;图3是本专利技术实施例三提供的第二优先级类别对应的更新方式的流程图;图4是本专利技术实施例五提供的图数据的更新装置的结构示意图;图5是本专利技术实施例六提供的计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本专利技术,而非对本专利技术的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一提供的图数据的更新方法的流程图,本实施例可适用于对已有的图数据(即以图结构形式存储的数据)进行更新的情况,该方法可以由图数据的更新装置来执行,该装置可以由软件和/或硬件来实现,一般可集成在具备计算处理功能的计算机设备中。如图1所示,该方法具体包括:S110,接收待更新数据。其中,基于图数据的业务平台一般包括处理环节和存储环节,处理环节用于进行业务处理并生成业务数据,存储环节用于根据业务数据更新已有的图,例如,用户A向用户B转账,会产生相应的业务数据,这个新的业务数据需要存储到已有的图中;又如,用户C的户籍地址发生变化,会产生相应的业务数据,根据这个业务数据对图中已有的相应数据进行更新。待更新数据是指经过处理环节处理后的流转到存储环节的业务数据。S120,根据分类信息确定所述待更新数据的优先级类别。S130,按照所述优先级类别对应的更新方式,对所述待更新数据进行处理,以实现图数据的更新。本实施例中,优先级类别是指数据更新的优先级,例如,银行卡和持有人之间是稳定关系,但其具体的银行流水、银行卡余额等数据需要实时更新,则这类数据的优先级类别较高;用户与WIFI的连接经常变化,没有必要实时对图数据进行更新,这类数据的优先级类别较低。分类信息是按照预设规则对图中已有的图数据进行分类后,得到的图数据与优先级类别的对应关系。分类信息随着图中数据的变化而变化,例如,图中新增了数据,则分类信息中也要添加该新数据与优先级类别的对应关系。不同的优先级类别对应不同的更新方式,以进行针对性的更新处理,从而提高更新效率。可选的,根据分类信息确定所述待更新数据的优先级类别,包括:在所述分类信息中查找与所述待更新数据匹配的数据;若查找到与所述待更新数据匹配的数据,则将所述匹配的数据的优先级类别确定为所述待更新数据的优先级类别;若未查找到与所述待更新数据匹配的数据,则将所述待更新数据添加到图中,按照预设规则确定所述待更新数据的优先级类别,并将所述待更新数据及其优先级类别的对应关系存储到所述分类信息中。本可选实施方式中,若待更新数据为图中没有的数据,则将其添加到图中,并存储该待更新数据的分类信息,以保证后续更新时能够及时获取此数据的优先级类别。可选的,在接收待更新数据之前,按照数据的更新频率和数据的规模对所述图数据进行分类,以确定各个图数据的优先级类别;存储各个图数据及其优先级类别的对应关系,作为所述分类信息。其中,按照数据更新频率的高低和数据规模的大小对图中已有的图数据进行分类,以得到分类信息。数据更新频率的高低反映数据的稳定程度,数据规模反映数据客观存在或者数据借助载体发生,按照这两个条件来进行数据的分类,进而对不同优先级类别以不同的更新方式进行更新,例如,稳定的数据实时更新,高频变化的数据定期删除更新。具体的,按照数据的更新频率和数据的规模对所述图数据进行分类,包括:若当前图数据的更新频率低于第一预设阈值且规模小于第二预设阈值,确定所述当前图数据属于第一优先级类别;若当前图数据的更新频率低于所述第一预设阈值且规模大于所述第二预设阈值,确定所述当前图数据属于第二优先级类别;若当前图数据的更新频率高于所述第一预设阈值且规模大于所述第二预设阈值,确定所述当前图数据属于第三优先级类别。其中,第一优先级类别的更新优先级高于第二优先级类别,第二优先级类别的更新优先级高于第三优先级类别。根据数据的更新频率可以将数据分为:稳定关系数据和高频关系数据。稳定关系是指两实体间的关系相对稳定,更新频次低,例如,本文档来自技高网...

【技术保护点】
1.一种图数据的更新方法,其特征在于,包括:/n接收待更新数据;/n根据分类信息确定所述待更新数据的优先级类别;/n按照所述优先级类别对应的更新方式,对所述待更新数据进行处理,以实现图数据的更新。/n

【技术特征摘要】
1.一种图数据的更新方法,其特征在于,包括:
接收待更新数据;
根据分类信息确定所述待更新数据的优先级类别;
按照所述优先级类别对应的更新方式,对所述待更新数据进行处理,以实现图数据的更新。


2.根据权利要求1所述的方法,其特征在于,在接收待更新数据之前,还包括:
按照数据的更新频率和数据的规模对所述图数据进行分类,以确定各个图数据的优先级类别;
存储各个图数据及其优先级类别的对应关系,作为所述分类信息。


3.根据权利要求2所述的方法,其特征在于,按照数据的更新频率和数据的规模对所述图数据进行分类,包括:
若当前图数据的更新频率低于第一预设阈值且规模小于第二预设阈值,确定所述当前图数据属于第一优先级类别;
若当前图数据的更新频率低于所述第一预设阈值且规模大于所述第二预设阈值,确定所述当前图数据属于第二优先级类别;
若当前图数据的更新频率高于所述第一预设阈值且规模大于所述第二预设阈值,确定所述当前图数据属于第三优先级类别。


4.根据权利要求1所述的方法,其特征在于,根据分类信息确定所述待更新数据的优先级类别,包括:
在所述分类信息中查找与所述待更新数据匹配的数据;
若查找到与所述待更新数据匹配的数据,则将所述匹配的数据的优先级类别确定为所述待更新数据的优先级类别;
若未查找到与所述待更新数据匹配的数据,则将所述待更新数据添加到图中,按照预设规则确定所述待更新数据的优先级类别,并将所述待更新数据及其优先级类别的对应关系存储到所述分类信息中。


5.根据权利要求1所述的方法,其特征在于,若所述待更新数据的优先级类别为第一优先级类别,按照所述优先级类别对应的更新方式,对所述待更新数据进行处理,包括:
若所述待更新数据是点数据,从预存索引信息中获取所述点数据的索引地址,按照所述点数据的索引地址在图中查找相应的点,并根据所述点数据更新该点的属性信息;
若所述待更新数据是边数据,从所述预存索引信息中获取所述边数据的出度点的索引地址和入度点的索引地址,确定所述出度点和所述入度点之间存在唯一的边,按照所述出度点的索引地址和所述入度点的索引地址在图中查找所述出度点与所述入度点之间的边,并根据所述边数据更新该边的属性信息。


6.根据权利要求5所述的方法,其特征在于,
从预存索引信息中获取所述点数据的索引地址,包括:
若从所述预存索引信息中获取不到所述点数据的索引地址,则输出第一异常消息;
从所述预存索引信息中获取所述边数据的出度点的索引地址和入度点的索引地址,包括:
若从所述预存索引信息中获取不到所述出度点的索引地址或所述入度点的索引地址,则输出第二异常消息;
按照所述出度点的索引地址和所述入度点的索引地址在图中查找所述出度点与所述入度点之间的边,包括:
若图中查找不到所述出度点与所述入度点之间的边,则根据所述边数据在图中插入该边。


7.根据权利要求1所述的方法,其特征在于,若所述待更新数据的优先级类别为第二优先级类别,按照所述优先级类别对应的更新方式,对所述待更新数据进行处理,包括:
确定所述待更新数据命中缓存中缓存的更新数据;
根据所述待更新数据更新所述缓存中的相应数据;
通过轮询将所述缓存中满足写入条件的更新数据写入到图中,覆盖所述图中相应的原数据。


8.根据权...

【专利技术属性】
技术研发人员:张阳谢奕刘畅
申请(专利权)人:百度在线网络技术北京有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1