一种图谱的增量更新方法、装置及系统制造方法及图纸

技术编号:29133076 阅读:34 留言:0更新日期:2021-07-02 22:28
本发明专利技术公开一种图谱的增量更新方法、装置及系统,属于数据处理技术领域。其中方法包括:根据全量数据构建第一图谱;识别第一图谱中带有增量标记的节点,获取增量数据;根据增量数据进行节点的增量计算;若增量计算执行不成功,则记录相应节点的增量标记生成增量计算配置文件,以便下次增量计算时读取增量计算配置文件,根据其中的增量标记重新执行相应节点的增量计算,若增量计算执行成功,则生成与节点对应的增量计算结果,并将增量计算结果更新到图谱平台根据全量数据构建的第二图谱中。本发明专利技术能够弥补现有技术中的图谱平台不具备进行大规模计算功能导致的无法进行及时增量更新图谱的缺陷,使得图谱平台可以根据增量技术结果及时更新图谱。

【技术实现步骤摘要】
一种图谱的增量更新方法、装置及系统
本专利技术涉及数据处理
,特别涉及一种图谱的增量更新方法、装置及系统。
技术介绍
图谱是以图的结构存储和管理数据的数据库,其将数据通过节点、边和属性进行表示和存储。目前图谱存储数据的方式主要分为两种:一种是将原生的图结构优化后直接存储,即原生图存储,另一种是将图数据进行序列化后存储到关系型数据库中。其中原生图存储是图谱主要存储数据的形式,现有技术中对于原生图存储方式的图谱的更新可以通过全量更新和增量更新完成,然而全量更新占用系统的运行能力较大,增量更新仅支持增删改查,无法做到大规模的增量计算。此外,现有技术中的图谱管理平台无法对图谱的实时更新和计算,只能定期通过离线计算在输入至管理平台,使得图谱具有一定的信息滞后性。
技术实现思路
为了解决现有技术的问题,本专利技术实施例提供了一种图谱的增量更新方法、装置及系统。所述技术方案如下:第一方面,提供了一种图谱的增量更新方法,所述方法包括:根据全量数据构建第一图谱;识别所述第一图谱中带有增量标记的节点,获取增量数据;本文档来自技高网...

【技术保护点】
1.一种图谱的增量更新方法,其特征在于,包括:/n根据全量数据构建第一图谱;/n识别所述第一图谱中带有增量标记的节点,获取增量数据;/n根据所述增量数据进行节点的增量计算;/n若增量计算执行不成功,则记录相应节点的所述增量标记生成增量计算配置文件,以便下次增量计算时读取所述增量计算配置文件,根据其中的所述增量标记重新执行相应节点的增量计算,/n若增量计算执行成功,则生成与节点对应的增量计算结果,并将所述增量计算结果更新到图谱平台根据所述全量数据构建的第二图谱中。/n

【技术特征摘要】
1.一种图谱的增量更新方法,其特征在于,包括:
根据全量数据构建第一图谱;
识别所述第一图谱中带有增量标记的节点,获取增量数据;
根据所述增量数据进行节点的增量计算;
若增量计算执行不成功,则记录相应节点的所述增量标记生成增量计算配置文件,以便下次增量计算时读取所述增量计算配置文件,根据其中的所述增量标记重新执行相应节点的增量计算,
若增量计算执行成功,则生成与节点对应的增量计算结果,并将所述增量计算结果更新到图谱平台根据所述全量数据构建的第二图谱中。


2.如权利要求1所述的方法,其特征在于,所述增量标记为表示所述增量数据获取时间的时间戳。


3.如权利要求1所述的方法,其特征在于,所述方法还包括:
若下次增量计算时根据所述增量计算配置文件重新执行的增量计算成功,则清空所述增量计算配置文件中的所述增量标记。


4.如权利要求1~3中任一项所述的方法,其特征在于,所述根据全量数据构建第一图谱,包括:
从数据源获取所述全量数据,所述全量数据中包含带有所述增量标记的所述增量数据;
根据所述全量数据生成包含节点和节点间关系的数据文件;
根据所述数据文件构建所述第一图谱,并根据所述增量数据对所述第一图谱中节点设置增量标记。


5.如权利要求4所述的方法,其特征在于,所述将所述增量结果写入图谱平台根据所述全量数据构建的第二图谱中,包括:
对比所述第一图谱和所述第二图谱中节点对应的数据源地址,根据对比结果确定所述第二图谱中与所述第一图谱相对应的节点,将所述增量计算结果更新到所述第二图谱的相对应的节点中。


6.一种图谱的增量更新装置,其特征在于,包括:
图谱构建模块,用于根据...

【专利技术属性】
技术研发人员:刘鹏程褚哲
申请(专利权)人:苏宁金融科技南京有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1