一种图谱的增量更新方法、装置及系统制造方法及图纸

本发明专利技术公开一种图谱的增量更新方法、装置及系统，属于数据处理技术领域。其中方法包括：根据全量数据构建第一图谱；识别第一图谱中带有增量标记的节点，获取增量数据；根据增量数据进行节点的增量计算；若增量计算执行不成功，则记录相应节点的增量标记生成增量计算配置文件，以便下次增量计算时读取增量计算配置文件，根据其中的增量标记重新执行相应节点的增量计算，若增量计算执行成功，则生成与节点对应的增量计算结果，并将增量计算结果更新到图谱平台根据全量数据构建的第二图谱中。本发明专利技术能够弥补现有技术中的图谱平台不具备进行大规模计算功能导致的无法进行及时增量更新图谱的缺陷，使得图谱平台可以根据增量技术结果及时更新图谱。

【技术实现步骤摘要】
一种图谱的增量更新方法、装置及系统
本专利技术涉及数据处理
，特别涉及一种图谱的增量更新方法、装置及系统。
技术介绍
图谱是以图的结构存储和管理数据的数据库，其将数据通过节点、边和属性进行表示和存储。目前图谱存储数据的方式主要分为两种：一种是将原生的图结构优化后直接存储，即原生图存储，另一种是将图数据进行序列化后存储到关系型数据库中。其中原生图存储是图谱主要存储数据的形式，现有技术中对于原生图存储方式的图谱的更新可以通过全量更新和增量更新完成，然而全量更新占用系统的运行能力较大，增量更新仅支持增删改查，无法做到大规模的增量计算。此外，现有技术中的图谱管理平台无法对图谱的实时更新和计算，只能定期通过离线计算在输入至管理平台，使得图谱具有一定的信息滞后性。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种图谱的增量更新方法、装置及系统。所述技术方案如下：第一方面，提供了一种图谱的增量更新方法，所述方法包括：根据全量数据构建第一图谱；识别所述第一图谱中带有增量标记的节点，获取增量数据；根据所述增量数据进行节点的增量计算；若增量计算执行不成功，则记录相应节点的所述增量标记生成增量计算配置文件，以便下次增量计算时读取所述增量计算配置文件，根据其中的所述增量标记重新执行相应节点的增量计算，若增量计算执行成功，则生成与节点对应的增量计算结果，并将所述增量计算结果更新到图谱平台根据所述全量数据构建的第二图谱中。进一步地，所述增量标记为表示所述增量数据获取时间的时间戳。进一步地，所述方法还包括：若下次增量计算时根据所述增量计算配置文件重新执行的增量计算成功，则清空所述增量计算配置文件中的所述增量标记。进一步地，所述根据全量数据构建第一图谱，包括：从数据源获取所述全量数据，所述全量数据中包含带有所述增量标记的所述增量数据；根据所述全量数据生成包含节点和节点间关系的数据文件；根据所述数据文件构建所述第一图谱，并根据所述增量数据对所述第一图谱中节点设置增量标记。进一步地，所述将所述增量结果写入图谱平台根据所述全量数据构建的第二图谱中，包括：对比所述第一图谱和所述第二图谱中节点对应的数据源地址，根据对比结果确定所述第二图谱中与所述第一图谱相对应的节点，将所述增量计算结果更新到所述第二图谱的相对应的节点中。第二方面，提供了一种图谱的增量更新装置，所述装置包括：图谱构建模块，用于根据全量数据构建第一图谱；增量识别模块，用于识别所述第一图谱中带有增量标记的节点，获取增量数据；计算模块，用于根据所述增量数据进行节点的增量计算，当增量计算执行不成功时，记录相应节点的所述增量标记生成增量计算配置文件，当增量计算执行成功时，生成与节点对应的增量计算结果，以及下次增量计算时读取所述增量计算配置文件，根据其中的所述增量标记重新对相应节点执行增量计算；更新模块，用于将所述增量计算结果更新到图谱平台根据所述全量数据构建的第二图谱中。进一步地，所述增量标记为表示所述增量数据获取时间的时间戳。进一步地，所述计算模块，还用于若下次根据增量计算配置文件重新进行的增量计算执行成功，则清空增量计算配置文件中的增量标记。进一步地，图谱构建模块，包括：数据获取模块，用于从数据源获取全量数据，全量数据中包含带有增量标记的增量数据；数据文件生成模块，用于根据全量数据生成包含节点和节点间关系的数据文件；图谱生成模块，用于根据数据文件构建第一图谱，并接收根据增量数据对第一图谱中节点设置的增量标记。进一步地，所述更新模块，包括：节点确定模块，用于对比所述第一图谱和所述第二图谱中节点对应的数据源地址，根据对比结果确定所述第二图谱中与所述第一图谱相对应的节点；传输模块，用于将所述增量计算结果传输至所述第二图谱的相对应的节点中，进行所述第二图谱的更新。第三方面，提供了一种计算机系统，包括：一个或多个处理器；以及与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行上述第一方面任一项所述的方法。本专利技术实施例提供的技术方案带来的有益效果是：1、本专利技术公开的技术方案能够弥补现有技术中的图谱平台不具备进行大规模计算功能导致的无法进行及时增量更新图谱的缺陷，使得图谱平台可以根据增量技术结果及时更新图谱；2、本专利技术公开的技术方案在增量计算的同时生成增量计算配置文件，下次进行增量计算时通过读取增量计算配置文件即可对执行不成功的节点重新计算，实现了增量计算的可检测性；3、本专利技术公开的技术方案通过设置增量标记标明对应有增量数据的节点，在进行更新图谱时无需全量计算，仅需要对相应的节点进行增量计算即可，节省了运算能力，提高了计算效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的图谱的增量更新方法流程图；图2是本专利技术实施例提供的图谱的增量更新装置结构示意图；图3是本专利技术实施例提供的计算机系统结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。Neo4j是目前最流行的才用原生图存储的高性能NSQL图数据库，它将结构化数据存储在以节点和节点间关系形成的网络中。现有的Neo4j在对图谱管理的过程中不能支持实时的更新和计算，并且对于增量更新仅支持增删改查无法支持大规模的增量计算。为了解决上述技术问题，本专利技术实施例提供一种图谱的增量更新方法、装置及系统，具体技术方案如下：如图1所示，一种图谱的增量更新方法，包括：S1、根据全量数据构建第一图谱。上述，全量数据从外部数据源中获取，获取后将全量数据存储在Hive表中，通过加工抽取和转换导出结构化的数据文件，具体可以是csv文件。将数据文件存储至图谱平台(具体可以是Neo4j图数据库平台)以及离线计算平台，本专利技术实施例公开的技术方案即为针对离线计算平台而言。离线计算平台和图谱生成平台根据数据文件分别生成第一图谱和第二图谱。因此在一个实施例中，上述步骤S1包括：S11、从数据源中获取全量数据；S12、根据全量数据生成包含节点和节点关系的数据文件；S13、根据数据文件构建第一图谱，并根据增量数据对第一图谱中本文档来自技高网...

【技术保护点】
1.一种图谱的增量更新方法，其特征在于，包括：/n根据全量数据构建第一图谱；/n识别所述第一图谱中带有增量标记的节点，获取增量数据；/n根据所述增量数据进行节点的增量计算；/n若增量计算执行不成功，则记录相应节点的所述增量标记生成增量计算配置文件，以便下次增量计算时读取所述增量计算配置文件，根据其中的所述增量标记重新执行相应节点的增量计算，/n若增量计算执行成功，则生成与节点对应的增量计算结果，并将所述增量计算结果更新到图谱平台根据所述全量数据构建的第二图谱中。/n

【技术特征摘要】
1.一种图谱的增量更新方法，其特征在于，包括：
根据全量数据构建第一图谱；
识别所述第一图谱中带有增量标记的节点，获取增量数据；
根据所述增量数据进行节点的增量计算；
若增量计算执行不成功，则记录相应节点的所述增量标记生成增量计算配置文件，以便下次增量计算时读取所述增量计算配置文件，根据其中的所述增量标记重新执行相应节点的增量计算，
若增量计算执行成功，则生成与节点对应的增量计算结果，并将所述增量计算结果更新到图谱平台根据所述全量数据构建的第二图谱中。


2.如权利要求1所述的方法，其特征在于，所述增量标记为表示所述增量数据获取时间的时间戳。


3.如权利要求1所述的方法，其特征在于，所述方法还包括：
若下次增量计算时根据所述增量计算配置文件重新执行的增量计算成功，则清空所述增量计算配置文件中的所述增量标记。


4.如权利要求1～3中任一项所述的方法，其特征在于，所述根据全量数据构建第一图谱，包括：
从数据源获取所述全量数据，所述全量数据中包含带有所述增量标记的所述增量数据；
根据所述全量数据生成包含节点和节点间关系的数据文件；
根据所述数据文件构建所述第一图谱，并根据所述增量数据对所述第一图谱中节点设置增量标记。


5.如权利要求4所述的方法，其特征在于，所述将所述增量结果写入图谱平台根据所述全量数据构建的第二图谱中，包括：
对比所述第一图谱和所述第二图谱中节点对应的数据源地址，根据对比结果确定所述第二图谱中与所述第一图谱相对应的节点，将所述增量计算结果更新到所述第二图谱的相对应的节点中。


6.一种图谱的增量更新装置，其特征在于，包括：
图谱构建模块，用于根据...

【专利技术属性】
技术研发人员：刘鹏程，褚哲，
申请(专利权)人：苏宁金融科技南京有限公司，
类型：发明
国别省市：江苏;32