一种分布式的图数据库与图计算系统间的数据传输方法技术方案

本申请涉及一种分布式的图数据库与图计算系统间的数据传输方法，其中，该方法包括：通过图数据库系统获取图数据和数据读写请求；设置多种数据传输方式，通过多种数据传输方式将图数据和数据读写请求传输到图计算系统中。通过本申请，解决了关于如何结合分布式图数据库与分布式图计算，使得用户能在同一个大规模数据集上，进行实时的读写和计算的问题。进行实时的读写和计算的问题。进行实时的读写和计算的问题。

【技术实现步骤摘要】
一种分布式的图数据库与图计算系统间的数据传输方法


[0001]本申请涉及图数据库领域，特别是涉及一种分布式的图数据库与图计算系统间的数据传输方法。

技术介绍

[0002]随着大数据和人工智能的迅猛发展，超大规模关系网络逐步在社交推荐、风险控制、物联网、区块链、安全防控领域被广泛使用，而作为这些应用的技术基石之一，大规模分布式关系网络的存储和计算平台越来越受到学术界和工业界的关注。其中，主要涉及到的包括图数据库和图计算，两者均用于处理图数据。然而，由于图数据系统和图计算系统的设计目标和模式有很大的不同，因此，传统上都采用各自独立部署的方式。直到最近，有些产品才开始尝试提供一站式的集成服务。例如，Neo4j可以在单机上提供图数据库和图计算系统，两者之间可通过一个ETL过程，将图数据库中的数据抽取到内存中，然后进行图计算。
[0003]然而，在相关技术中，现有的一些方案，如Neo4j，只能用于实现分布式的图数据库系统和单机的图计算系统的联合，而如果采用这种联合方式，图计算系统只能处理远比其图数据库系统小很多的数据量，处理能力比较局限。另一些方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式的图数据库与图计算系统间的数据传输方法，其特征在于，所述方法包括：通过图数据库系统获取图数据和数据读写请求；设置多种数据传输方式，通过所述多种数据传输方式将所述图数据和所述数据读写请求传输到图计算系统中。2.根据权利要求1所述的方法，其特征在于，所述设置多种数据传输方式包括：第一传输：通过查询Nebula Graph存储层的多个分片和副本，扫描获取数据，将数据传输到对应的图计算系统中；第二传输：通过预设方式设置过滤参数，在Nebula Graph的存储层对数据的图属性进行过滤处理，过滤后的数据传输到图计算系统中；第三传输：通过Nebula Graph的listener或job的方式，将增量数据传输到图计算系统中；第四传输：获取Nebula Graph的查询层接口，通过所述接口向查询层发送查询语句，在Nebula Graph的计算层通过所述查询语句对数据进行过滤处理，过滤后的数据传输到图计算系统中。3.根据权利要求2所述的方法，其特征在于，所述通过查询Nebula Graph存储层的多个分片和副本，扫描获取数据包括：获取查询请求，根据底层存储节点的权重将不同的查询任务发送到对应的节点上，并在节点上扫描多个分片和副本；扫描时通过scan接口获取key
‑
value值，并在对应分片上读取查询结果。4.根据权利要求2所述的方法，其特征在于，所述通过预设方式设置过滤参数，在Nebula Graph的存储层对数据的图属性进行过滤处理包括：通过SparkConnector的接口，设置过滤参数，对传输数据的图属性进行限定，并将全量数据导出并转换，通过filter函数筛选过滤数据；或者根据Nebula Graph中的job方式，在数据接口中加入filter函数，设置过滤属性和过滤条件，筛选数据。5.根据权利要求1
‑
4任...

【专利技术属性】
技术研发人员：吴敏，梁振亚，周瑶，王辰光，岳通，叶小萌，
申请(专利权)人：杭州悦数科技有限公司，
类型：发明
国别省市：