图数据库系统多源数据导入方法和装置制造方法及图纸

本申请涉及一种图数据库系统多源数据导入方法和装置，其中，该图数据库系统多源数据导入方法包括：根据预设的配置文件，读取多源数据，其中，该配置文件针对各个点或边配置项，均配置对应数据来源以及源数据系统信息；根据预设的配置文件，转换该多源数据，其中，该配置文件针对各个源数据的字段，均配置该字段与图数据库Schema属性信息的映射关系；写入转换后的数据至图数据库，并针对导入失败的数据进行重导入。通过本申请，解决了相关技术中大规模多源数据无法同时导入图数据库的问题，提高了多源数据导入图数据库的导入效率。多源数据导入图数据库的导入效率。多源数据导入图数据库的导入效率。

【技术实现步骤摘要】
图数据库系统多源数据导入方法和装置


[0001]本申请涉及计算机
，特别是涉及图数据库系统多源数据导入方法和装置。

技术介绍

[0002]随着大数据和人工智能的飞速发展，超大规模网络图在金融、风控、安防、推荐等领域有着广阔的应用空间和良好的发展前景，这激发了图网络数据的快速崛起。在图数据库的各个领域应用中，进行图应用的第一步便是对图进行大规模数据灌入，而在实际业务中进行图数据灌入时，数据来源多种多样。在相关技术中，大规模多源数据无法同时导入图数据库，如何进行大规模多源数据的快速同时导入图数据库，是在应用图数据库时需要重点解决的一项问题。
[0003]目前针对相关技术中大规模多源数据无法同时导入图数据库的问题，尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种图数据库系统多源数据导入方法和装置，以至少解决相关技术中大规模多源数据无法同时导入图数据库的问题。
[0005]第一方面，本申请实施例提供了一种图数据库系统多源数据导入方法，所述方法包括：根据预设的配置文件，读取多源数据，其中，所述配置文件针对各个点或边配置项，均配置对应数据来源以及源数据系统信息；根据预设的配置文件，转换所述多源数据，其中，所述配置文件针对各个源数据的字段，均配置所述字段与图数据库Schema属性信息的映射关系；写入转换后的数据至图数据库，并针对导入失败的数据进行重导入。
[0006]在其中一些实施例中，所述读取多源数据过程包括：根据所述配置文件，验证待读取的多源数据的列数、列名是否正确，并根据图数据库中点边属性的映射关系，验证数据的列数、数据类型是否正确；若验证通过，则读取所述多源数据，并根据配置信息对数据进行列剪裁。
[0007]在其中一些实施例中，对所述待读取的多源数据进行验证之前，所述读取多源数据过程还包括：在数据源为数据库或数据仓的情况下，确定对应数据库的驱动信息，以进行所述数据库的连接校验和数据库内数据读取；在数据源为流式数据源系统的情况下，确定对应系统的配置信息，以建立与所述流式数据源系统的连接，并按照数据处理周期定期微批处理数据记录。
[0008]在其中一些实施例中，所述配置文件还包括图数据库的服务地址，所述转换多源数据过程包括：
根据所述服务地址，确定所述图数据库的Schema属性信息；根据所述源数据的字段与图数据库Schema属性信息的映射关系，确定所述源数据的字段在所述图数据库中对应的目标数据类型；确定所述字段的数据类型是否符合所述目标数据类型；若是，对所述数据进行编码，以构造成所述图数据库可支持的点和边的数据结构。
[0009]在其中一些实施例中，所述写入转换后的数据至图数据库，过程包括：根据配置文件中预设的分区数量，对转换后的数据进行分区，不同分区独立写入数据，并均衡分布式图数据库系统各服务节点的负载，其中：在均衡负载的过程中，在建立多连接时采用轮询策略，根据服务状态表去路由可用的图数据库服务，并在建立会话时采用随机策略，对图数据库系统的服务进行混合，将请求分散到图数据库的不同服务节点。
[0010]在其中一些实施例中，在各分区写入数据之前，在批量导入多源数据的情况下，所述写入转换后的数据至图数据库的过程还包括：存入点或边数据至缓存区，在缓冲区内数据量达到配置文件中预设的批量值的情况下，针对缓存区内的数据统一生成图数据库系统的插入语句。
[0011]在其中一些实施例中，所述写入转换后的数据至图数据库之后，所述方法包括：根据数据库资源配置进行导入参数调优测试，以提高导入性能；其中，所述数据库资源配置包括：向服务端一次请求发送的数据量、源数据的分区数，以及导入任务分配的执行器数量或者执行器内核数。
[0012]第二方面，本申请实施例提供了一种图数据库系统多源数据导入装置，所述装置包括：读取模块，用于根据预设的配置文件，读取多源数据，其中，所述配置文件针对各个点或边配置项，均配置对应数据来源以及源数据系统信息；转换模块，用于根据预设的配置文件，转换所述多源数据，其中，所述配置文件针对各个源数据的字段，均配置所述字段与图数据库Schema属性信息的映射关系；写入模块，用于写入转换后的数据至图数据库，并针对导入失败的数据进行重导入。
[0013]第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述图数据库系统多源数据导入方法。
[0014]第四方面，本申请实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述图数据库系统多源数据导入方法。
[0015]相比于相关技术，本申请实施例提供的图数据库系统多源数据导入方法，通过根据预设的配置文件，读取多源数据，其中，该配置文件针对各个点或边配置项，均配置对应数据来源以及源数据系统信息；根据预设的配置文件，转换该多源数据，其中，该配置文件针对各个源数据的字段，均配置该字段与图数据库Schema属性信息的映射关系；写入转换后的数据至图数据库，并针对导入失败的数据进行重导入，从而支持多种不同数据源的数据同时导入图数据库，解决了相关技术中大规模多源数据无法同时导入图数据库的问题，提高了多源数据导入图数据库的导入效率。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的图数据库系统多源数据导入方法的应用环境示意图；图2是根据本申请实施例的图数据库系统多源数据导入方法的流程图；图3是根据本申请实施例的多源数据导入图数据库的整体流程示意图；图4是根据本申请实施例的图数据库系统多源数据导入装置的结构框图；图5是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
[0017]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的
技术实现思路
的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
[0018]在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
[0019]除非另作定义，本申请所涉及的技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图数据库系统多源数据导入方法，其特征在于，所述方法包括：根据预设的配置文件，读取多源数据，其中，所述配置文件针对各个点或边配置项，均配置对应数据来源以及源数据系统信息；根据预设的配置文件，转换所述多源数据，其中，所述配置文件针对各个源数据的字段，均配置所述字段与图数据库Schema属性信息的映射关系；写入转换后的数据至图数据库，并针对导入失败的数据进行重导入。2.根据权利要求1所述的方法，其特征在于，所述读取多源数据过程包括：根据所述配置文件，验证待读取的多源数据的列数、列名是否正确，并根据图数据库中点边属性的映射关系，验证数据的列数、数据类型是否正确；若验证通过，则读取所述多源数据，并根据配置信息对数据进行列剪裁。3.根据权利要求2所述的方法，其特征在于，对所述待读取的多源数据进行验证之前，所述读取多源数据过程还包括：在数据源为数据库或数据仓的情况下，确定对应数据库的驱动信息，以进行所述数据库的连接校验和数据库内数据读取；在数据源为流式数据源系统的情况下，确定对应系统的配置信息，以建立与所述流式数据源系统的连接，并按照数据处理周期定期微批处理数据记录。4.根据权利要求1所述的方法，其特征在于，所述配置文件还包括图数据库的服务地址，所述转换多源数据过程包括：根据所述服务地址，确定所述图数据库的Schema属性信息；根据所述源数据的字段与图数据库Schema属性信息的映射关系，确定所述源数据的字段在所述图数据库中对应的目标数据类型；确定所述字段的数据类型是否符合所述目标数据类型；若是，对所述数据进行编码，以构造成所述图数据库可支持的点和边的数据结构。5.根据权利要求1所述的方法，其特征在于，所述写入转换后的数据至图数据库，过程包括：根据配置文件中预设的分区数量，对转换后的数据进行分区，不同分区独立写入数据，并...

【专利技术属性】
技术研发人员：王昌圆，叶小萌，
申请(专利权)人：杭州欧若数网科技有限公司，
类型：发明
国别省市：