【技术实现步骤摘要】
一种图数据库数据导入的方法、系统、装置和介质
[0001]本申请涉及计算机
，特别是涉及一种图数据库数据导入的方法、系统、装置和介质。
技术介绍
[0002]随着大数据和人工智能的飞速发展，超大规模网络图在金融、风控、安防、推荐等领域有着广阔的应用空间和良好的发展前景，这激发了图网络数据的快速崛起。在图数据库的各个领域应用中，大规模数据的导入是必须要面对的第一项挑战，除了在数据库初始时进行大批量数据导入外，在提供服务的过程中也需要根据业务进行数据的导入。而如何在不影响图数据库服务的前提下进行快速方便的数据导入则是需要重点解决的第一项问题。
[0003]目前针对图数据库的数据导入，主要存在以下几个问题：
[0004]1.一般数据的读取和写入是共享机器资源的，大量数据的写入会占用机器的大量磁盘和内存资源，影响图数据库的查询业务。这对于线上业务来说是不可接受的。
[0005]2.对于分布式图数据库而言虽然数据导入过程可以分布式，但由于网络传输和磁盘io的限制，导入速度仍需进一步提升。
[000...
【技术保护点】
【技术特征摘要】
1.一种图数据库数据导入的方法，其特征在于，所述方法包括：筛选出符合预设条件的数据；根据所述图数据库的存储层的编码方式对所述数据进行编码，得到Key
‑
Value格式的编码数据；自定义数据分区策略，根据所述数据分区策略计算所述编码数据的分片ID，并基于所述分片ID对所述编码数据进行分区；根据编码数据的Key值对同一数据分片的编码数据进行排序，并基于Key值对同一数据分片的编码数据进行去重，得到目标数据；根据所述分片ID，将相同数据分片的目标数据写入同一预设文件；将所述预设文件载入所述图数据库的数据存储目录中，进而将所述数据存储目录中的预设文件对应导入到所述图数据库的图空间中。2.根据权利要求1所述的方法，其特征在于，根据所述图数据库的存储层的编码方式对所述数据进行编码，得到Key
‑
Value格式的编码数据包括：根据所述图数据库的图空间定义的点ID长度、数据类型和图空间分片数进行编码，得到点编码数据的Key值；根据所述图空间定义的点类型的属性信息和属性值进行编码，得到所述点编码数据的Value值；根据所述图数据库的图空间定义的点ID长度、数据类型和图空间分片数，以及预设边rank值进行正反两次编码，得到边编码数据的两个Key值；根据所述图空间定义的边类型的属性信息，以及预设属性值进行编码，得到所述边编码数据的Value值。3.根据权利要求1所述的方法，其特征在于，将所述预设文件载入所述图数据库的数据存储目录中包括：若所述图数据库的目标图空间是单副本，则将预设文件载入所述预设文件所属数据分片的Leader节点的数据存储目录下；若所述图数据库的目标图空间是多副本，则将预设文件载入所述预设文件所属数据分片的Leader节点和Follower节点的数据存储目录下。4.根据权利要求1所述的方法，其特征在于，筛选出符合预设条件的数据包括：根据所述图数据库的元数据信息，判断点和/或边的数据格式是否符合目标Schema的设定，若否，则过滤不符合所述设定的数据。5.根据权利要求1所述的...
【专利技术属性】
技术研发人员：王昌圆，王玉珏，叶小萌，
申请(专利权)人：杭州欧若数网科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。