数据迁移方法、装置、系统和计算机可读存储介质制造方法及图纸

技术编号:31229464 阅读:24 留言:0更新日期:2021-12-08 09:58
本公开涉及一种数据迁移方法、装置、系统和计算机可读存储介质,涉及计算机技术领域。本公开的方法包括:确定新增的图引擎服务的标签在哈希环中的位置;根据标签在哈希环中的位置和已分配的各个图分片数据在哈希环中的位置的距离,确定属于新增的图引擎服务的待迁移的图分片数据;向新增的图引擎服务和待迁移的图分片数据的原图引擎服务发送指示信息,将待迁移的图分片数据由原图引擎服务迁移到新增的图引擎服务。的图引擎服务。的图引擎服务。

【技术实现步骤摘要】
数据迁移方法、装置、系统和计算机可读存储介质


[0001]本公开涉及计算机
,特别涉及一种数据迁移方法、装置、系统和计算机可读存储介质。

技术介绍

[0002]近些年来移动互联网的普及推动了电子商务(E

Commerce)、社交网络(Social Network)等领域的飞速发展,产生了海量的用户和商品数据。如何高效地利用这些数据来优化用户体验并持续创造价值,成为了该类应用提供商面临的重大挑战。图(graph)这一数据结构,拥有很强的表达能力,非常适用于建模社交网络中用户之间的关系以及电商系统中用户和商品之间的关系。因此,将图这一数据结构引入电商系统和社交网络来刻画用户与商品及用户与用户之间的关系,有利于更好地捕捉用户兴趣的演化过程,能够为电商系统中的个性化推荐、在线广告投放以及社交网络中的好友推荐等提供更多指导信息,进而优化用户体验和创造价值。
[0003]在图建模的实际应用中,通常会构建一个在线图引擎服务来加载图数据。该服务为其他服务提供图数据的查询服务。在真实的工业级别应用中,图数据数量非常庞大,单机已无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法,包括:确定新增的图引擎服务的标签在哈希环中的位置;根据标签在哈希环中的位置和已分配的各个图分片数据在哈希环中的位置的距离,确定属于所述新增的图引擎服务的待迁移的图分片数据;向所述新增的图引擎服务和所述待迁移的图分片数据的原图引擎服务发送指示信息,将所述待迁移的图分片数据由所述原图引擎服务迁移到所述新增的图引擎服务。2.根据权利要求1所述的数据迁移方法,其中,新增的图引擎服务的标签为多个,所述确定新增的图引擎服务的标签在哈希环中的位置包括:获取新增的图引擎服务的多个标签;根据预设哈希函数,确定各个标签的哈希值;根据各个标签的哈希值确定各个标签在哈希环中的位置。3.根据权利要求1所述的数据迁移方法,其中,所述根据各个标签在哈希环中的位置和已分配的各个图分片数据在哈希环中的位置的距离,确定属于所述新增的图引擎服务的待迁移的图分片数据包括:在哈希环中按照预设顺序,依次确定与各个图分片数据在哈希环中的位置距离最近的标签,作为各个图分片数据对应的标签;根据各个图分片数据对应的标签和各个标签所属的图引擎服务,重新生成图分片数据和图引擎服务的映射表,所述映射表中与所述新增的图引擎服务对应的为待迁移的图分片数据。4.根据权利要求3所述的数据迁移方法,其中,所述向所述新增的图引擎服务和所述待迁移的图分片数据的原图引擎服务发送指示信息,将所述待迁移的图分片数据由所述原图引擎服务迁移到所述新增的图引擎服务包括:向各个图引擎服务发送指示信息,其中,所述指示信息包括所述映射表;接收所述新增的图引擎服务发送加载完成消息,其中,所述加载完成消息表示所述新增的图引擎服务根据所述映射表完成对所述待迁移的图分片数据的加载;向所述原图引擎服务发送删除指示;接收所述原图引擎服务发送的删除完成消息,其中,所述删除完成消息表示所述原图引擎服务根据所述映射表完成对所述待迁移的图分片数据的删除。5.根据权利要求1所述的数据迁移方法,还包括:在所述待迁移的图分片数据由所述原图引擎服务迁移到所述新增的图引擎服务的情况下,向图数据查询服务发送图分片数据和图引擎服务的映射表,所述映射表中与所述新增的图引擎服务对应的为待迁移的图分片数据。6.根据权利要求1所述的数据迁移方法,还包括:确定图中各个实体的标识的哈希值,其中,所述实体包括图的节点的数据或边的数据;根据各个实体的标识的哈希值,确定各个实体所属的图分片数据的标识;确定各个图分片数据的标识的哈希值;根据各个图分片数据的标识的哈希值,确定各个图分片数据在哈希环中的位置,作为已分配的各个图分片数据在哈希环中的位置。7.根据权利要求1所述的数据迁移方法,其中,每个图引擎服务的标签的数量根据所述
图引擎服务的处理能力确定,其中,图引擎服务处理能力越强,标签的数量越多。8.根据权利要求5所述的数据迁移方法,还包括:所述图数据...

【专利技术属性】
技术研发人员:金均生熊汉韬齐浩王昆垚董志平
申请(专利权)人:北京沃东天骏信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1