数据迁移方法、装置、介质及电子设备制造方法及图纸

技术编号:20329136 阅读:24 留言:0更新日期:2019-02-13 05:44
本发明专利技术的实施例提供了一种数据迁移方法、装置、介质及电子设备,涉及大数据技术领域。该方法包括:在接收到对迁移源中一个或多个槽Slot的以Slot为单位的数据迁移请求时,将所述数据迁移请求放入待迁移的任务队列中;通过定时任务检测所述任务队列中是否存在所述数据迁移请求;在检测到存在所述数据迁移请求时,异步地将与所述数据迁移请求对应的Slot上的待迁移数据发送至迁移目标。本发明专利技术实施例的技术方案能够降低迁移过程中正常业务请求的阻塞,并且能够更好地保障数据一致性。

【技术实现步骤摘要】
数据迁移方法、装置、介质及电子设备
本专利技术的实施例涉及大数据领域,更具体地,本专利技术的实施例涉及数据迁移方法、数据迁移装置、计算机可读存储介质以及电子设备。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。Redis是一个开源的、可基于内存亦可持久化的键值对(key-value)存储数据库,Redis基于单线程处理用户请求,数据迁移是Redis数据库的高频需求。目前,在一种技术方案中,Redis数据库在进行数据迁移时,采用的是同步迁移方式。在采用同步迁移方式进行数据迁移时,Redis服务器接收到迁移命令后,开始解析迁移命令,基于迁移命令以Key为单位打包迁移源上需要迁移的数据,每个数据封装对应一个迁移命令,将打包后的迁移数据发送给迁移目标,并等待接收到迁移目标返回的所有迁移数据的反馈。
技术实现思路
但是,在这种技术方案中,打包迁移数据以及同步等待迁移目标的反馈都会造成其他请求的阻塞,以单个键值为单位进行数据迁移,在迁移失败后难以保障迁移源与迁移目标的数据一致性。因此在现有技术中,难以达到令人满意的数据迁移本文档来自技高网...

【技术保护点】
1.一种数据迁移方法,其特征在于,包括:在接收到对迁移源中一个或多个槽Slot的以Slot为单位的数据迁移请求时,将所述数据迁移请求放入待迁移的任务队列中;通过定时任务检测所述任务队列中是否存在所述数据迁移请求;在检测到存在所述数据迁移请求时,异步地将与所述数据迁移请求对应的Slot上的待迁移数据发送至迁移目标。

【技术特征摘要】
1.一种数据迁移方法,其特征在于,包括:在接收到对迁移源中一个或多个槽Slot的以Slot为单位的数据迁移请求时,将所述数据迁移请求放入待迁移的任务队列中;通过定时任务检测所述任务队列中是否存在所述数据迁移请求;在检测到存在所述数据迁移请求时,异步地将与所述数据迁移请求对应的Slot上的待迁移数据发送至迁移目标。2.根据权利要求1所述的数据迁移方法,其特征在于,所述数据迁移方法还包括:对所述待迁移数据的键Key的迁移状态进行标识,所述迁移状态包括:未迁移、迁移中、已迁移以及业务请求中,每个所述Slot包含有多个所述Key。3.根据权利要求2所述的数据迁移方法,其特征在于,所述数据迁移方法还包括:在接收到数据删除操作请求时,获取与所述数据删除操作请求对应的数据的迁移状态的标识;基于所述标识判断与所述数据删除操作请求对应的数据是否处于迁移中;在判定所述数据处于迁移中时,将所述数据标识为已删除;添加与所述数据删除操作请求对应的数据操作日志。4.根据权利要求2所述的数据迁移方法,其特征在于,所述数据迁移方法还包括:在接收到数据更新操作请求时,获取与所述数据更新操作请求对应的数据的迁移状态的标识;基于所述标识判断与所述数据更新操作请求对应的数据是否处于迁移中;在判定所述数据处于迁移中时,确定所述数据的数据类型;基于所述数据的数据类型对所述数据进行处理。5.根据权利要求4所述的数据迁移方法,其特征在于...

【专利技术属性】
技术研发人员:毛迎春张晓龙尧飘海陈谔焦智慧
申请(专利权)人:杭州朗和科技有限公司
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1