一种数据迁移方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及一种数据迁移方法、装置、电子设备及存储介质。其中，数据迁移方法包括：若检测到发生满足数据迁移条件的事件，确定进行数据迁移的第一存储节点，以及接收迁移数据的第二存储节点，向第一存储节点发送数据迁移指令，对第一数据分库进行备份，生成与第一数据分库存储相同数据的第二数据分库，并对第二数据分库进行处理，得到只包含迁移数据的第三数据分库，控制第一存储节点，将第三数据分库整体通过网络传输至第二存储节点，这样，通过将只包含迁移数据的第三数据分库整体传输至第二存储节点，可以提高数据迁移的效率。

【技术实现步骤摘要】
一种数据迁移方法、装置、电子设备及存储介质
本申请涉及存储服务
，尤其涉及一种数据迁移方法、装置、电子设备及存储介质。
技术介绍
分布式存储系统，是将数据分散存储在多台独立的存储节点上的存储系统，通常，分布式网络存储系统采用可扩展的系统结构，利用多台存储节点分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。当服务请求高峰来临时，存储系统需要能快速扩容来降低单机压力，所以灵活快速的扩容是一个分布式存储系统的重要能力，目前，实现扩容逻辑主要有以下这两种方式：方式一，在需要迁出数据的存储节点上，调用存储数据库(RocksDB)的读接口，读出来需要迁移出的数据，然后构建成一个个的写命令，每个命令中包含一条或多条数据，最后将该命令发送给新添加进来的节点，新节点收到后解析出命令中的数据，最后写入到自己的RocksDB中。方式二，在需要迁出数据的节点上，首先调用RocksDB的读接口，读出来需要迁移出的数据，然后把这些数据原地构建成RocksDB的序列化证书存储文件(SerializedCerti本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，应用于存储系统中的中心控制节点，所述存储系统还包括至少两个存储节点，每个存储节点包含一个数据分库，所述数据迁移方法包括：/n若检测到发生满足数据迁移条件的事件，确定进行数据迁移的第一存储节点，以及接收迁移数据的第二存储节点；/n向所述第一存储节点发送数据迁移指令，以使所述第一存储节点对自身存储的第一数据分库进行备份，生成与所述第一数据分库存储相同数据的第二数据分库，并对所述第二数据分库进行处理，得到只包含所述迁移数据的第三数据分库；/n控制所述第一存储节点，将所述第三数据分库整体通过网络传输至所述第二存储节点。/n

【技术特征摘要】
1.一种数据迁移方法，其特征在于，应用于存储系统中的中心控制节点，所述存储系统还包括至少两个存储节点，每个存储节点包含一个数据分库，所述数据迁移方法包括：
若检测到发生满足数据迁移条件的事件，确定进行数据迁移的第一存储节点，以及接收迁移数据的第二存储节点；
向所述第一存储节点发送数据迁移指令，以使所述第一存储节点对自身存储的第一数据分库进行备份，生成与所述第一数据分库存储相同数据的第二数据分库，并对所述第二数据分库进行处理，得到只包含所述迁移数据的第三数据分库；
控制所述第一存储节点，将所述第三数据分库整体通过网络传输至所述第二存储节点。


2.根据权利要求1所述的数据迁移方法，其特征在于，根据以下步骤确定进行数据迁移的第一存储节点：
将当前服务性能值小于或等于第一预设性能阈值的存储节点，和/或，将当前服务请求量大于或等于第一预设访问阈值的存储节点，确定为所述第一存储节点。


3.根据权利要求2所述的数据迁移方法，其特征在于，根据以下步骤确定接收迁移数据的第二存储节点：
将所述当前服务性能值大于或等于第二预设性能阈值的存储节点，和/或；将所述当前服务请求量小于或等于第二预设访问阈值的存储节点，确定为接收所述迁移数据的所述第二存储节点；
其中，所述第一预设性能阈值小于第二预设性能阈值，所述第一预设访问阈值大于所述第二预设访问阈值。


4.根据权利要求2所述的数据迁移方法，其特征在于，根据以下步骤确定所述迁移数据：
确定针对所述第一存储节点的当前服务请求量；
基于所述当前服务请求量、所述第一预设访问阈值和每个服务请求的请求编号，确定需要所述第二存储节点处理的多个服务请求；
将与所述多个服务请求对应的数据，确定为所述迁移数据。


5.根据权利要求4所述的数据迁移方法，其特征在于，所述基于所述当前服务请求量、所述第一预设访问阈值和每个服务请求的请求编号，确定需要所述第二存储节点处理的多个服务请求，包括：
根据所述当前服务请求量和所述第一预设访问阈值，确定需要所述第二存储节点处理的目标服务请求量；
根据所述目标服务请求量和每个服务请求的请求编号，确定需要所述第二存储节点处理的所述多个服务请求。


6.根据权利要求1所述的数据迁移方法，其特征在于，在所述控制所述第一存储节点，将所述第三数据分库整体通过网络传输至所述第二存储节点之后，所述数据迁移方法还包括：
将所述第三数据分库中存储的所述迁移数据对应的服务请求，发送至所述第二存储节点。


7.根据权利要求1所述的数据迁移方法，其特征在于，在所述控制所述第一存储节点，将所述第三数据分库整体通过网络传输至第二存储节点的过程中，所述数据迁移方法还包括：
将所述第一数据分库中存储的数据对应的服务请求，发送至所述第一存储节点。


8.根据权利要求1所述的数据迁移方法，其特征在于，在所述控制所述第一存储节点，将所述第三数据分库整体通过网络传输至第二存储节点之后，所述数据迁移方法还包括：
向所述第一存储节点发送数据删除指令，以使所述第一存储节点将所述第一数据分库中存储的所述迁移数据删除，得到第四数据分库；
将所述第四数据分库中存储的数据对应的服务请求发送至所述第一存储节点。


9.根据权利要求4所述的数据迁移方法，其特征在于，所述服务请求包括以下请求中的至少一种：
数据读取请求、数据写入请求、数据删除请求。


10.一种数据迁移装置，其特征在于，应用于存储系统中的中心控制节点，所述存储系统还包括至少两个存储节点，每个存储节点包含一个数据分库，所述数据迁移装置包括：
确定模块，用于若检测到发生满足数据迁移条件的事件，确定进行数据迁移的第一存储节点，以及接收迁移数据的第二存储节点；
生成模块，用于向所述第一存储节点发送数据迁移...

【专利技术属性】
技术研发人员：王志勇，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11