分布式系统中元数据的迁移方法及装置制造方法及图纸

本发明专利技术提供了一种分布式系统中元数据的迁移方法及装置，其中该方法包括：接收来自分布式系统的通知消息，其中，该通知消息用于指示元数据分布路由规则发生了变化；依据通知消息比较调整前与调整后的元数据分布路由规则，得到元数据在元数据服务器集群的节点之间的迁移数据流，其中，迁移数据流用于指示元数据的迁移过程。通过本发明专利技术，解决了相关技术中调整元数据路由规则时，需要将部分元数据拆分或迁移到其它一个或多个元数据服务器群集，并同步修改受影响的元数据路由规则的问题。

【技术实现步骤摘要】

本专利技术涉及通信领域，具体而言，涉及一种分布式系统中元数据的迁移方法及装置。
技术介绍
客户请求消息到达的分布式系统中处理客户请求消息的边界网关后，边界网关需要根据某种方法首先定位元数据服务器，之后由元数据服务器查询自身数据库将消息路由给下一级元数据服务器或路由给存储真实数据的服务器。在上述定位元数据服务器的过程中，相关技术中通常采用两种方案：预先配置元数据的路由信息或系统创建内部数据库以维护查询条件与元数据服务器的路由对照关系。但随着存储数据的增多，查询对照关系的操作将成为系统的瓶颈，并导致此方案将不再可行，因此在大容量数据库的方案中多采用预先配置元数据路由信息的方案。针对预先配置元数据路由的方案，相关技术中存在的问题是：在该方案中，路由规则一旦确定，元数据的分布即与元数据的路由信息产生绑定。因此当系统需要调整元数据路由规则时，需要首先将元数据从现有某一个元数据服务器群集迁移到另外一个群集，并确保在元数据迁移完成后控制系统切换到新的元数据分布路由方案，例如，系统中需要修改一个用户号码段的路由信息到新的元数据服务器群集时，或者当某一个元数据服务器群集中元数据的增长达到系统瓶颈时，系统需要将部分元数据拆分到其他一个或多个元数据服务器群集，并同步修改受影响的元数据路由规则。针对相关技术中调整元数据路由规则时，需要将部分元数据拆分或迁移到其它一个或多个元数据服务器群集，并同步修改受影响的元数据路由规则的问题，业界尚未提出有效的解决方案。
技术实现思路
本专利技术的主要目的在于提供一种分布式系统中元数据的迁移方法及装置，以解决相关技术中调整元数据路由规则时，需要将部分元数据拆分或迁移到其它一个或多个元数据服务器群集，并同步修改受影响的元数据路由规则的问题。根据本专利技术的一个方面，提供了一种分布式系统中元数据的迁移方法，包括：
接收来自分布式系统的通知消息，其中，该通知消息用于指示元数据分布路由规则发生了变化；依据所述通知消息比较调整前与调整后的所述元数据分布路由规则，得到所述元数据在元数据服务器集群的节点之间的迁移数据流，其中，所述迁移数据流用于指示所述元数据的迁移过程，所述迁移数据流包括：第一服务器集群中迁出所述元数据的迁出节点、第二服务器集群中迁入所述元数据的迁入节点、所述元数据的内容；依据所述迁移数据流通知所述迁出节点将所述元数据的内容复制到所述迁入节点中。进一步地，在依据所述迁移数据流通知所述迁出节点将所述元数据的内容复制到所述迁入节点之前，所述方法还包括：记录迁出所述元数据的迁移启动信息，其中，所述启动信息包括：启动时间、所述分布式系统在启动数据迁移前最近一次的写操作信息，其中，所述写操作信息包括：写操作发生的时间、写操作的内容、写操作的序号；或，通知所述迁出节点申请第一锁，其中，所述第一锁用于锁住所述迁出节点中所有迁移数据的写操作。进一步地，在所述迁移数据流启动后，并在复制所述元数据到所述迁入节点前，所述方法还包括：在所述记录所述元数据的所述迁移启动信息后，将在复制所述元数据到所述迁入节点前的所有写操作信息写入到同步队列；或，在通知所述迁出节点申请第一锁后，并在复制所述元数据到所述迁入节点前，所述方法还包括：禁止所述迁出节点执行所述写操作。进一步地，在依据所述迁移数据流通知所述迁出节点将所述元数据的内容复制到所述迁入节点之后，包括：通知所述迁出节点申请第二锁，其中，所述第二锁用于锁住迁出的所述元数据的写操作；并向所述迁入节点发送所述同步队列中的所述写操作信息；在所述元数据的内容复制完成后，通知删除所述迁出节点中已复制的所述元数据，并释放所述第二锁；或，通知删除所述迁出节点中已复制的所述元数据，并释放所述第一锁。进一步地，通知删除所述迁出节点中已复制的所述元数据包括：在所述迁入节点和所述迁出节点完成数据复制时，通知所述分布式系统当前数据迁移流复制的完成，并接收所述通知删除所述迁出节点中已复制的所述元数据的指示；或，向所述迁出节点和所述迁入节点发送用于查询所述迁移数据流的迁移状态的查询指令；接收所述迁出节点和所述迁入节点发送的响应于所述查询指令的响应指令，其中，所述响应指令用于指示所述迁移数据流迁移状态；在所述响应指令指示所述迁移数据流迁移成功时，通知所述分布式系统启用新的元数据分布路由规则，并通知所述迁出节点删除所述元数据的内容。进一步地，所述方法还包括：在所述查询指令指示所述迁移数据流迁移异常时，向所述迁出节点和所述迁入节点发送回退请求，其中，所述回退请求用于指示通知所述迁出节点和所述迁入节点终止所述迁移流数据的复制操作，以
及通知所述迁入节点删除已复制的所述元数据的内容。进一步地，所述第一服务集群或所述第二服务集群可同时作为多个迁移数据流的迁入和迁出服务集群。根据本专利技术的另一个方面，提供了一种分布式系统中元数据的迁移装置，包括：接收模块，用于接收来自分布式系统的通知消息，其中，该通知消息用于指示元数据分布路由规则发生了变化；比较模块，用于依据所述通知消息比较调整前与调整后的所述元数据分布路由规则，得到所述元数据在元数据服务器集群的节点之间的迁移数据流，其中，所述迁移数据流用于指示所述元数据的迁移过程，所述迁移数据流包括：第一服务器集群中迁出所述元数据的迁出节点、第二服务器集群中迁入所述元数据的迁入节点、所述元数据的内容；第一复制模块，用于依据所述迁移数据流通知所述迁出节点将所述元数据的内容复制到所述迁入节点中。进一步地，在所述迁出节点将所述元数据的内容复制到所述迁入节点中之前，所述装置还包括：记录模块，用于记录迁出所述元数据的迁移启动信息，其中，所述启动信息包括：启动时间、所述分布式系统在启动数据迁移前最近一次的写操作信息，其中，所述写操作信息包括：写操作发生的时间、写操作的内容、写操作的序号；或，第一通知模块，用于通知所述迁出节点申请第一锁，其中，所述第一锁用于锁住所述迁出节点中所有迁移数据的写操作。进一步地，在所述迁移数据流启动后，并在复制所述元数据到所述迁入节点前，所述装置还包括：第二复制模块，用于在所述记录所述元数据的所述迁移启动信息后，将在复制所述元数据到所述迁入节点前的所有写操作信息写入到同步队列；或，在通知所述迁出节点申请第一锁后，并在复制所述元数据到所述迁入节点前，所述装置还包括：禁止模块，用于禁止所述迁出节点执行所述写操作。进一步地，在所述迁出节点将所述元数据的内容复制到所述迁入节点中之后，所述装置还包括：第二通知模块，用于通知所述迁出节点申请第二锁，其中，所述第二锁用于锁住迁出的所述元数据的写操作；并向所述迁入节点发送所述同步队列中的所述写操作信息；在所述元数据的内容复制完成后，通知删除所述迁出节点中已复制的所述元数据，并释放所述第二锁；或，第三通知模块，用于通知删除所述迁出节点中已复制的所述元数据，并释放所述第一锁。进一步地，所述第二通知模块包括：第一通知单元，用于在所述迁入节点和所述迁出节点完成数据复制时，通知所述分布式系统当前数据迁移流复制的完成；第一接收单元，用于接收所述通知删除所述迁出节点中已复制的所述元数据的指示；所述第三通知模块包括：第一发送单元，用于向所述迁出节点和
所述迁入节点发送用于查询所述迁移数据流的迁移状态的查询指令；本文档来自技高网...

【技术保护点】
一种分布式系统中元数据的迁移方法，其特征在于，包括：接收来自分布式系统的通知消息，其中，该通知消息用于指示元数据分布路由规则发生了变化；依据所述通知消息比较调整前与调整后的所述元数据分布路由规则，得到所述元数据在元数据服务器集群的节点之间的迁移数据流，其中，所述迁移数据流用于指示所述元数据的迁移过程，所述迁移数据流包括：第一服务器集群中迁出所述元数据的迁出节点、第二服务器集群中迁入所述元数据的迁入节点、所述元数据的内容；依据所述迁移数据流通知所述迁出节点将所述元数据的内容复制到所述迁入节点中。

【技术特征摘要】
1.一种分布式系统中元数据的迁移方法，其特征在于，包括：接收来自分布式系统的通知消息，其中，该通知消息用于指示元数据分布路由规则发生了变化；依据所述通知消息比较调整前与调整后的所述元数据分布路由规则，得到所述元数据在元数据服务器集群的节点之间的迁移数据流，其中，所述迁移数据流用于指示所述元数据的迁移过程，所述迁移数据流包括：第一服务器集群中迁出所述元数据的迁出节点、第二服务器集群中迁入所述元数据的迁入节点、所述元数据的内容；依据所述迁移数据流通知所述迁出节点将所述元数据的内容复制到所述迁入节点中。2.根据权利要求1所述的方法，其特征在于，在依据所述迁移数据流通知所述迁出节点将所述元数据的内容复制到所述迁入节点之前，所述方法还包括：记录迁出所述元数据的迁移启动信息，其中，所述启动信息包括：启动时间、所述分布式系统在启动数据迁移前最近一次的写操作信息，其中，所述写操作信息包括：写操作发生的时间、写操作的内容、写操作的序号；或，通知所述迁出节点申请第一锁，其中，所述第一锁用于锁住所述迁出节点中所有迁移数据的写操作。3.根据权利要求2所述的方法，其特征在于，在所述迁移数据流启动后，并在复制所述元数据到所述迁入节点前，所述方法还包括：在所述记录所述元数据的所述迁移启动信息后，将在复制所述元数据到所述迁入节点前的所有写操作信息写入到同步队列；或，在通知所述迁出节点申请第一锁后，并在复制所述元数据到所述迁入节点前，所述方法还包括：禁止所述迁出节点执行所述写操作。4.根据权利要求3所述的方法，其特征在于，在依据所述迁移数据流通知所述迁出节点将所述元数据的内容复制到所述迁入节点之后，包括：通知所述迁出节点申请第二锁，其中，所述第二锁用于锁住迁出的所述元数据的写操作；并向所述迁入节点发送所述同步队列中的所述写操作信息；在所述元数据的内容复制完成后，通知删除所述迁出节点中已复制的所述元数据，并释放所述第二锁；或，通知删除所述迁出节点中已复制的所述元数据，并释放所述第一锁。5.根据权利要求4所述的方法，其特征在于，通知删除所述迁出节点中已复制的所述元数据包括：在所述迁入节点和所述迁出节点完成数据复制时，通知所述分布式系统当前数据迁移流复制的完成，并接收所述通知删除所述迁出节点中已复制的所述元数据的指示；或，向所述迁出节点和所述迁入节点发送用于查询所述迁移数据流的迁移状态的查询指令；接收所述迁出节点和所述迁入节点发送的响应于所述查询指令的响应指令，其中，所述响应指令用于指示所述迁移数据流迁移状态；在所述响应指令指示所述迁移数据流迁移成功时，通知所述分布式系统启用新的元数据分布路由规则，并通知所述迁出节点删除所述元数据的内容。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：在所述查询指令指示所述迁移数据流迁移异常时，向所述迁出节点和所述迁入节点发送回退请求，其中，所述回退请求用于指示通知所述迁出节点和所述迁入节点终止所述迁移流数据的复制操作，以及通知所述迁入节点删除已复制的所述元数据的内容。7.根据权利要求1所述的方法，其特征在于，所述第一服务集群或所述第二服务集群可同时作为多个迁移数据流的迁入和迁出服务集群。8.一种分布式系统中元数据的迁移装置，其特征在于，包括：接收模块，用于接收来自分布式系统的通知消息，其中，该通知消息用于指示元...

【专利技术属性】
技术研发人员：姬庆发，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44