数据存储位置信息的管理方法和装置制造方法及图纸

本申请公开了一种数据存储位置信息的管理方法和装置，该方法包括：根据预设规则持久化保存内存状态，其中，所述内存状态包括数据存储位置信息和数据存储设备的状态信息；在重启之后，将内存状态恢复到重启前持久化保存的内存状态；根据所述数据存储设备的状态信息恢复正常状态的数据存储设备的访问。缩短了元数据服务器重启时重建内存中数据存储位置信息的用时，减少了分布式文件系统无法对外服务的时长，提高了系统的可用性和可运维性。

【技术实现步骤摘要】
数据存储位置信息的管理方法和装置
本申请属于云计算
，具体地说，涉及一种数据存储位置信息的管理方法和装置。
技术介绍
在大规模分布式文件系统中，为了达到容错、可用性、性能等方面的目的，一种常见设计是将文件切分为一系列的数据块，并在多个不同数据存储设备(DataServer)上存储同一个数据块的多个副本。这些数据副本的位置信息(即副本所在数据存储设备的存储位置)十分重要，它们是客户端(Client)读写数据时的寻址依据，也是进行数据分布控制、副本数量管理的信息来源。通常，文件系统的元数据服务器(MetaServer)会对系统中的副本位置信息进行存储和管理。现有的技术方案主要为：在元数据服务器的内存结构中维护所有的数据副本的位置信息，不对其进行持久化存储。当系统运行时，元数据服务器与多个数据存储设备间不断通信，来持续获取并更新元数据服务器中的副本位置信息，记录当前最新的副本位置；客户端访问元数据服务器来获取“读”所需的副本位置，或者“写”所需的新副本位置。当元数据服务器发生冷启动或者重启时(例如由于故障或者升级需要)，由于内存的数据易失性，之前的副本位置信息全部丢失，元数据服务器直本文档来自技高网...

【技术保护点】
一种数据存储位置信息的管理方法，其特征在于，包括：根据预设规则持久化保存内存状态，其中，所述内存状态包括数据存储位置信息和数据存储设备的状态信息；在重启之后，将内存状态恢复到重启前持久化保存的内存状态；根据所述数据存储设备的状态信息恢复正常状态的数据存储设备的访问。

【技术特征摘要】
1.一种数据存储位置信息的管理方法，其特征在于，包括：根据预设规则持久化保存内存状态，其中，所述内存状态包括数据存储位置信息和数据存储设备的状态信息；在重启之后，将内存状态恢复到重启前持久化保存的内存状态；根据所述数据存储设备的状态信息恢复正常状态的数据存储设备的访问。2.根据权利要求1所述的方法，其特征在于，所述根据预设规则持久化保存内存状态包括：根据预设周期或者根据针对数据存储位置信息的操作数量将内存状态持久化保存为第一文件，并将针对数据存储位置信息的修改操作持久化保存至第二文件；所述在重启之后，将内存状态恢复到重启前持久化保存的内存状态包括：在重启之后，读取距离当前时间最近的第一文件并重新执行在所述第一文件生成之后被保存在所述第二文件的修改操作，恢复至重启前的内存状态。3.根据权利要求2所述的方法，其特征在于，所述根据预设周期或者根据针对数据存储位置信息的操作数量将内存状态持久化保存为第一文件包括：根据预设周期或者根据针对数据存储位置信息的操作数量触发对内存状态进行持久化保存；对所述数据存储位置信息的重复数据进行压缩处理；将压缩后的数据存储位置信息写入到第一文件。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：从数据存储设备获取并更新数据存储位置信息。5.根据权利要求4所述的方法，其特征在于，所述根据所述数据存储设备的状态信息恢复正常状态的数据存储设备的访问包括：恢复正常状态的数据存储设备的访问；将处于非正常状态并且具有心跳连接的数据存储设备标记为恢复状态，将处于非正常状态并且不具有心跳连接的数据存储设备标记为不可用状态；所述从数据存储设备获取并更新数据存储位置信息包括：优先从被标记为恢复状态的数据存储设备获取并更新数据存储位置信息；被标记为恢复状态的数据存储设备的数据存储位置信息更新完毕后，从正常状态的数据存储设备获取并更新数据存储位置信息。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：当出现不可用的数据存储位置信息时，对于与所述不可用的数据存储位置信息对应的数据，判断所述数据可用的数据存储位置信息的数量是否大于或等于预设门限；当所述数据可用的数据存储位置信息的数量大于或等于预设门限时，删除所述不可用的数据存储位置信息；当所述数据可用的数据存储位置信息的数量小于预设门限时，保存所述不可用的数据存储位置信息。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：接收来自客户端的数据存储位置信息查询请求；返回对应的数据存储位置信息至客户端，返回的数据存储位置信息包括不可用的数据存储位置信息。8.一种数据存储位置信息的管理方法，其特征在于，包括：根据预设规则持久化保存内存状态，其中，所述内存状态包括数据存储位置信息和数据存储设备的状态信息；当出现不可用的数据存储位置信息时，对于与所述不可用的数据存储位置信息对应的数据，判断所述数据可用的数据存储位置信息的数量是否大于或等于预设门限；当所述数据可用的数据存储位置信息的数量大于或等于预设门限时，删除所述不可用的数据存储位置信息；当所述数据可用的数据存储位置信息的数量小于预设门限时，保存所述不可用的数据存储位置信息。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：接收来自客户端的数据存储位置信息查询请求；返回对应的数据存储位置信息至客户端，返回的数据存储位置信息包括不可用的数据存储位置信息。10.一种数据存储位置信息的管理装置，其特征在于，包括：持久化模块，用于根据预设规则持久化保存内存状态...

【专利技术属性】
技术研发人员：黄硕，陆靖，姚文辉，刘俊峰，张海勇，朱家稷，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY