存储设备数据位置的处理方法、装置、设备及存储介质制造方法及图纸

本申请提供一种存储设备数据位置的处理方法、装置、设备及存储介质，该方法包括：设备重启时，将存储设备中存储的历史数据的第一位置信息集写入内存中，所述历史数据及其相应的位置信息在所述存储设备中对应存储；若所述存储设备中存在更新数据，则将所述存储设备中与所述更新数据对应存储的更新数据的位置信息写入所述内存中；根据所述第一位置信息集和所述更新数据的位置信息，在所述内存中生成第二位置信息集，并存储至所述存储设备中。通过结合历史数据的第一位置信息集与从日志获得更新数据的位置信息，可以快速在内存中构建完整的位置信息，不仅保证了空间分配信息的完整性，还在减少IO的基础上提高了重启速度。

Processing methods, devices, devices and storage media for data location of storage devices

This application provides a processing method, device, device and storage medium for data location of storage device. The method includes: when the device restarts, the first location information set of the historical data stored in the storage device is written into memory, and the historical data and corresponding position information are stored in the storage device; if there is updated data in the storage device, the first location information set of the historical data stored in the storage device is written into memory. The location information of the updated data stored in the storage device corresponding to the updated data is written into the memory; according to the first location information set and the location information of the updated data, a second location information set is generated in the memory and stored in the storage device. By combining the first location information set of historical data with the location information of updated data from the log, the complete location information can be quickly constructed in memory, which not only ensures the integrity of spatial distribution information, but also improves the restart speed on the basis of reducing IO.

【技术实现步骤摘要】
存储设备数据位置的处理方法、装置、设备及存储介质
本申请涉及存储
，尤其涉及一种存储设备数据位置的处理方法、装置、设备及存储介质。
技术介绍
空间管理是存储系统中的重要内容，传统的空间管理方式是在存储系统中专门分出一块存储区域用来存储空间分配信息，空间映射关系更改会将此块区域的空间分配信息进行更改。现有的空间管理方式引入了随机写，额外增加了存储系统的IO，使得存储系统的整体吞吐下降，影响存储系统处理性能。因此，如何有效管理存储空间，成为亟需解决的技术问题。
技术实现思路
本申请提供一种存储设备数据位置的处理方法、装置、设备及存储介质，以解决现有技术处理性能低等缺陷。本申请第一个方面提供一种存储设备数据位置的处理方法，包括：设备重启时，将存储设备中存储的历史数据的第一位置信息集写入内存中，所述历史数据及其相应的位置信息在所述存储设备中对应存储，所述第一位置信息集用于表示数据位置信息的集合；若所述存储设备中存在更新数据，则将所述存储设备中与所述更新数据对应存储的更新数据的位置信息写入所述内存中；根据所述第一位置信息集和所述更新数据的位置信息，在所述内存中生成第二位置信息集，并存储至所述存储设备中。本申请第二个方面提供一种存储设备数据位置的处理装置，包括：第一处理模块，用于设备重启时，将存储设备中存储的历史数据的第一位置信息集写入内存中，所述历史数据及其相应的位置信息在所述存储设备中对应存储，所述第一位置信息集用于表示数据位置信息的集合；第二处理模块，用于若所述存储设备中存在更新数据，则将所述存储设备中与所述更新数据对应存储的更新数据的位置信息写入所述内存中；生成模块，用于根据所述第一位置信息集和所述更新数据的位置信息，在所述内存中生成第二位置信息集，并存储至所述存储设备中。本申请第三个方面提供一种计算机设备，包括：至少一个处理器和存储器；所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现上述第一个方面提供的方法。本申请第四个方面提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述第一个方面提供的方法。本申请提供的存储设备数据位置的处理方法、装置、设备及存储介质，在设备重启时，将存储设备中存储的历史数据的第一位置信息集写入内存中，若存储设备中存在更新数据，则将存储设备中与更新数据对应存储的更新数据的位置信息写入内存中，并根据第一位置信息集和更新数据的位置信息，在内存中生成第二位置信息集，并存储至存储设备中。通过结合历史数据的第一位置信息集与从日志获得更新数据的位置信息，可以快速在内存中构建完整的位置信息，不仅保证了空间分配信息的完整性，还在减少IO的基础上提高了重启速度。通过将历史数据与其相应的位置信息在存储设备中一起对应存储，即将空间分配信息与用户数据一起写入日志进行存储，有效减少了IO次数，解决了现有技术空间分配信息与用户数据分离存储容易引人额外IO，从而降低存储系统的性能的问题。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请一实施例提供的存储设备数据位置的处理方法的流程示意图；图2为本申请另一实施例提供的用户操作日志及快照的对应关系示意图；图3为本申请一实施例提供的存储设备数据位置的处理装置的结构示意图；图4为本申请一实施例提供的计算机设备的结构示意图。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。首先对本申请所涉及的名词进行解释：存储设备：是指计算机的能够永久存储数据的外部存储器，是相对于内存来说，比如磁盘、数据库、硬盘等等。位置信息集：是指存储用户数据的存储空间的位置信息的集合，位置信息也可称为空间分配信息，具体可以包括物理地址、逻辑地址及物理地址与逻辑地址的映射关系等信息，具体可以根据实际需求进行设置。设备重启：是指包括上述存储设备的计算机设备的重启。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本专利技术的实施例进行描述。本申请实施例提供的存储设备数据位置的处理方法可以适用于单个计算机设备的存储设备空间管理，也可以适用于分布式系统的数据同步。分布式系统可以包括一个主节点及一个或多个从节点，各节点的存储系统中可以设置有存储设备数据位置的处理装置(以下简称装置)。当主节点接收到用户的操作指令(操作指令可以包括操作类型及操作的用户数据，操作类型包括写入、更新等)时，由主节点的装置，根据用户的操作指令，按照raft(日志一致性)协议生成第一日志(第一日志可以包括本次操作的操作时间及操作的用户数据)，并发送给各从节点及主节点自己，各节点(包括主节点和各从节点)接收到第一日志后，以其中一个节点为例，由该节点的装置，从第一日志中解析出用户的操作指令，并从内存中获取用户数据的空间分配信息，将用户数据的空间分配信息与第一日志所包括的信息一起生成第二日志，即第二日志包括了操作时间、用户数据的空间分配信息及用户数据。可以将第二日志写入存储设备(如磁盘)中与用户数据的空间分配信息对应的区域。将每次用户操作的日志都实时地写入存储设备进行存储，如此，在存储设备中实时地记录了用户操作日志。将空间分配信息与用户数据一起写入日志进行存储，有效减少了IO次数，解决了现有技术空间分配信息与用户数据分离存储容易引人额外IO，从而降低存储系统的性能的问题。实施例一本实施例提供一种存储设备数据位置的处理方法，用于对存储设备的数据的位置信息进行相应的处理。本实施例的执行主体为存储设备数据位置的处理装置，该装置可以设置在包括有存储设备的计算机设备中。如图1所示，为本实施例提供的存储设备数据位置的处理方法的流程示意图，该方法包括：步骤101，设备重启时，将存储设备中存储的历史数据的第一位置信息集写入内存中，历史数据及其相应的位置信息在存储设备中对应存储，第一位置信息集用于表示数据位置信息的集合。具体的，设备重启是指包括上述存储设备的计算机设备的重启。即当计算机设备由于故障、正常关闭、人为要求重启等原因需要重新启动。在重启时，需要在内存中构建当前完整的位置信息，即当前所有已分配的存储空间的空间分配信息，而存储设备中存储有历史数据的第一位置信息本文档来自技高网...

【技术保护点】
1.一种存储设备数据位置的处理方法，其特征在于，包括：设备重启时，将存储设备中存储的历史数据的第一位置信息集写入内存中，所述历史数据及其相应的位置信息在所述存储设备中对应存储，所述第一位置信息集用于表示数据位置信息的集合；若所述存储设备中存在更新数据，则将所述存储设备中与所述更新数据对应存储的更新数据的位置信息写入所述内存中；根据所述第一位置信息集和所述更新数据的位置信息，在所述内存中生成第二位置信息集，并存储至所述存储设备中。

【技术特征摘要】
1.一种存储设备数据位置的处理方法，其特征在于，包括：设备重启时，将存储设备中存储的历史数据的第一位置信息集写入内存中，所述历史数据及其相应的位置信息在所述存储设备中对应存储，所述第一位置信息集用于表示数据位置信息的集合；若所述存储设备中存在更新数据，则将所述存储设备中与所述更新数据对应存储的更新数据的位置信息写入所述内存中；根据所述第一位置信息集和所述更新数据的位置信息，在所述内存中生成第二位置信息集，并存储至所述存储设备中。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：每到达设定时间，根据所述内存中当前已有的位置信息，生成更新的位置信息集，并存储至所述存储设备中，所述内存中当前已有的位置信息包括当前的前一次到达设定时间时生成的位置信息集中包括的位置信息以及当前的前一次到达设定时间后更新的位置信息。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述存储设备中写入了新的数据，则根据所述内存中当前已有的位置信息，生成更新的位置信息集，并存储至所述存储设备中，所述内存中当前已有的位置信息包括写入新的数据前的位置信息以及所述新的数据的位置信息。4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：记录用户操作日志，所述用户操作日志包括所述历史数据写入所述存储设备的操作信息，以及所述更新数据写入所述存储设备的操作信息。5.根据权利要求4所述的方法，其特征在于，所述更新数据写入所述存储设备的操作信息包括操作时间信息、所述更新数据的位置信息及所述更新数据；相应的，将所述存储设备中与所述更新数据对应存储的更新数据的位置信息写入所述内存中，包括：扫描所述用户操作日志中的所述更新数据写入所述存储设备的操作信息，将所述更新数据的位置信息写入所述内存中。6.根据权利要求5所述的方法，其特征在于，将所述存储设备中与所述更新数据对应存储的更新数据的位置信息写入所述内存中之前，所述方法还包括：根据记录的所述第一位置信息集对应的所述用户操作日志的日志序列号，判断所述存储设备中是否存在更新数据。7.根据权利要求1所述的方法，其特征在于，将第二位置信息集存储至所述存储设备中，包括：对所述第二位置信息集做快照，并写入所述存储设备中。8.一种存储设备数据位置的处理装置，其特征在于，包括：第一处理模块，用于设备重启时，将存储设备中存储的历史数据的第一位置信息集写入内存...

【专利技术属性】
技术研发人员：马井玮，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11